V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
moplay
V2EX  ›  问与答

网站一直被人抓取采集,有什么好的解决方案吗

  •  
  •   moplay · 2012-01-02 00:50:12 +08:00 · 2510 次点击
    这是一个创建于 4469 天前的主题,其中的信息可能已经有所发展或是发生改变。
    有几个家伙不断的采集我们的网站,内容采集去我真的不是那么生气,就是他们经常开多线程,跑的我的小网站数据库慢的跟蜗牛一样。

    没被采集的时候我们网站哗哗的,速度很好的,可是一有采集,那体验相当糟糕。

    我怕我们会被这些家伙害死。

    有什么好办法能制止吗?
    16 条回复    1970-01-01 08:00:00 +08:00
    9hills
        1
    9hills  
       2012-01-02 00:52:11 +08:00
    封IP
    peterlu
        2
    peterlu  
       2012-01-02 00:53:24 +08:00
    禁止ip。
    moplay
        3
    moplay  
    OP
       2012-01-02 00:54:10 +08:00
    @9hills windows有什么工具可以查到这些ip吗?说实在,我服务器知识非常缺乏。
    moplay
        4
    moplay  
    OP
       2012-01-02 00:55:23 +08:00
    请不要鄙视我们使用windows服务器,因为这是个.net的网站。
    Julyyq
        5
    Julyyq  
       2012-01-02 01:01:35 +08:00
    直接在IIS设置里面就可以封IP的。
    for4
        6
    for4  
       2012-01-02 01:02:04 +08:00
    看访问日志~
    evlos
        7
    evlos  
       2012-01-02 01:05:06 +08:00
    @moplay 那可不可以鄙视你们使用.net? (开玩笑的嘿嘿 ~ o(* ̄▽ ̄*)
    hq5261984
        8
    hq5261984  
       2012-01-02 01:06:05 +08:00
    设置访问策略.WINDOWS在访问策略上其实够强大,只要你对域控制了解的够深,配合ISA完全够用就是服务器资源要大些.
    kojp
        9
    kojp  
       2012-01-02 01:10:17 +08:00
    日志里面会有的。。
    ihacku
        10
    ihacku  
       2012-01-02 01:11:53 +08:00
    9hills
        11
    9hills  
       2012-01-02 01:14:12 +08:00
    @moplay 如上所述,看IIS日志,在IIS设置里面封IP。具体的Google好了,IIS还是比较容易设置的。。。都是图形化界面

    各种语言都有应用环境,如果你们站是baidu,taobao一样的规模,用.net,当然会招BS(好吧,其实多数情况下是赞叹,竟然能把.net优化到这种程度,nb死了)

    但是.NET在中小型站点和企业内部站点有着很多优势,而且开发确实非常快速
    moplay
        12
    moplay  
    OP
       2012-01-02 01:26:16 +08:00
    @9hills 谢谢回复,封ip的操作应该会,就是监测不知道如何操作。

    @kojp @for4 我想去看日志会得到一些有用的信息。多谢提醒。

    @hq5261984 相关我去请教google吧,多谢了。
    vibbow
        13
    vibbow  
       2012-01-02 03:06:27 +08:00
    @moplay http://technet.microsoft.com/en-us/sysinternals/bb897437
    被采集的时候看看有哪个IP在大量链接吧。
    glume
        14
    glume  
       2012-01-02 07:40:47 +08:00
    被采集其实利大于弊。我觉得内容做成静态的页面缓存更好些。
    moplay
        15
    moplay  
    OP
       2012-01-06 22:09:09 +08:00
    @vibbow 谢谢,这个软件不错,可惜只是即时查看,要是能做些统计就好了

    @glume 为什么说“利大于弊”
    vibbow
        16
    vibbow  
       2012-01-06 23:30:28 +08:00
    @moplay 看IIS访问记录吧,有工具可以分析的,Google一下吧。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5107 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 09:45 · PVG 17:45 · LAX 02:45 · JFK 05:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.