V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
MODA1995
V2EX  ›  问与答

各位站长大佬,有遇过“百度蜘蛛”的“攻击“么?

  •  
  •   MODA1995 · 2019-04-14 10:08:45 +08:00 · 3389 次点击
    这是一个创建于 1811 天前的主题,其中的信息可能已经有所发展或是发生改变。
    今天看了一下服务器的日志(每天 0 点切片),9 点半就已经有 200 多 MB 的日志,查询后发现主要是百度蜘蛛的 UA,
    所有请求的来源 ip 基本都是国外的

    部分日志的截图:
    13 条回复    2019-04-14 14:18:10 +08:00
    MODA1995
        1
    MODA1995  
    OP
       2019-04-14 10:12:02 +08:00
    时间是 0 点到 5 点,这段时间少人访问
    如果是攻击者伪造的 UA,那不应该在少人使用的时间段攻击吧
    应该在使用高峰期攻击,影响用户访问,
    如果真是百度的蜘蛛,这样爬是不是有点无耻了
    oaix
        2
    oaix  
       2019-04-14 10:29:40 +08:00
    nslookup 207.180.242.44
    服务器: UnKnown
    Address: 192.168.3.1

    名称: vmi223288.contaboserver.net
    Address: 207.180.242.44


    应该不是百度的爬虫

    http://help.baidu.com/question?prod_id=99&class=0&id=3001
    newmind
        3
    newmind  
       2019-04-14 10:37:29 +08:00
    明显不是百度的
    catalina
        4
    catalina  
       2019-04-14 10:43:42 +08:00 via Android
    这绝对是伪造的 ua 啊,百度怎么可能用境外的 ip 来爬你的站。。。
    另外,前段时间我看见我 access.log 里有一堆 yandexbot,然后我上 yandex 查了一下,发现伪装成 yandexbot 扫描的恶意软件还挺多的。
    westoy
        5
    westoy  
       2019-04-14 10:45:18 +08:00
    这是被伪造成百度蜘蛛 UA 的采了或者 CC 了

    我当年被 yahoo 爬虫爬挂过........
    annoy1309
        6
    annoy1309  
       2019-04-14 10:45:35 +08:00 via Android
    百度站长平台可以调整百度蜘蛛抓取时间、频次、深度。
    而且这个明显不是百度的蜘蛛
    id4alex
        7
    id4alex  
       2019-04-14 11:16:57 +08:00
    请认准 123 和 220 开头的 Baiduspider
    MODA1995
        8
    MODA1995  
    OP
       2019-04-14 11:20:55 +08:00
    @catalina 我也觉得是伪造的,不过就不明白为什么要在凌晨攻击,这样就不影响使用了
    ccpp132
        9
    ccpp132  
       2019-04-14 11:22:25 +08:00 via Android
    @MODA1995 不一定是攻击,可能就是爬数据
    MODA1995
        10
    MODA1995  
    OP
       2019-04-14 11:43:26 +08:00
    @ccpp132 一个单页,136W 爬的都是同一个页面
    chinvo
        11
    chinvo  
       2019-04-14 12:01:18 +08:00
    百度应该不会

    三十六蛋家的爬虫才是真狠
    MODA1995
        12
    MODA1995  
    OP
       2019-04-14 12:15:10 +08:00
    已经知道了,确实是有人攻击
    billytom
        13
    billytom  
       2019-04-14 14:18:10 +08:00 via iPhone
    其实就是有同行扒数据嘛,赶紧封了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4935 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 09:41 · PVG 17:41 · LAX 02:41 · JFK 05:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.