V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zhang2e
V2EX  ›  分享发现

豆瓣的反爬虫这么严格了现在?

  •  
  •   zhang2e · 2019-02-09 19:46:51 +08:00 · 10129 次点击
    这是一个创建于 1874 天前的主题,其中的信息可能已经有所发展或是发生改变。

    众所周知,豆瓣电影短评在未登录的情况下只能抓取到 200 条,我今天试了试登录,却也只能抓取到 500 条,然后我手动翻了下短评,发现真的只能查看 500 条,从根本上杜绝了爬虫,这也太狠了吧。这种杜绝大翻页的行为感觉「伤敌一千,自损八百」呢?!

    12 条回复    2019-02-10 14:58:26 +08:00
    leido
        1
    leido  
       2019-02-09 19:58:39 +08:00 via Android   ❤️ 9
    正常人能看 500 条?
    tongyifan
        2
    tongyifan  
       2019-02-09 20:03:43 +08:00 via Android
    楼上正解
    murmur
        3
    murmur  
       2019-02-09 20:05:25 +08:00
    一般人可能只看评分和首页评论
    Biwood
        4
    Biwood  
       2019-02-09 20:10:49 +08:00
    豆瓣电影短评翻页不知道什么时候改成异步加载的,我记得以前都是同步的
    Eiden
        5
    Eiden  
       2019-02-09 20:11:47 +08:00 via Android
    微博粉丝不也一样
    panpanpan
        6
    panpanpan  
       2019-02-09 21:31:17 +08:00 via iPhone
    大概一年多以前就是这样了吧。
    crab
        7
    crab  
       2019-02-09 21:44:12 +08:00
    试下 app 端有没有限制
    locoz
        8
    locoz  
       2019-02-09 21:45:29 +08:00 via Android
    正常人也不会看那么多
    MoHen9
        9
    MoHen9  
       2019-02-09 22:39:12 +08:00 via Android
    豆瓣的 APP,每次在后台运行就跟重启一样,一点儿你之前浏览了什么的痕迹都不留,这点非常差劲。
    x86
        10
    x86  
       2019-02-09 23:13:58 +08:00
    正常人翻了 10 页左右我都觉得他闲得慌
    zwithz1998
        11
    zwithz1998  
       2019-02-10 00:41:07 +08:00
    去年课设要求做豆瓣爬虫,买了代理池才搞定
    zhang2e
        12
    zhang2e  
    OP
       2019-02-10 14:58:26 +08:00 via iPhone
    的确正常人是不会看 500 条🤦‍♂️
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1010 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 19:55 · PVG 03:55 · LAX 12:55 · JFK 15:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.