首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

如何抓取瀑布流式布局的网页全文?

  •  
  •   assiadamo · 2014-11-25 16:08:26 +08:00 · 3390 次点击
    这是一个创建于 1761 天前的主题,其中的信息可能已经有所发展或是发生改变。
    举个栗子,googleplay在加载时只加载一部分,剩下的要把滚动条脱到低端才会显示出来,现在要写程序来获取全部加载完的字符串,HtmlUnit和phantomjs都用了下,感觉不是很简单,可能对这两者还是研究的不够透彻,请问各位有什么基于这两种或者是其他更好的方法吗?
    10 回复  |  直到 2014-11-26 12:56:00 +08:00
        1
    williamwu   2014-11-25 16:15:16 +08:00
        2
    crab   2014-11-25 16:23:10 +08:00
    googleplay 可以直接post请求(指定开始页,多少页数。)
        3
    icedx   2014-11-25 16:23:58 +08:00
    你俩是干啥
        4
    assiadamo   2014-11-25 16:24:06 +08:00
    @williamwu 这个很简单,你是如何抓取到这个网页的就去抓取文章的url很容易得到正文啊,文章标题都会有相同的class吧,通过class可以获取url
        5
    assiadamo   2014-11-25 16:25:16 +08:00
    @crab 我找到了post,但是response没有带样式看不出来。。
        6
    abelyao   2014-11-25 16:48:26 +08:00
    直接用正则表达式匹配 response 中你要的内容。
    我的站就是滚动无限加载的图片站,莫非楼主要抓我的…
        7
    learnshare   2014-11-25 16:52:40 +08:00
    直接抓 API 地址
        8
    halfcrazy   2014-11-25 16:55:27 +08:00
    分析js找接口
        9
    cdxem713   2014-11-25 20:55:44 +08:00 via iPhone
    直接对api发请求就好了,这类异步网站都可以
        10
    tingsoft   2014-11-26 12:56:00 +08:00
    @cdxem713 比如QQ空间呢?貌似没有API?
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1287 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 23ms · UTC 17:32 · PVG 01:32 · LAX 10:32 · JFK 13:32
    ♥ Do have faith in what you're doing.