V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
rock_cloud
V2EX  ›  问与答

有哪些值得抓取的网站?

  •  2
     
  •   rock_cloud · 2018-04-25 02:02:42 +08:00 · 4519 次点击
    这是一个创建于 2155 天前的主题,其中的信息可能已经有所发展或是发生改变。

    打算构建一个无偏语料库,因此需要爬取各行各业相关的网站,想问一下大家知道哪些主要内容是文本的网站。 目前收集到的网站有大概以下几个分类

    综合新闻站

    • 163
    • sina
    • qq
    • china
    • people

    垂直 /非垂直论坛

    • autohome
    • tiexue
    • xbiao
    • douban
    • tianya
    • tieba
    • newsmth

    问答站

    • zhihu

    媒体

    • engadget
    • ifanr
    • guokr

    财经

    • xueqiu
    • caixin

    医学

    • dxy

    影视

    • zimuzu
    • tvmap
    • juqingba

    小说

    • qidian

    教科书

    • readers365
    • eywedu

    这里并没有列全,目前在抓的有 60 个网站左右,每天能获取 300K 个页面,单机。想问问大家有没有什么别的类目、行业、领域以及各分类下的文字类网站可供补充?无所谓内容质量好坏。

    第 1 条附言  ·  2018-04-25 09:01:58 +08:00
    对了,忘了说明,只要中文文字类网站,另外各位大佬不要开车哈Σ( ̄。 ̄ノ)ノ
    27 条回复    2018-04-25 14:39:47 +08:00
    mushan099
        1
    mushan099  
       2018-04-25 02:19:56 +08:00 via iPhone
    其他类别不知道,影视那一栏我倒是了解不少(^-^)/
    rock_cloud
        2
    rock_cloud  
    OP
       2018-04-25 02:27:33 +08:00 via iPhone
    @mushan099 来几个例子?
    flyz
        3
    flyz  
       2018-04-25 07:39:51 +08:00 via Android   ❤️ 4
    @rock_cloud t66y sixinsix 91 avgle 大哥只能帮你这么多了。
    jiangnanyanyu
        4
    jiangnanyanyu  
       2018-04-25 07:42:03 +08:00 via Android
    我来一个吧,javbus,javlib
    ob
        5
    ob  
       2018-04-25 07:46:35 +08:00 via Android
    cnbeta
    aice114
        6
    aice114  
       2018-04-25 07:54:35 +08:00 via Android
    v2ex
    lunatic5
        7
    lunatic5  
       2018-04-25 08:28:12 +08:00
    @flyz 大佬调皮
    huluhulu
        8
    huluhulu  
       2018-04-25 08:31:05 +08:00 via iPhone
    不是 1024 最值得吗?
    jasonyang9
        9
    jasonyang9  
       2018-04-25 08:42:34 +08:00
    nytimes
    arstechnica
    slashdot
    x86
        10
    x86  
       2018-04-25 09:19:29 +08:00
    avmoo
    huiyifyj
        11
    huiyifyj  
       2018-04-25 09:22:53 +08:00 via Android
    影视竟然没有 douban
    chroming
        12
    chroming  
       2018-04-25 09:23:13 +08:00 via Android
    单机爬这么多是用了代理池?
    logOo
        13
    logOo  
       2018-04-25 09:23:33 +08:00
    pxxnhub
    rock_cloud
        14
    rock_cloud  
    OP
       2018-04-25 10:05:27 +08:00 via iPhone
    @huiyifyj 有,在论坛分类里,抓全站
    rock_cloud
        15
    rock_cloud  
    OP
       2018-04-25 10:06:23 +08:00 via iPhone
    @chroming 没有代理池,因为站点多,所以每个站慢慢爬,也不是问题
    rock_cloud
        16
    rock_cloud  
    OP
       2018-04-25 10:07:29 +08:00 via iPhone
    @aice114 我居然忘了 V 站,话说 V 站是不是有访问频次限制?
    akira
        17
    akira  
       2018-04-25 10:33:07 +08:00
    3l 老司机
    mhycy
        18
    mhycy  
       2018-04-25 10:35:17 +08:00
    *ornhub
    video.fc2.com
    xt*e
    torbrowserbridge
        19
    torbrowserbridge  
       2018-04-25 10:43:57 +08:00
    91
    yense
        20
    yense  
       2018-04-25 11:02:01 +08:00
    煎蛋站长瑟瑟发抖...
    rock_cloud
        21
    rock_cloud  
    OP
       2018-04-25 11:05:38 +08:00
    @yense jandan 已加入豪华午餐,放心,速度非常慢,大约一分钟一个请求,不会占用很多流量的
    rock_cloud
        22
    rock_cloud  
    OP
       2018-04-25 11:07:52 +08:00
    @yense 额。。错了,应该是 20 秒一个请求。。。
    greatghoul
        23
    greatghoul  
       2018-04-25 11:08:31 +08:00 via Android
    pornhub
    lingo
        24
    lingo  
       2018-04-25 11:55:50 +08:00
    @huluhulu 回复最上方,3 楼就出现 1024 了嘛。
    F1024
        25
    F1024  
       2018-04-25 13:22:40 +08:00
    91 哈哈哈哈
    yunye
        26
    yunye  
       2018-04-25 13:54:05 +08:00 via Android
    抓谷歌比较划算,抓一个站啥都有了
    rock_cloud
        27
    rock_cloud  
    OP
       2018-04-25 14:39:47 +08:00
    @yunye Google 反爬做得好,不好抓,费时费力
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5072 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 09:45 · PVG 17:45 · LAX 02:45 · JFK 05:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.