首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
宝塔
V2EX  ›  程序员

求助:爬取学术数据库中论文的 abstract 做研究

  •  
  •   lushl9301 · 2015-05-28 09:55:42 +08:00 · 2752 次点击
    这是一个创建于 1632 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在做分析一些医学研究论文的abstract的project。
    一直在用PubMed这个数据库,因为能把搜索结果下载为包含很多信息的txt文档(其中就包含了abstract),直接处理这个文档就能得出很多有用的信息。
    然而,这个数据库毕竟偏向医学研究一些,如果我们想查阅一些关于传感器或者什么运动数据测量的时候,这个数据库能查到的信息偏少
    该数据库地址: http://www.ncbi.nlm.nih.gov/pubmed
    我写的一个分析abstract的小工具地址: https://github.com/lushl9301/PubMed-Text-Mining-Tool (写的渣渣,就是拿来用用。。。)

    于是我和导师考虑,说不定爬取Google scholar的会不会好一点?

    发现Google scholar仅仅提供了一些论文的作者信息,被多少次引用等等,对于文章内容只有一些简单摘要。这些摘要是跟据搜索关键词给出的一些片段,远不如abstract。

    其他什么ACM,IEEE都没有提供合适的获取abstract方式。

    考虑使用爬虫直接爬取的话,会被ban什么的。Google也会给你robot test。

    所以在这里想请教小伙伴,能否提一些建议呢?帮忙支支招 ^_^

    6 回复  |  直到 2016-05-24 16:38:03 +08:00
        1
    lushl9301   2015-05-28 10:01:17 +08:00
    发完贴后,在“最热”板块,哗哗哗的往下掉= =
        2
    ichou   2015-05-28 10:11:22 +08:00
    不会因为访问量太大 导致数据库方暂停账户服务么? 要是用的学校的公用帐号,哇咔咔~ 写检讨什么的爽歪歪~
        3
    binux   2015-05-28 10:17:53 +08:00   ♥ 1
        4
    lushl9301   2015-05-28 10:50:13 +08:00
    @ichou 这个会的。。。所以尽量不用学校网络,不登陆去爬取吧。。。
        5
    lushl9301   2015-05-28 10:52:34 +08:00
    @binux 哇。。这是pyspider爬取的?
    我记得我还看到过。。。
    谢谢。。。这就去看看
        6
    cangbaotu   2016-05-24 16:38:03 +08:00
    推荐你使用神箭手云爬虫,分布式的爬虫框架。官方很给力!
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   888 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 22ms · UTC 20:00 · PVG 04:00 · LAX 12:00 · JFK 15:00
    ♥ Do have faith in what you're doing.