首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
拉勾
V2EX  ›  Python

最近想爬天眼查 网站

  •  
  •   Ewig · 62 天前 · 10174 次点击
    这是一个创建于 62 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这个网站一个账号查询的次数是不是有限制啊? 限制多少次?

    是不是需要买 vip 账号爬?

    41 回复  |  直到 2019-01-21 20:59:20 +08:00
        1
    d5   62 天前 via iPhone
    做爬虫出生的公司,你要爬,阻力太多了
        2
    zwl2012   62 天前 via iPhone
    接口加密了 密钥有效期 1 分钟
        3
    faustina2018   62 天前 via iPhone
    想多了。老老实实买接口吧,卖数据接口的网站会让你爬?
        4
    tomxin7   62 天前
    去年爬过,但是没有批量,cookie 过期好像时间还挺久的,可能我爬的比较少吧
        5
    519718366   62 天前 via iPhone
    我这是找他们商务合作的
        6
    guog   62 天前 via Android
    他们的数据也是从郭嘉企业信息网爬的吧,不如直接从源头入手
        7
    locoz   62 天前 via Android
    只需要简单的信息就行可以直接爬工商局
        8
    ShareDuck   62 天前 via Android   ♥ 1
    @guog 是直接从工商那边获取数据,不是通过爬的。
        9
    lhx2008   62 天前
    反爬虫很厉害的,无所不用其极,验证码也很难,爬几百个没问题,多了代理池都爬不下来。

    天眼查最开始应该是自己爬的,后面为了数据合法找了个背景做靠山。
        10
    OctopusGO   62 天前 via Android
    是需要买 vip,我公司现在是用 Java 爬的
        11
    scriptB0y   62 天前
    ... 你去爬一个爬虫网站
        12
    xiaotuzi   62 天前 via iPhone
    小心给你一个律师函
        13
    izoabr   62 天前
    要不考虑一下行政渠道的爬虫?
        14
    jssyxzy   61 天前
    以前爬过,应该可爬,可能需要上 phatomjs
        15
    myhot21   61 天前 via Android
    自从要登录注册后,就基本不能爬了,给钱买数据吧。
        16
    supervipcard   61 天前
    如果已经有一个大的公司名列表,逐个搜索爬不难,把代理、cookie 池、验证码识别都弄上。
        17
    fenghuang   61 天前
    极验证就不好弄
        18
    Ewig   61 天前
    @OctopusGO 买 vip 的原因是限制次数吗?
        19
    Ewig   61 天前
    @fenghuang 极验很简单啊
        20
    Ewig   61 天前
    @supervipcard 主要怕限制账号次数啊
        21
    Ewig   61 天前
    @tomxin7 主要看 cookie 爬有没有账号爬取次数
        22
    passerbytiny   61 天前
    总感觉爬数据这事,大公司做是废物利用地商业行为,个人爬就是抢数据地流氓行为:我脑袋到底哪里出问题了。
        23
    Ewig   61 天前
    @supervipcard 关键很多说买 vip 爬不知道为啥
        24
    supervipcard   61 天前
    @Ewig 可能是因为单次搜索的页数限制吧
        25
    wisej   61 天前 via Android
    @Ewig 有的信息不是没 vip 不显示么
        26
    guanhui07   61 天前
    他爬别人,你爬他,别人爬你
        27
    kevinle   61 天前 via Android
    脱裤更省事
        28
    blueskea   61 天前 via Android
    爬过企查查,字体被替换过了,验证码搞不定,半自动爬的。
        29
    dezhou9   61 天前 via Android
    1.8 亿条你爬他干嘛
        30
    Ewig   61 天前
    @wisej 我只爬工商数据,vip 能看到那些不显示的数据?能说一下嘛?
        31
    Ewig   61 天前
    @supervipcard 比如我每次搜百度 腾讯 这种公司能搜多少次,普通的账号
        32
    wisej   61 天前 via Android
    @Ewig sry 天眼查 vip 与非 vip 在信息展示完整度没有差别 只是展示量级有差别

    我之前用的另一个非 vip 信息展示才是不完整的
        33
    uuair   61 天前
    有这功夫,你不如应聘进去,内网直接往外倒腾。
        34
    loser   61 天前
    牛逼,支持爬他!!!
        35
    IllllI   61 天前
    @blueskea 谁能搞定验证码
        36
    love9918   61 天前
    有想法就干
        37
    hgjhgjgjhgjg   61 天前
    https://www.lagou.com/jobs/1570819.html

    反爬虫工程师

    职位描述

    参与公司网站数据反爬虫策略的制定和优化。

    负责反爬虫功能模块的代码实现及测试工作。

    监控网站异常访问并及时调整相关策略。
        38
    andylsr   61 天前 via Android
    天眼查数据随便抓。。。
        39
    zhangsen1992   61 天前
    vip ip 白名单 随便调用接口
        40
    shadiao   61 天前 via iPhone
    @uuair 优秀啊
        41
    kzfile   61 天前
    爬一会整个网页开始部分字乱序,后面乱序的会越来越多
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   860 人在线   最高记录 4385   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 19ms · UTC 19:26 · PVG 03:26 · LAX 12:26 · JFK 15:26
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1