首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

如何快速搭建实用的爬虫管理平台

  •  2
     
  •   tikazyq · 9 天前 · 982 次点击

    文章预览

    前言

    大多数企业都离不开爬虫,爬虫是获取数据的一种有效方式。对搜索引擎来说,爬虫不可或缺;对舆情公司来说,爬虫是基础;对 NLP 来说,爬虫可以获取语料;对初创公司来说,爬虫可以获取初始内容。但是爬虫技术纷繁复杂,不同类型的抓取场景会运用到不同的技术。例如,简单的静态页面可以用 HTTP 请求+ HTML 解析器直接搞定;一个动态页面需要用 Puppeteer 或 Selenium 等自动化测试工具;有反爬的网站需要用到代理、打码等技术;等等。因此,对爬虫有规模量级要求的企业或个人需要同时处理不同类别的爬虫,这会凭空增添很多附加的管理成本。同时,爬虫管理者还需要应对网站内容变更、持续增量抓取、任务失败等问题。因此一个成熟的爬虫管理流程应该包含一个管理系统,能够有效处理上述问题。

    Crawlab 简介

    Crawlab 是基于 Golang 的分布式爬虫管理平台,支持 Python、NodeJS、Java、Go、PHP 等多种编程语言以及多种爬虫框架。 Crawlab 自今年三月份上线以来受到爬虫爱好者们和开发者们的好评,不少使用者还表示会用 Crawlab 搭建公司的爬虫平台。经过近数月的迭代,Crawlab 陆续上线了定时任务、数据分析、网站信息、可配置爬虫、自动提取字段、下载结果、上传爬虫等功能,将平台变得得更加实用,更加全面,能够真正帮助用户解决爬虫管理困难的问题。如今在 Github 上有近 1k 的 star,相关社区(微信群、微信公众号)也建立起来,四分之一的用户表示已经将 Crawlab 应用于企业爬虫管理。可以看出,Crawlab 是受开发者们关注和喜欢的。

    请大家关注这篇关于爬虫管理平台的实用文章,在掘金上。传送门: https://juejin.im/post/5d5298f05188255f7c1c4979

    关于 Crawlab 的 Github,请点击: http://github.com/tikazyq/crawlab

    谢谢 V2 上的各位大佬们

    8 回复  |  直到 2019-08-14 14:10:31 +08:00
        1
    qsnow6   9 天前 via iPhone
    看起来很棒,比 keeperspider 要完善
        2
    tikazyq   9 天前
    @qsnow6 感谢支持,希望能提出建设性意见
        3
    milk97   9 天前
    点个赞👍,明天在公司试试,刚好老板要求直接的结果展示和定时任务
        4
    python   9 天前 via Android
    挺不错。尝试一下。
        5
    tikazyq   9 天前
    @milk97 感谢支持,可以加群随时提问
        6
    tikazyq   9 天前
    @python 感谢支持
        7
    catcalse   9 天前
    pyspider 还活着吗
        8
    tikazyq   9 天前
    @catcalse 没有用过 pyspider,只了解了一下,不确定是否还在更新
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3906 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 18ms · UTC 09:06 · PVG 17:06 · LAX 02:06 · JFK 05:06
    ♥ Do have faith in what you're doing.