V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
jakeyfly
V2EX  ›  问与答

一个 24 小时运行的,抓取一些体育比赛数据的爬虫,用 RABBITMQ 好还是 KAFKA 好

  •  
  •   jakeyfly · 2018-11-29 16:29:02 +08:00 · 1783 次点击
    这是一个创建于 1946 天前的主题,其中的信息可能已经有所发展或是发生改变。

    作为中间管道连接爬虫与清洗模块。 不同的数据会由不同的清洗模块处理后存入 SQL。

    估计抓个一年也就不到 2G 的数据。但爬虫的请求数据次数还是比较多的,一分钟可能有个几百次吧(这样往管道里塞的数据也是几百次吧)

    这样的规模,为了能持续运行,应该是要选个可以持久化的管道吧

    KAFKA 与 RABBITMQ 那个适合呢

    2 条回复    2018-11-29 16:45:58 +08:00
    roricon
        1
    roricon  
       2018-11-29 16:39:50 +08:00   ❤️ 1
    RabbitMQ 足够,完全没必要上 Kafka。但如果寻求便宜且稳定的服务,其实买各种云的消息服务我觉得是比较好的方案。AWS 和腾讯云的消息队列服务都有每月的免费额度,超过免费额度价格也不贵。

    Kafka 对硬件(主要是内存)要求很高,即使是很低的负载也很难稳定的运行在低端的 VPS 上。而且还要搞 zookeeper,上手维护的学习成本还挺高的。
    RabbitMQ 对于这样的负载肯定是足够了,而且管理工具什么的也比 Kafka 生态的工具对用户友好一些。
    jakeyfly
        2
    jakeyfly  
    OP
       2018-11-29 16:45:58 +08:00
    @roricon 谢谢大佬 我这就试试
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4204 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 05:29 · PVG 13:29 · LAX 22:29 · JFK 01:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.