这是一个创建于 2124 天前的主题，其中的信息可能已经有所发展或是发生改变。
有没有这样一个服务，可以提交待爬的任务 任务包括链接 /优先级 /额外信息例如 cookie 然后服务会自动对提交的任务进行去重，按优先级排序。 这样的话爬虫端只需要不断的提交任务，领取任务。 除了数据储存以外基本上就是无状态的了。无论跑多少份都可以。
 |
1
a7a2 2018-06-26 23:00:07 +08:00
mq 就可以啊
|
 |
2
gabon 2018-06-27 00:32:15 +08:00 via Android
我自己用 netty 写了一个分布式调度器
|
 |
3
AX5N 2018-06-27 02:46:52 +08:00
pyspider?
|
Select Language