这是一个创建于 2616 天前的主题，其中的信息可能已经有所发展或是发生改变。
有两个函数对应两个多线程爬虫，把这两个函数放 celery 里面跑，不管他自己开的线程，可以么？
按道理是不是应该爬虫函数自己不开线程，全抛队列里，让队列开多线程去取？
按道理是不是应该爬虫函数自己不开线程，全抛队列里，让队列开多线程去取？
 |
1
simapple 2017-04-05 11:31:47 +08:00
没毛病，我就是用 celery 定时执行 scrapy 去抓取数据的
|
Select Language