这是一个创建于 2551 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近玩 scrapy 终于掌握了 采集规则 下载图片 发布到 WORDPRESS
但是现在感觉抓取效率十分低下。
抓取的 CPU 总是只能跑 5%。
带宽也跑不起来。 有没有办法查到到底是哪里导致的 delay 我看别人抓取 CPU 都是 80%左右。
 |
1
meepo3927 2017-05-31 09:49:27 +08:00
不懂后端，
猜测应该是瓶颈在 I/O ？ 线程开的不够多？ |
 |
2
xiaoyu9527 OP |
Select Language