fabric,celery,rabbitmq

N7升级完毕，感觉更流畅了，反应迅速。

听了你的演讲，东西很不错。不过个人觉得还是scrapy更完善，更强大一些。其实一般的爬虫并不难，用正则手写一个也能跑，而scrapy借鉴django的pipeline和middleware更灵活。对于你的web端自学习抓取数据的，我印象中scrapy的开发团队早就做了类似的东西。
还是那句话，一般的爬虫不难，难的是怎么应付现在的各种反扒机制：高阶js，block IP，captcha，cookie session认证。。。
消息队列用啥？rabbitmq？zeromq？没看到啊

针对北京的pycon，我可以说脏话吗！！！！！！！他大爷的！！！！早知道在家好好睡觉了！！！要不要把广告搞那么多啊！！！

socket,memcache,queue。。。
详见IPC wiki

可惜，差点1024....

据说拜灭士不错，可以试试。我没用过哈。

@janusle 只要是定义好的task，哪里都可以用的。在task A里直接调用task_b.apply_async(kwargs=your_json)就可以把这个任务放入B队列。没必要用table，实在不想用queue，就搞个memcache存中转数据。

这不就是个爬虫嘛，没有大规模的业务不用上celery吧，celery做分布式用的。
传数据可以直接在taskA里再生成一个带参数的任务给另一个队列，作为B来执行。也可以直接用memcache。

scrapy官方手册

用scrapy吧，同学。不用点非阻塞的框架，怎么好意思说会写爬虫呢

搞台国外虚拟机，ssh上去，建立socks隧道，chrome SwitchySharp添加一条规则就好了。

@andyliu 环境一次配置好就可以了，关机只计算空间占用费。上传慢？随时开50M带宽，只要公司网络给力，传完回复带宽，毫无压力。首推青云啊。aws要是在国内，那真是太爽了。。。搞块N卡，各种并行运算。。。

青云或者aws开台主机，搞个顶配的。随用随开。可行不？不用就关掉。

@ddzz 效率低。。。。还是phantomJS靠谱

应该不是setting问题，运行celery -A proj worker -l info看注册的tasks，是否和你beat里的一致，注意是个字符串，不同运行目录会注册不同的tasks名称，如：tasks.add或者xxx.tasks.add。