关于 celery 异步任务的问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 1858 天前的主题，其中的信息可能已经有所发展或是发生改变。

使用 celery +rabbirmq 发送异步任务每个任务有独立队列

如何统计每分钟任务发送量和最大峰值极限发送量各是多少？

如果队列突然进入大批量任务，如何能快速处理大批量任务？

任务执行不成功如何以可控时间间隔来重复执行失败任务？

等大佬赐教！！

3 条回复 • 2019-03-27 08:36:19 +08:00

yuoboo

2019-03-26 23:03:41 +08:00 via Android

等大佬上线

di94sh

2019-03-27 04:49:19 +08:00 via Android

1.直接监控 rabbitmq
2.celery 是分布式任务队列，那么加机器。机器不够就通过监控 rabbit mq 弹性扩容。
3.执行异步任务时都把入参，任务的 key，任务执行状态写到数据库。任务完成后更改数据库里状态。再搞一个定时任务，去数据库把失败的任务放到队列。

yuoboo

2019-03-27 08:36:19 +08:00 via Android

@di94sh 感谢