惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

酷 壳 – CoolShell
酷 壳 – CoolShell
雷峰网
雷峰网
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Spread Privacy
Spread Privacy
H
Hacker News: Front Page
PCI Perspectives
PCI Perspectives
Webroot Blog
Webroot Blog
罗磊的独立博客
H
Heimdal Security Blog
TaoSecurity Blog
TaoSecurity Blog
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
大猫的无限游戏
大猫的无限游戏
月光博客
月光博客
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
Google Online Security Blog
Google Online Security Blog
Last Week in AI
Last Week in AI
美团技术团队
Help Net Security
Help Net Security
The Hacker News
The Hacker News
C
Cisco Blogs
T
The Blog of Author Tim Ferriss
J
Java Code Geeks
The Register - Security
The Register - Security
IT之家
IT之家
WordPress大学
WordPress大学
Jina AI
Jina AI
Recent Commits to openclaw:main
Recent Commits to openclaw:main
H
Help Net Security
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
T
Threat Research - Cisco Blogs
P
Proofpoint News Feed
NISL@THU
NISL@THU
爱范儿
爱范儿
The GitHub Blog
The GitHub Blog
Scott Helme
Scott Helme
V
Vulnerabilities – Threatpost
B
Blog
T
Tenable Blog
博客园 - 三生石上(FineUI控件)
T
The Exploit Database - CXSecurity.com
S
Security Affairs
小众软件
小众软件
Hacker News: Ask HN
Hacker News: Ask HN
Security Latest
Security Latest
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
W
WeLiveSecurity
A
Arctic Wolf
L
LINUX DO - 热门话题
Google DeepMind News
Google DeepMind News
M
MIT News - Artificial intelligence

RQ

关于长时间运行的 rqworker Python RQ (Redis Queue) 0.4.0 如何? RQ 对提高整个应用的性能很有帮助 如果基于 rq 来开发一个 MapReduce framework? RQ中,在一个Queue执行完之后触发事件的方法 rq-dashboard Rq 执行的的任务貌似对中文支持不佳 这里有人在生产环境使用RQ麽?
关于 RQ 的任务重试机制
Livid · 2012-06-05 · via RQ
muxi

3

muxi      2012 年 6 月 5 日   ❤️ 1

我用过三种,RabbitMQ,Beanstalk,Gearman,
目前这三个都在线上跑,总体下来都足够的稳定,也都各自有优缺点,客户端都足够的多,使用成本也不算高,如果业务量不大的话,都可以
RabbitMQ 配置集群很容易,也有易用的Web界面控制台,缺点是协议复杂,速度太慢,每秒写入大概在4000个左右,出队列就更慢了,大概2500个左右,当然,你可以通过增加Worker的数量来解决这个问题,RabbitMQ缺少Delay和优先级控制,重试机制也不好,当你启用ACK之后,如果多次没有得到回馈,这个消息就需要手动发送,我现在的解决办法就是定期重启所有Worker

Beanstalk速度是非常快,协议简单,就是持久化麻烦,持久化往硬盘上写log,挂掉之后恢复巨慢,我遇到的情况是大概3G的数据恢复了十多分钟也没恢复好,最后我把log重命名然后写个程序自己导入

Gearman 严格意义上不属于Queue,只是一个任务分发的应用,但实际上Gearman内部维护了一个内存队列,也支持简单的优先级和同步与异步任务,配置一下可以实现队列信息持久化,我目前用的比较多,Gearman最大的问题是自己维护队列却没有提供查看队列的接口,哪怕是命令行接口,这导致在高速写入后,很难判定所有的Job是不是都完成了,如果配置了外部持久化存储,这个问题也容易解决,Gearman用的人比较多,性能比较优秀

RQ当初没用是因为用的人少,也没去研究任务优先级怎么搞的