惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

A
Arctic Wolf
T
Tenable Blog
T
Troy Hunt's Blog
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
P
Privacy & Cybersecurity Law Blog
NISL@THU
NISL@THU
Application and Cybersecurity Blog
Application and Cybersecurity Blog
H
Hacker News: Front Page
S
Secure Thoughts
AWS News Blog
AWS News Blog
L
LINUX DO - 最新话题
D
Darknet – Hacking Tools, Hacker News & Cyber Security
M
MIT News - Artificial intelligence
T
Tor Project blog
S
Schneier on Security
PCI Perspectives
PCI Perspectives
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
美团技术团队
Google DeepMind News
Google DeepMind News
V
Visual Studio Blog
爱范儿
爱范儿
Google DeepMind News
Google DeepMind News
Cyberwarzone
Cyberwarzone
T
The Exploit Database - CXSecurity.com
罗磊的独立博客
T
Threat Research - Cisco Blogs
Recent Commits to openclaw:main
Recent Commits to openclaw:main
V
V2EX
C
CXSECURITY Database RSS Feed - CXSecurity.com
Stack Overflow Blog
Stack Overflow Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
G
GRAHAM CLULEY
L
LINUX DO - 热门话题
D
Docker
J
Java Code Geeks
GbyAI
GbyAI
H
Heimdal Security Blog
The Hacker News
The Hacker News
MongoDB | Blog
MongoDB | Blog
V
Vulnerabilities – Threatpost
T
Tailwind CSS Blog
Cloudbric
Cloudbric
TaoSecurity Blog
TaoSecurity Blog
C
CERT Recently Published Vulnerability Notes
Y
Y Combinator Blog
Recorded Future
Recorded Future
Cisco Talos Blog
Cisco Talos Blog
T
Threatpost
The Register - Security
The Register - Security
Hacker News - Newest:
Hacker News - Newest: "LLM"

RQ

关于长时间运行的 rqworker RQ 对提高整个应用的性能很有帮助 如果基于 rq 来开发一个 MapReduce framework? RQ中,在一个Queue执行完之后触发事件的方法 rq-dashboard Rq 执行的的任务貌似对中文支持不佳 关于 RQ 的任务重试机制 这里有人在生产环境使用RQ麽?
Python RQ (Redis Queue) 0.4.0 如何?
dcoder · 2013-12-13 · via RQ

这是一个创建于 4565 天前的主题,其中的信息可能已经有所发展或是发生改变。

Livid

1

Livid      2013 年 12 月 13 日

用了一年多了,挺满意的。

dcoder

2

dcoder      2013 年 12 月 13 日   ❤️ 1

Livid老大,你尝试 0.4.0 的 Job dependencies 了吗?

还有,下面这个问题你遇上过吗 ?

at 22:19, RQ works are killed aggressively, leave in .pid files
need to cfg it as a reliable solution

wuxqing

3

wuxqing      2013 年 12 月 13 日

如果每台服务器上开多个worker,会出现job都跑到单台服务器的情况

dcoder

4

dcoder      2013 年 12 月 13 日

@wuxqing 我没太看懂你的意思,你是说如果一个跑worker的服务器开了很多worker进程的话,job就会都跑到workder进程开得多的服务器上吗?然后其他worker进程开得少的服务器就饿死了?

wuxqing

7

wuxqing      2013 年 12 月 13 日

@dcoder 举个例子:
4台服务器,每台服务器运行4个worker
发布4个job,有的时候会出现,4个job在一台服务上跑。其他3台服务器闲着

Livid

8

Livid      2013 年 12 月 13 日

@dcoder 你的意思是这个东西可能会跑着跑着就崩掉只留下 pid 文件么?

我是用 supervisor 来控制的,如果崩掉就会自动再启动。

Lycnir

9

Lycnir      2013 年 12 月 13 日

@dcoder 对 但是还要看具体应用和你要求的性能
目前我是用作api redis做队列也做cache 然后把结果写入sql

dcoder

10

dcoder      2013 年 12 月 13 日

@wuxqing 貌似是个问题,没有 load balance 的能力么? 我从文档里面是没看到

dcoder

11

dcoder      2013 年 12 月 13 日

@Livid 我还没开始大规模跑,回头再来 update 经验. 还听说 rq-dashboard 费资源,你有用吗?

Livid

13

Livid      2013 年 12 月 13 日

@dcoder 几乎不会用到它。

因为如果你需要看一些数据,或是直接操作 rq 的话,稍微研究一下它在 Redis 里的数据结构,然后直接写 Redis 就好了。

dcoder

14

dcoder      2013 年 12 月 14 日

@Livid 请问 Job dependencies 你是自己实现的吗? 还是用的最新的 0.4.0 的source code.

stillzhl

15

stillzhl      2014 年 11 月 25 日

@Livid job dependency 之间的参数是如何传递的?比如两个job:a 和 b,b依赖于a的job result,那b如何获取这个job result?

Livid

16

Livid      2014 年 11 月 25 日

@stillzhl 如果 A 运行结束之后,把结果写到 Redis,然后启动 B 呢?

stillzhl

17

stillzhl      2014 年 11 月 25 日

@Livid 哦哦,有点明白了。我在写一个分布式的爬虫,上边的A代表下载页面,B代表页面解析。按照你的说法,我可以在A中发起B的job,并以page response作为参数。