惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

W
WeLiveSecurity
T
The Exploit Database - CXSecurity.com
C
CXSECURITY Database RSS Feed - CXSecurity.com
S
Security @ Cisco Blogs
T
Threat Research - Cisco Blogs
TaoSecurity Blog
TaoSecurity Blog
Recent Commits to openclaw:main
Recent Commits to openclaw:main
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
腾讯CDC
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
T
The Blog of Author Tim Ferriss
Microsoft Azure Blog
Microsoft Azure Blog
罗磊的独立博客
F
Full Disclosure
博客园 - 【当耐特】
C
CERT Recently Published Vulnerability Notes
Engineering at Meta
Engineering at Meta
Application and Cybersecurity Blog
Application and Cybersecurity Blog
T
Threatpost
I
Intezer
V2EX - 技术
V2EX - 技术
H
Hackread – Cybersecurity News, Data Breaches, AI and More
The Hacker News
The Hacker News
小众软件
小众软件
Google DeepMind News
Google DeepMind News
T
Tailwind CSS Blog
D
Darknet – Hacking Tools, Hacker News & Cyber Security
B
Blog RSS Feed
Microsoft Security Blog
Microsoft Security Blog
N
News | PayPal Newsroom
MyScale Blog
MyScale Blog
AI
AI
Vercel News
Vercel News
Spread Privacy
Spread Privacy
美团技术团队
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
The GitHub Blog
The GitHub Blog
V
Vulnerabilities – Threatpost
Schneier on Security
Schneier on Security
Cyberwarzone
Cyberwarzone
G
GRAHAM CLULEY
Help Net Security
Help Net Security
Hacker News: Ask HN
Hacker News: Ask HN
Google DeepMind News
Google DeepMind News
MongoDB | Blog
MongoDB | Blog
L
LINUX DO - 热门话题
U
Unit 42
L
LangChain Blog
Recent Announcements
Recent Announcements

RQ

关于长时间运行的 rqworker RQ 对提高整个应用的性能很有帮助 如果基于 rq 来开发一个 MapReduce framework? RQ中,在一个Queue执行完之后触发事件的方法 rq-dashboard Rq 执行的的任务貌似对中文支持不佳 关于 RQ 的任务重试机制 这里有人在生产环境使用RQ麽?
Python RQ (Redis Queue) 0.4.0 如何?
dcoder · 2013-12-13 · via RQ

这是一个创建于 4565 天前的主题,其中的信息可能已经有所发展或是发生改变。

Livid

1

Livid      2013 年 12 月 13 日

用了一年多了,挺满意的。

dcoder

2

dcoder      2013 年 12 月 13 日   ❤️ 1

Livid老大,你尝试 0.4.0 的 Job dependencies 了吗?

还有,下面这个问题你遇上过吗 ?

at 22:19, RQ works are killed aggressively, leave in .pid files
need to cfg it as a reliable solution

wuxqing

3

wuxqing      2013 年 12 月 13 日

如果每台服务器上开多个worker,会出现job都跑到单台服务器的情况

dcoder

4

dcoder      2013 年 12 月 13 日

@wuxqing 我没太看懂你的意思,你是说如果一个跑worker的服务器开了很多worker进程的话,job就会都跑到workder进程开得多的服务器上吗?然后其他worker进程开得少的服务器就饿死了?

wuxqing

7

wuxqing      2013 年 12 月 13 日

@dcoder 举个例子:
4台服务器,每台服务器运行4个worker
发布4个job,有的时候会出现,4个job在一台服务上跑。其他3台服务器闲着

Livid

8

Livid      2013 年 12 月 13 日

@dcoder 你的意思是这个东西可能会跑着跑着就崩掉只留下 pid 文件么?

我是用 supervisor 来控制的,如果崩掉就会自动再启动。

Lycnir

9

Lycnir      2013 年 12 月 13 日

@dcoder 对 但是还要看具体应用和你要求的性能
目前我是用作api redis做队列也做cache 然后把结果写入sql

dcoder

10

dcoder      2013 年 12 月 13 日

@wuxqing 貌似是个问题,没有 load balance 的能力么? 我从文档里面是没看到

dcoder

11

dcoder      2013 年 12 月 13 日

@Livid 我还没开始大规模跑,回头再来 update 经验. 还听说 rq-dashboard 费资源,你有用吗?

Livid

13

Livid      2013 年 12 月 13 日

@dcoder 几乎不会用到它。

因为如果你需要看一些数据,或是直接操作 rq 的话,稍微研究一下它在 Redis 里的数据结构,然后直接写 Redis 就好了。

dcoder

14

dcoder      2013 年 12 月 14 日

@Livid 请问 Job dependencies 你是自己实现的吗? 还是用的最新的 0.4.0 的source code.

stillzhl

15

stillzhl      2014 年 11 月 25 日

@Livid job dependency 之间的参数是如何传递的?比如两个job:a 和 b,b依赖于a的job result,那b如何获取这个job result?

Livid

16

Livid      2014 年 11 月 25 日

@stillzhl 如果 A 运行结束之后,把结果写到 Redis,然后启动 B 呢?

stillzhl

17

stillzhl      2014 年 11 月 25 日

@Livid 哦哦,有点明白了。我在写一个分布式的爬虫,上边的A代表下载页面,B代表页面解析。按照你的说法,我可以在A中发起B的job,并以page response作为参数。