惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Cyberwarzone
Cyberwarzone
Vercel News
Vercel News
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
aimingoo的专栏
aimingoo的专栏
B
Blog RSS Feed
A
About on SuperTechFans
T
The Blog of Author Tim Ferriss
爱范儿
爱范儿
腾讯CDC
S
SegmentFault 最新的问题
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
The Hacker News
The Hacker News
J
Java Code Geeks
大猫的无限游戏
大猫的无限游戏
B
Blog
IT之家
IT之家
Spread Privacy
Spread Privacy
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
C
Cisco Blogs
Recent Announcements
Recent Announcements
H
Hacker News: Front Page
AI
AI
I
InfoQ
H
Heimdal Security Blog
T
Threatpost
Cisco Talos Blog
Cisco Talos Blog
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
I
Intezer
W
WeLiveSecurity
SecWiki News
SecWiki News
MongoDB | Blog
MongoDB | Blog
宝玉的分享
宝玉的分享
博客园 - 【当耐特】
云风的 BLOG
云风的 BLOG
T
Threat Research - Cisco Blogs
V2EX - 技术
V2EX - 技术
N
News and Events Feed by Topic
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
O
OpenAI News
阮一峰的网络日志
阮一峰的网络日志
T
Troy Hunt's Blog
www.infosecurity-magazine.com
www.infosecurity-magazine.com
博客园 - 司徒正美
Apple Machine Learning Research
Apple Machine Learning Research
雷峰网
雷峰网
T
Tor Project blog
有赞技术团队
有赞技术团队
Schneier on Security
Schneier on Security
Last Week in AI
Last Week in AI

RQ

关于长时间运行的 rqworker RQ 对提高整个应用的性能很有帮助 如果基于 rq 来开发一个 MapReduce framework? RQ中,在一个Queue执行完之后触发事件的方法 rq-dashboard Rq 执行的的任务貌似对中文支持不佳 关于 RQ 的任务重试机制 这里有人在生产环境使用RQ麽?
Python RQ (Redis Queue) 0.4.0 如何?
dcoder · 2013-12-13 · via RQ

这是一个创建于 4565 天前的主题,其中的信息可能已经有所发展或是发生改变。

Livid

1

Livid      2013 年 12 月 13 日

用了一年多了,挺满意的。

dcoder

2

dcoder      2013 年 12 月 13 日   ❤️ 1

Livid老大,你尝试 0.4.0 的 Job dependencies 了吗?

还有,下面这个问题你遇上过吗 ?

at 22:19, RQ works are killed aggressively, leave in .pid files
need to cfg it as a reliable solution

wuxqing

3

wuxqing      2013 年 12 月 13 日

如果每台服务器上开多个worker,会出现job都跑到单台服务器的情况

dcoder

4

dcoder      2013 年 12 月 13 日

@wuxqing 我没太看懂你的意思,你是说如果一个跑worker的服务器开了很多worker进程的话,job就会都跑到workder进程开得多的服务器上吗?然后其他worker进程开得少的服务器就饿死了?

wuxqing

7

wuxqing      2013 年 12 月 13 日

@dcoder 举个例子:
4台服务器,每台服务器运行4个worker
发布4个job,有的时候会出现,4个job在一台服务上跑。其他3台服务器闲着

Livid

8

Livid      2013 年 12 月 13 日

@dcoder 你的意思是这个东西可能会跑着跑着就崩掉只留下 pid 文件么?

我是用 supervisor 来控制的,如果崩掉就会自动再启动。

Lycnir

9

Lycnir      2013 年 12 月 13 日

@dcoder 对 但是还要看具体应用和你要求的性能
目前我是用作api redis做队列也做cache 然后把结果写入sql

dcoder

10

dcoder      2013 年 12 月 13 日

@wuxqing 貌似是个问题,没有 load balance 的能力么? 我从文档里面是没看到

dcoder

11

dcoder      2013 年 12 月 13 日

@Livid 我还没开始大规模跑,回头再来 update 经验. 还听说 rq-dashboard 费资源,你有用吗?

Livid

13

Livid      2013 年 12 月 13 日

@dcoder 几乎不会用到它。

因为如果你需要看一些数据,或是直接操作 rq 的话,稍微研究一下它在 Redis 里的数据结构,然后直接写 Redis 就好了。

dcoder

14

dcoder      2013 年 12 月 14 日

@Livid 请问 Job dependencies 你是自己实现的吗? 还是用的最新的 0.4.0 的source code.

stillzhl

15

stillzhl      2014 年 11 月 25 日

@Livid job dependency 之间的参数是如何传递的?比如两个job:a 和 b,b依赖于a的job result,那b如何获取这个job result?

Livid

16

Livid      2014 年 11 月 25 日

@stillzhl 如果 A 运行结束之后,把结果写到 Redis,然后启动 B 呢?

stillzhl

17

stillzhl      2014 年 11 月 25 日

@Livid 哦哦,有点明白了。我在写一个分布式的爬虫,上边的A代表下载页面,B代表页面解析。按照你的说法,我可以在A中发起B的job,并以page response作为参数。