仿照 scrapy 的设计用 scala 写了一个爬虫框架 - V2EX
gaocegege
·
2016-01-31
·
via Scala
这是一个创建于 3787 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
|
1
wuhx 2016 年 1 月 31 日
赞，才发现 v2 也有 Scala 节点，不过貌似上一条帖子是 100 多天前了 看了一下代码，建议增加爬虫超时重试，用 akka 的 supervisor strategy 处理各种异常会非常愉快。 |
 |
|
2
gaocegege 2016 年 2 月 1 日
@wuhx 0.0 本身对 scala 非常不熟，感觉充满了各种 trick~supervisor strategy 容我去 Google 下~ 最近打算新加的 feature 是分布式，打算做成 manager/worker 的架构 |
|
|
3
wuhx 2016 年 2 月 1 日
@gaocegege 只要不涉及 type level 编程， Scala 还是很容易上手的。 分布式才是 akka 的强项啊
|
|
|
4
gaocegege 2016 年 2 月 1 日
@wuhx 嗯嗯~是想把 worker 做成 stateless, long-running 的，这就需要 manager 去做服务发现，运行起来的时候去找 worker ，感觉还挺麻烦的~ 不过 akka remote actor 真的好方便~ |
|
|
5
gaocegege 2016 年 2 月 1 日
@wuhx 嗯对哈哈~现在就是把 scala 当作带着函数式的 java 在用~
|
|
|
6
wuhx 2016 年 2 月 1 日
@gaocegege akka 的 actor 的成本低，你的 worker 反正是 stateless 的，不如设计成 per-request actor ，用的时候现做，那就就不用找 worker 了。 或者启一个 Router actor ，自动维护一个 worker queue ，你配一下 roudrobin 或者自定义规则的 dispatcher 就好了，非常方便，而且会比你自己实现的性能更好。
|
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。
