在线汉语词典在前一段时间曾经被yahoo的爬虫以每天5万的次数抓取页面, 封了yahoo的好几段ip后,才解决此事。
这2天发现google的爬虫不断的抓取页面,每天大概在3万左右, 真是厉害。
发现了一个特点, baidu的爬虫在自动提交查询词上不如google,记得goole刚开始下载在线汉语词典的网页时, 爬虫自动递交了很多关键词来检验 英汉词典 。
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。