惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

大猫的无限游戏
大猫的无限游戏
S
SegmentFault 最新的问题
The Cloudflare Blog
博客园_首页
WordPress大学
WordPress大学
有赞技术团队
有赞技术团队
人人都是产品经理
人人都是产品经理
爱范儿
爱范儿
罗磊的独立博客
酷 壳 – CoolShell
酷 壳 – CoolShell
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Jina AI
Jina AI
美团技术团队
博客园 - 【当耐特】
博客园 - Franky
T
Tailwind CSS Blog
雷峰网
雷峰网
小众软件
小众软件
阮一峰的网络日志
阮一峰的网络日志
Apple Machine Learning Research
Apple Machine Learning Research
Last Week in AI
Last Week in AI
V
V2EX
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
博客园 - 三生石上(FineUI控件)

博客园 - 曾哲

关于在线 pdf 下载时的注意事项 - 曾哲 嵌入式JavaScript脚本解释器的研究与实现 ASP.NET中常用的26个优化性能方法 快讯:微软宣布446亿美元收购雅虎 收获的2007 被soso的爬虫 把网站爬死了 升级到Visual Studio 2008的10个技巧[转] 学习英文的常用网站 知识图书馆的到来 404 错误自动转向的问题 - 曾哲 - 博客园 常用的一些网站 C#常用正则表达式 MSN 错误 80048820 不能上 在SF.net 上看到中文介绍的开源项目 中文计数 在线英汉词典 智能纠错的设计 .Net中的反射使用入门 【转载】 kgdiwss 的 Blog asp.net 2.0中login控件介绍 关于lucene的书
google和yahoo的网络爬虫真厉害
曾哲 · 2006-06-06 · via 博客园 - 曾哲

    在线汉语词典在前一段时间曾经被yahoo的爬虫以每天5万的次数抓取页面, 封了yahoo的好几段ip后,才解决此事。

     这2天发现google的爬虫不断的抓取页面,每天大概在3万左右, 真是厉害。

   发现了一个特点, baidu的爬虫在自动提交查询词上不如google,记得goole刚开始下载在线汉语词典的网页时, 爬虫自动递交了很多关键词来检验 英汉词典 。