惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
月光博客
月光博客
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
T
Tailwind CSS Blog
大猫的无限游戏
大猫的无限游戏
The Cloudflare Blog
博客园_首页
Jina AI
Jina AI
WordPress大学
WordPress大学
小众软件
小众软件
阮一峰的网络日志
阮一峰的网络日志
Apple Machine Learning Research
Apple Machine Learning Research
博客园 - 三生石上(FineUI控件)
酷 壳 – CoolShell
酷 壳 – CoolShell
博客园 - 叶小钗
美团技术团队
IT之家
IT之家
爱范儿
爱范儿
有赞技术团队
有赞技术团队
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
量子位
博客园 - 聂微东
人人都是产品经理
人人都是产品经理
博客园 - 【当耐特】

博客园 - 曾哲

关于在线 pdf 下载时的注意事项 - 曾哲 嵌入式JavaScript脚本解释器的研究与实现 ASP.NET中常用的26个优化性能方法 快讯:微软宣布446亿美元收购雅虎 收获的2007 被soso的爬虫 把网站爬死了 升级到Visual Studio 2008的10个技巧[转] 学习英文的常用网站 知识图书馆的到来 404 错误自动转向的问题 - 曾哲 - 博客园 常用的一些网站 C#常用正则表达式 MSN 错误 80048820 不能上 在SF.net 上看到中文介绍的开源项目 中文计数 在线英汉词典 智能纠错的设计 .Net中的反射使用入门 【转载】 kgdiwss 的 Blog asp.net 2.0中login控件介绍 关于lucene的书
google和yahoo的网络爬虫真厉害
曾哲 · 2006-06-06 · via 博客园 - 曾哲

    在线汉语词典在前一段时间曾经被yahoo的爬虫以每天5万的次数抓取页面, 封了yahoo的好几段ip后,才解决此事。

     这2天发现google的爬虫不断的抓取页面,每天大概在3万左右, 真是厉害。

   发现了一个特点, baidu的爬虫在自动提交查询词上不如google,记得goole刚开始下载在线汉语词典的网页时, 爬虫自动递交了很多关键词来检验 英汉词典 。