惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

GbyAI
GbyAI
WordPress大学
WordPress大学
D
DataBreaches.Net
腾讯CDC
小众软件
小众软件
B
Blog RSS Feed
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
T
The Blog of Author Tim Ferriss
MongoDB | Blog
MongoDB | Blog
U
Unit 42
Y
Y Combinator Blog
V
V2EX
I
InfoQ
D
Docker
量子位
N
Netflix TechBlog - Medium
Recent Announcements
Recent Announcements
A
About on SuperTechFans
博客园 - 叶小钗
大猫的无限游戏
大猫的无限游戏
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
B
Blog
阮一峰的网络日志
阮一峰的网络日志
MyScale Blog
MyScale Blog

博客园 - 曾哲

关于在线 pdf 下载时的注意事项 - 曾哲 嵌入式JavaScript脚本解释器的研究与实现 ASP.NET中常用的26个优化性能方法 快讯:微软宣布446亿美元收购雅虎 收获的2007 被soso的爬虫 把网站爬死了 升级到Visual Studio 2008的10个技巧[转] 学习英文的常用网站 知识图书馆的到来 404 错误自动转向的问题 - 曾哲 - 博客园 常用的一些网站 C#常用正则表达式 MSN 错误 80048820 不能上 在SF.net 上看到中文介绍的开源项目 中文计数 在线英汉词典 智能纠错的设计 .Net中的反射使用入门 【转载】 kgdiwss 的 Blog asp.net 2.0中login控件介绍 关于lucene的书
google和yahoo的网络爬虫真厉害
曾哲 · 2006-06-06 · via 博客园 - 曾哲

    在线汉语词典在前一段时间曾经被yahoo的爬虫以每天5万的次数抓取页面, 封了yahoo的好几段ip后,才解决此事。

     这2天发现google的爬虫不断的抓取页面,每天大概在3万左右, 真是厉害。

   发现了一个特点, baidu的爬虫在自动提交查询词上不如google,记得goole刚开始下载在线汉语词典的网页时, 爬虫自动递交了很多关键词来检验 英汉词典 。