谷歌的爬虫有点厉害啊 - V2EX
tubowen
·
2021-02-06
·
via 搜索引擎技术研究
 |
|
17
zeni123 2021 年 2 月 7 日
google chrome 上面有个选项是默认打开的， 那就是 “预加载网页，以便实现更快速的浏览和搜索” 这个功能 也就是 google 应该有各个网页的 cache，而且也知道这个网站有没有收录。 所以只要有人用 chrome 打开了这个网页，没有收录的网站就会去收录，根本就不需要爬虫慢慢爬 |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。
