网站昨天持续打开很慢，经过分析发现是百度爬虫频繁抓取导致，改了rorots.txt还是不起作用，后来业务同事催得急，急中生智在阿里云后台设置了安全组规则，用cidr一下解决问题。
网段如下
123.125.71.74/24
220.181.108.139/24
111.206.198.46/16
可能会误伤一些用户的IP。
虽然这样做，百度可能会将网站的自然排名降权。那也是没办法的，百度爬虫为什么这样没有轻重的爬呢？
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。