









最近给两个新增的站点配置Google、Bing、百度的搜索工具,途中在百度站长工具中查看了下本站的爬取记录,发现抓取频次从11月30日以后在一直是0,很是奇怪。要说一直是0也就算了,可之前的爬取频次是正常的,那肯定是我做了啥操作导致百度无法爬取。

由于也没过几天,很快就想到了我曾经在CloudFlare的安全规则中新增了两条规则,分别是针对xmlrpc.php和wp-login.php。因为那个时候还没有安装wp-login-hide,所以每天都有大量的登录请求,尽管我在nginx的配置中也是限制了xmlrpc.php,但我想将请求挡在服务器之外,于是便设置了如下规则。

其实在我安装wp-rocket插件后,wp-rocket就一直提醒我某些链接无法访问,所以我只是将wp-rocket的IP地址设置进了白名单。因为Google和Bing都正常收录,而百度只爬不给录取,所以一直没注意这件事情。今天测试了下爬取,首页是正常的,其他页面都会提示 socket 读写错误。

于是我尝试将wp-login.php的规则删除(因为有wp-hide-login插件就没必要处理这个了),将xmlrpc.php禁用,过了一会儿百度显示爬取成功。
如果在意百度收录的,每次修改网站安全策略之前,记得多测测百度爬虫。
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。