惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

T
Tailwind CSS Blog
博客园 - 【当耐特】
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
博客园 - Franky
小众软件
小众软件
酷 壳 – CoolShell
酷 壳 – CoolShell
博客园 - 三生石上(FineUI控件)
B
Blog
有赞技术团队
有赞技术团队
J
Java Code Geeks
云风的 BLOG
云风的 BLOG
Recent Announcements
Recent Announcements
Jina AI
Jina AI
Vercel News
Vercel News
博客园 - 叶小钗
Hugging Face - Blog
Hugging Face - Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
F
Fortinet All Blogs
The Cloudflare Blog
V
V2EX
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
博客园_首页
腾讯CDC

码农小站

魔兽世界12.0至暗之夜插件推荐 2025年出生人口数小记 MXroute改版导致无法收信 移动宽带突然无法访问CloudFlare Turntile了? 新增图片加速CloudFlare R2 开启WPS Hide Login后,暴力破解没有了 继续折腾网站 食品安全又突破新底线:”假奶粉”事件 虚拟信用卡dupay正式下线 最终还是选择了MXroute 我玩过的游戏:梦幻西游手游
CloudFlare的安全规则不小心挡住了百度的爬虫
admin · 2025-12-18 · via 码农小站

最近给两个新增的站点配置Google、Bing、百度的搜索工具,途中在百度站长工具中查看了下本站的爬取记录,发现抓取频次从11月30日以后在一直是0,很是奇怪。要说一直是0也就算了,可之前的爬取频次是正常的,那肯定是我做了啥操作导致百度无法爬取。

CloudFlare的安全规则不小心挡住了百度的爬虫

由于也没过几天,很快就想到了我曾经在CloudFlare的安全规则中新增了两条规则,分别是针对xmlrpc.php和wp-login.php。因为那个时候还没有安装wp-login-hide,所以每天都有大量的登录请求,尽管我在nginx的配置中也是限制了xmlrpc.php,但我想将请求挡在服务器之外,于是便设置了如下规则。

CloudFlare的安全规则不小心挡住了百度的爬虫

其实在我安装wp-rocket插件后,wp-rocket就一直提醒我某些链接无法访问,所以我只是将wp-rocket的IP地址设置进了白名单。因为Google和Bing都正常收录,而百度只爬不给录取,所以一直没注意这件事情。今天测试了下爬取,首页是正常的,其他页面都会提示 socket 读写错误

CloudFlare的安全规则不小心挡住了百度的爬虫

于是我尝试将wp-login.php的规则删除(因为有wp-hide-login插件就没必要处理这个了),将xmlrpc.php禁用,过了一会儿百度显示爬取成功。

如果在意百度收录的,每次修改网站安全策略之前,记得多测测百度爬虫。