這兩天嘗試 CloudFlare 官方免費 CNAME 接入方式，詳情見文章：

經過測試通過 Cloudflare pages function方法已失效，最後只有通過 SaaS配置成功。

問題出現

然而，在百度搜索資源平臺的sitemap 抓取及抓取診斷卻出了問題：

1. sitemap狀態變為解析錯誤
2. 在抓取診斷中報錯：socket 讀寫錯誤

百度官方對socket讀寫錯誤的解釋：

【socket 讀寫錯誤】
當百度 spider 訪問服務器，進行 tcp 通信的時候，socket 讀寫發生異常，導致數據不能正常返回。請檢查服務器連接狀況和防火牆設置是否符合預期。

嘗試解決

在查詢了一圈網上資料後，確定了需要在 Cloudflare 上配置 WAF 防火牆規則。

1、百度爬蟲抓取診斷鏈接失敗解決方法

登錄 Cloudflare → 安全性 → WAF → 防火牆規則 → 創建防火牆規則。

2、百度爬蟲抓取Sitemap地圖失敗解決方法

同樣的地方：登錄 Cloudflare → 安全性 → WAF → 防火牆規則 → 創建防火牆規則。

1. 字段，選擇“用戶代理”
2. 運算符，選擇“包含”
3. 添加新的用戶代理，點擊最後的“Or”
4. 值，分別輸入以下百度蜘蛛UA用戶代理

Baiduspider/2.0
Baiduspider-image
Baiduspider-render/2.0
http://www.baidu.com/search/spider.html
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）

整體表達式如下：

(http.user_agent contains "Baiduspider/2.0" and http.user_agent contains "Baiduspider-image" and http.user_agent contains "Baiduspider-render/2.0" and http.user_agent contains "http://www.baidu.com/search/spider.html" and http.user_agent contains "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" and http.user_agent contains "Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）")

寫在後面

為什麼這篇文章只是嘗試解決問題呢，因為經過以上步驟後，在百度抓取診斷後測試的結果是時靈時不靈，結果不盡如人意。

直到看到一位同樣遇到這類問題的網友寫了這麼一段話：

感慨萬千！