1. 爬取商品页时，需要在header里带上cookie，否则会返回302跳转到一个验证页面。
2. 如果页面返回的是乱码，是由于header的 "accept-encoding" 里有一个br，此时response的 contentEncoding是 “br”，把“accept-encoding”的br去掉就可以了
(response.contentEncoding()
3. 实测本地京东商品页可以爬取，但在服务器上就会转到一个验证页面，是云服务商的ip被限制了还是只有登陆过的ip才可以？？
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。