爬取一些网站,用 AI 写代码,写的很好,有都能跑起来,但是目前碰到的问题是: 不能持续大规模的爬取,会遇到一些风控,很多都是cloudflare,很变态的,过不了 社区的很多第三方插件,很多是一股脑的模拟浏览器打开所有页面,直接获取其中的内容,没有对内容进行筛选
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。