跟踪 AI 机器人抓取 Web 内容的 TollBit 报告，在 266 个网站中检索增强生成（Retrieval-Augmented Generation 或 RAG）机器人抓取流量已超过了训练机器人的抓取流量，RAG 机器人的抓取量从去年四季度到今年一季度增长了 49%。而这些机器人程序日益无视网站的 robots.txt，一个季度内绕过 robots.txt 的比例从 3.3% 升至 12.9%。RAG 机器人流量的增长反映了用户越来越多的通过聊天机器人如 ChatGPT 而不是 Google 去执行 Web 搜索。TollBit CEO 兼联合创始人 Toshit Panigrahi 表示，这一趋势意味着网站需要重新定位去面向机器人访客而不是人类访客。但对内容出版商而言问题是机器人不会付钱人类则可能会付钱，所以如何获利成为一大难题。AI 公司通常会以合理使用的名义拒绝支付任何费用，它们的 AI 机器人还会无视限制绕过屏蔽。

news.slashdot.org/story/25/06/14/021246/increased-traffic-from-web-scraping-ai-bots-is-hard-to-monetize
tollbit.com/bots/25q1/