在 2025 年，AI 爬虫领域迎来了全新变革。本文聚焦于 2025AI 爬虫最佳实践，深入实战演示如何运用 Deepseek、Crawl4ai 以及 Playwright MCP 这三大工具组合，实现高效、智能的爬虫操作，从环境搭建到代码实践，再到动态加载与数据提取，全方位展现 AI 爬虫的魅力与潜力，让你轻松掌握前沿爬虫技术。
今天来做一个实战：用Crawl4ai做一次AI爬虫，看看是什么样子的
先根据官方的代码安装起来：
# Install the package
pip install -U crawl4ai
# Run post-installation setup
crawl4ai-setup
# Verify your installation
crawl4ai-doctor
最后看到下图的样子，就证明安装、初始化成功了。
接下来我们测一下官方给的示例。
import asyncio
from crawl4ai import *
async def main():
async with AsyncWebCrawler() as crawler:
result = await crawler.arun(
url=”https://www.nbcnews.com/business”,
)
print(result.markdown)
if __name__ == “__main__”:
asyncio.run(main())
官方的测试是一个新闻网站
新建py文件，把代码黏贴进去，直接运行后，结果显示，确实能正常抓取。
最新版的Crawl4ai 有个新的功能：把网站上的表格抓取下来后，解析成pandas的DataFrame格式。
简单来说，之前我们需要手动去把下载下来的数据，清洗、结构化后，转成DataFrame格式再做分析。
现在是可以一步到位了。
我们看下这个官方示例给的是一个虚拟货币的网站，我们需要把下图中的表格给爬下来，并转成python 的表格，可以直接用于下一步分析。
但这里出了一个问题：官方给的示例无法用，如图，是不完整的，都是红色波浪线，直接运行会报错，我代码能力又差，不会改，怎么办？
很简单，让AI去改就好了。直接上Cursor。
但接下来又有新问题：因为这是crawl4ai的新功能，有些AI应该是没有学习的。
此时就可以用我们之前介绍的context7MCP，让AI自己去学习最新的文档，再来补全代码。红温了！Cursor又乱写代码？1分钟装上Context7 MCP享受实时文档检索服务
我用的提示词：
文件代码是crawl4ai的官方示例，效果是把如图 的网站表格数据抓取下来，保存为pandas的dataframe格式但这个代码不完整，需要你用context7 mcp 找到最新的crawl4ai文档，把代码补充完整确保能正常使用
AI一顿操作之后，拿到的代码直接运行就能跑了，我们看到已经顺利把前面网站里的表格下载成了DF
还是挺顺利的，打开Excel看更完整一些，接下来就能用这些数据做分析。
现在的网站很少静态了，大多数都是动态加载，也就是需要不断滚动才会加载新的内容，如果这个流程要自己处理就太麻烦了。
幸好，Crawl4ai内置了javascript的支持，我们可以直接写一句js代码，就能让页面一滚到底把所有内容加载。result = await crawler.arun( url=”https://动态内容站点.com”, js_code=”window.scrollTo(0, document.body.scrollHeight);”, wait_for=”document.querySelector(‘.loaded’)”)
OK，至此，我们已经跑通了Crawl4ai 官方给的爬虫示例代码。但还没用上AI的地方。
要知道，我们之所以用这些框架，就是想让AI来帮我们解决爬虫中的难题。
所以接下来我们来看下怎么在Crawl4ai用AI来做爬虫？进阶：大模型动态加载爬取电商评论
还是业务场景先行，我选择了一个高频的场景：电商商品评论爬取。（后续爬下来的评论数据还可以做文本分析，挖掘出有商业价值的信息）
网址是：https://www.amazon.com/PawSwing-AutoComb-Automatic-Surround-biomimetic/dp/B0DMSVNTC1
往下翻能看到评论列表：
在原先Cursor的窗口下，直接让AI先帮我们完成代码的撰写：现在需要你写一个Crawl4ai的脚本，把这个亚马逊产品下的评论抓取出来：顾客姓名、标题、国家、时间、评论内容等，你可以先用playwright mcp去看一下这个网站，然后再修改
发现没有，我没有让AI直接去写代码，而是让它先去看一眼这个网站长什么样，然后再写代码。
因为每个网站加载流程、速度、结构都是不同的，贸贸然写一个通用的代码，很可能跑不通。
而Playwright MCP的介绍与安装我之前也说过，可以直接跳转这个文章去学习：用 Playwright MCP 让 AI 改它自己写的屎山代码
话说回来，我们已经能看到AI Called MCP tool，自动打开亚马逊网站，并且`get_visible_html`，也就是看了一眼。
得到的代码如下，整体很长，我截了一些关键部分，包括建议也放到了注释里：
1. 定义亚马逊评论的数据模型
classAmazonReview(BaseModel):
customer_name:
review_title:
country_and_date:
review_body:
image_urls:
rating:
# 2. 使用LLMConfig来配置AI模型
llm_config = LLMConfig(
provider=provider,
api_token=api_token,
base_url=base_url
)
# 3. 设置AI爬取数据的策略，关键就是提示词
strategy = LLMExtractionStrategy(
llm_config=llm_config,
schema=AmazonReview.model_json_schema(),
extraction_type=”schema”,
instruction=f”””
从提供的HTML内容中提取亚马逊产品评论信息。
评论通常包含在一个带有 ‘data-hook=”review”‘ 属性的<div>元素中。
请为每个评论提取以下信息，并构造成一个JSON对象列表:
1. `customer_name`: 评论者的名字，通常在一个带有 ‘data-hook=”genome-widget”‘ 的span元素内或附近。
2. `review_title`: 评论的标题，通常在一个带有 ‘data-hook=”review-title”‘ 的span或a元素内，可能是加粗的文本。
3. `country_and_date`: 评论的国家和日期，通常在一个带有 ‘data-hook=”review-date”‘ 的span元素内，格式类似于 “Reviewed in [国家] on [日期]”。
4. `review_body`: 评论的正文内容，通常在一个带有 ‘data-hook=”review-body”‘ 的span元素内。
5. `image_urls`: 评论中用户上传的图片URL列表。图片通常是<img>标签，其父元素可能带有 ‘review-image-tile’ 或类似class。请提取<img>标签的’src’属性。如果没有图片，则此字段为null或空列表[]。
6. `rating`: 评论的星级评分，通常在评论标题附近或评论正文开头。
确保提取尽可能多的评论。忽略页面上非评论区域的内容。
“””,
chunk_token_threshold=8000, # 改回合理的分块阈值
apply_chunking=True, # 对大型页面进行分块处理
input_format=”html”,
verbose=True# 开启LLM策略的详细日志
)
# 4. 对浏览器的设置，尤其是反爬厉害的网站一定要设置
browser_config = BrowserConfig(
headless=False, # 可以设为True在后台运行
java_script_enabled=True, # 确保JavaScript加载评论
# 可以添加代理、user-agent等配置来模拟真实用户，减少被屏蔽的风险
# user_agent=”Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36″
viewport={“width”: 1280, “height”: 800},
verbose=True# 开启浏览器配置的详细日志
)
# 5. 爬虫配置
crawler_config = CrawlerRunConfig(
cache_mode=CacheMode.BYPASS,
page_timeout=90000, # 增加页面加载超时时间，亚马逊页面可能较慢
extraction_strategy=strategy,
# 增加等待时间，确保动态加载的评论内容出现
# 注意：crawl4ai目前没有直接的wait_for_selector或类似playwright的精细等待机制
# 可以通过 page_timeout 间接控制等待时间，或者后续考虑用playwright直接操作
verbose=True# 开启爬虫运行的详细日志
)
# 6. 开始爬取
result = await crawler.arun(
url=self.url,
config=self.crawler_config,
js_code=”window.scrollTo(0, document.body.scrollHeight);”,
wait_for=”document.querySelector(‘.loaded’)”
)
看下结果还是不错的
尤其是image_url能直接把图片地址整理好。
Crawl4ai的逻辑是会一开始先把HTML全部扔给AI然后让AI出解析的策略，再拆分成多个模块逐个给到AI去解析数据。
这里就有个要点：选择模型要注意支持「大上下文」的
我一开始选的deepseek v3 ，太小了，导致一开始啃不下整个HTML导致报错
后来我改用gemini-2.5-pro-exp-03-25才成功
很烧token，大家可以感受一下，我抓了24条评论，消耗了多少：
总消耗：992,830 (Prompt) + 6,348 (Completion) = 999,178 tokens
如果gemini-2.5-pro-preview-03-25的费用来算，大概是1.3美金（Gemini帮我算的，幸好我用的是免费的版本。）
说实话，爬虫的话RPA效果好很多，但RPA似乎是一个伪命题，需要自己去搭流程、去抓元素、去设计抓取逻辑等等，一个无代码工具反而让小白无所适从，得从头好好学习才行。
现在AI爬虫比较可行的方案是基于Cursor，搭配Playwright MCP去开发Crawl4ai的脚本。
虽然现在还不是非常好用，但或许在不久的未来会是一个很丝滑的AI爬虫体验。
本文由人人都是产品经理作者【饼干哥哥】，微信公众号：【饼干哥哥AGI】，原创/授权 发布于人人都是产品经理，未经许可，禁止转载。
题图来自Unsplash，基于 CC0 协议。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。