惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Vercel News
Vercel News
The GitHub Blog
The GitHub Blog
博客园 - 【当耐特】
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Recent Announcements
Recent Announcements
D
Docker
GbyAI
GbyAI
酷 壳 – CoolShell
酷 壳 – CoolShell
WordPress大学
WordPress大学
The Cloudflare Blog
雷峰网
雷峰网
A
About on SuperTechFans
小众软件
小众软件
博客园 - Franky
博客园 - 聂微东
F
Full Disclosure
大猫的无限游戏
大猫的无限游戏
C
Check Point Blog
MongoDB | Blog
MongoDB | Blog
G
Google Developers Blog
Microsoft Azure Blog
Microsoft Azure Blog
U
Unit 42
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
V
V2EX
Engineering at Meta
Engineering at Meta
宝玉的分享
宝玉的分享
aimingoo的专栏
aimingoo的专栏
量子位
P
Proofpoint News Feed
Hugging Face - Blog
Hugging Face - Blog
博客园_首页
罗磊的独立博客
Martin Fowler
Martin Fowler
D
DataBreaches.Net
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
S
Secure Thoughts
Project Zero
Project Zero
L
LangChain Blog
阮一峰的网络日志
阮一峰的网络日志
C
Cybersecurity and Infrastructure Security Agency CISA
T
Tailwind CSS Blog
S
Schneier on Security
Blog — PlanetScale
Blog — PlanetScale
The Hacker News
The Hacker News
Spread Privacy
Spread Privacy
Security Latest
Security Latest
NISL@THU
NISL@THU
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
C
CXSECURITY Database RSS Feed - CXSecurity.com
J
Java Code Geeks

博客园 - iTech

7万星的AI交易框架:让大模型模拟投行多空辩论,自动做交易决策 71000颗星的AI交易团队:让大模型模拟投行分工,自动做交易决策 13400颗星的开源项目:输入一句话,AI全自动帮你做短视频 102颗星的沙盒:当AI学会自己写代码、跑测试、做部署 AI 技术日报 - 2026-05-08 29k 星的 PageIndex:不用向量数据库,靠推理就能做 RAG 每天花两小时刷信息?这个开源项目帮你全自动搞定 读源码像读小说?试了 DeepWiki 和 Zread,我再也不想裸读 GitHub 了 Matt Pocock 开源的这套 .claude 技能,为什么让工程师集体上头? Cursor Team Kit:Cursor 官方团队在用的 17 个 AI 工作流 AI 技术日报 - 2026-05-07 AI 技术日报 - 2026-05-06 AI 技术日报 - 2026-05-05 Anthropic CEO 说 12 个月内程序员要失业,我扒完他的底牌,发现事情没那么简单 把工程师的肌肉记忆装进 Claude Code,这个 4300 Star 的项目我后悔没早用 AI 技术日报 - 2026-05-04 AI 技术日报 - 2026-05-03 AI 技术日报 - 2026-05-02 六大 Agent 框架横评:谁支持 Skills?谁能自动创建 Agent?MCP 呢? Wechatsync:一个 Chrome 插件,一键把文章同步到 31 个平台 LangChain 开源了 Open SWE:Stripe、Ramp、Coinbase 内部都在造的编程 Agent Cockpit:把 Claude Code 从终端里搬出来,装进浏览器 Cursor 把自家的 AI Agent 开放了:写几行 TypeScript 就能调 Cursor 干活 AI 技术日报 - 2026-05-01 AI 写代码每次结果都不一样?Archon 用 YAML 工作流把 AI 编程变成流水线 AI 写代码比你快了,但你还是得学编程——只不过学法得换 腾讯的龙虾特工队:4 个 AI Agent 同日更新,全家桶正式成型 Agno 不做更聪明的 Agent,它要把所有 Agent 框架包进同一个操作系统 Hermes Agent 终于有了像样的 Web 界面,而且还支持远程访问 Datawhale 出了一套 29 学科知识地图,把 AI 的底牌全掀了 Hermes Agent 在聊天框里就能用的 20 种高级功能 一份 AGENTS.md 能顶一次模型升级?Augment Code 用数据说了算 NVIDIA 开源了一个「AI 沙箱」,20K Star,让 Agent 跑代码不再裸奔 60ms 冷启动、5MB 内存:腾讯开源的这个沙箱让 Docker 安全隔离像笑话 AI 技术日报 - 2026-04-30 AI 技术日报 - 2026-04-29 AI 技术日报 - 2026-04-28 Goose:Linux 基金会亲儿子,能撼动 Claude Code 和 OpenCode 吗? AI 技术日报 - 2026-04-27 AI 技术日报 - 2026-04-26 Google 把价值20美元/月的东西免费了,102K人已经抢到了 OpenClaw 和 Claude Code 网络搜索配置指南 AI 技术日报 - 2026-04-25 Anthropic 为什么遥遥领先:从 Cat Wu 专访看AI霸主的底层逻辑 Mac 本地跑大模型完全指南:你的苹果电脑就是 AI 工作站 同样 70B 参数,为什么 MoE 只激活 13B 就能打平 Dense? DeepSeek-V4 技术报告里藏着一条线:华为昇腾 NPU 已完成推理验证 DeepSeek-V4 深夜炸场:1M 上下文、384K 输出、双模型,API 定价直接卷到底 MacBook Air 跑大模型实测:Ollama、llama.cpp、LM Studio 谁才是本地推理之王? AI 技术日报 - 2026-04-24 OpenCode:Claude Code 的最佳平替 2026 开源大模型五国杀:Qwen 3.6 vs Gemma 4 vs Llama 4 vs GLM-5.1 vs DeepSeek V4 MCP 与 Skills 的你死我活:Anthropic 的 Agent 生态野心与开发者的站队困境 给 AI Agent 配搜索,国内能用的搜索 API 实测对比 AI 技术日报 - 2026-04-23 CC Switch:49K Star 的 Claude Code 登录绕过神器,还能管 Codex 和 Gemini CLI NVIDIA 开出 32 万美元年薪招 AI Agent 工程师,JD 里藏着这些信号 fast-mirror-skill 技术拆解:一个小而完整的 Claude Skill 是怎么设计的 Cursor 值 600 亿美元?马斯克这次赌的不是技术,是入口 AI 技术日报 - 2026-04-22 别再问 AI 能不能赚钱了:3 个上班族亲测有效的副业方法(2026 最新版) 10 分钟从零搞定 Hermes Agent:飞书微信双通道丝滑上线 AI 技术日报 - 2026-04-21 Anthropic 实战总结:AI Agent 的 3 种工作流模式,选错代价很大 安装 openclaw,hermes 慢的想发疯,fast-mirror-skill 来救了 Claude Routines:你下班睡觉了,Agent 还在为你干活 微信飞书里敲一个斜杠就能干活:Hermes Quick Command 到底多省事 AI 正在疯狂吃电:算力尽头是电力,谁能解这道题? AI 技术日报 - 2026-04-20 3K 行代码造一个越用越聪明的 AI Agent:GenericAgent 登顶 GitHub Trending 高德途途封神机器人半马,背后的 ABot-Claw 到底是什么 人们希望 AI 能干啥?Anthropic 调查:第一名不是赚钱,是变强 AI 时代人们在担心什么?Anthropic 的 13 条焦虑排行榜 OpenAI 官方 Agent SDK 来了:22k Star,支持 100+ 模型,Python 10 行代码上手 AI 技术日报 - 2026-04-19 OpenAgents Workspace:让 Claude Code 和 Codex 在同一个群里干活 Claude 是要干掉整个软件行业吗? Claude 官方推荐多 Agents 设计模式 多 Agent 系统的 5 种协调模式:选错了模式,再强的 Agent 也白搭 AI 技术日报 - 2026-04-18 AI 技术日报 - 2026-04-17 Better-Harness:让AI Agent自己优化自己的革命性框架 OpenClaw Workspace 完全指南:我的AI编程工作流 DeepSeek内蒙草原高薪招聘:AI时代的数字牧民梦,还是营销噱头? 2 核 2G 的阿里云 ECS 能跑 OpenClaw 吗?能,但有点折腾 AI 技术日报 - 2026-04-16 OpenCLI:一个命令行搞定 16+ 内容平台的神器 从零到精通:OpenClaw CLI 命令完全指南 AI 技术日报 - 2026-04-15 AI Agent 如何自我进化?Hermes Agent Self-Evolution 深度解析 AI 技术日报 - 2026-04-14 为什么你的飞书 Bot 总是连不上?OpenClaw Gateway 架构深度解析 OpenClaw 连接飞书的原理:Gateway、Channel 与消息流转 国内安装 Hermes Agent 踩坑全记录:从 GitHub 超时到正常跑起来的每一步 35 万 Star 的 OpenClaw:5 分钟部署你的私人 AI 助手,直连飞书 AI 技术日报 - 2026-04-13 公司用 AI 筛简历,这个开源项目让候选人用 AI 反选公司 为什么 Google ADK 可能是你下一个 Agent 框架——7 个改变游戏规则的特性 Microsoft Agent Framework 深度解析:架构设计与实战落地 AI 技术日报 - 2026-04-11
page-agent:阿里巴巴开源网页 GUI Agent,一行 JS 装上 AI
iTech · 2026-06-28 · via 博客园 - iTech

page-agent:阿里巴巴开源的网页 GUI Agent,20k stars,一行 JS 给你的网页装上 AI

给网页加 AI 助手,不用改后端,一行 script 标签的事。

给一个 SaaS 产品加「AI copilot」有多麻烦?传统方案基本两条路:要么重写后端,做一套 agent 编排逻辑;要么装个浏览器扩展或 headless 浏览器(Playwright 那套),在外部控制页面。两条路都不轻量,尤其第二种还要用户装扩展,体验很重。

阿里巴巴开源的 page-agent(alibaba/page-agent,20.4k stars,MIT,TypeScript)给了第三条路:一个纯页内的 JavaScript GUI Agent,住在你的网页里,用自然语言操作界面。 不需要浏览器扩展、不需要 Python、不需要 headless 浏览器——一段 script 引入,页面就能听懂自然语言指令。

先把容易误解的点说清楚。它不是传统的浏览器自动化/爬虫工具,官方定位非常明确:客户端 web 增强(client-side web enhancement),不是服务端自动化。它的核心场景是给你的 SaaS 产品、ERP/CRM 系统、管理后台加一个 AI copilot,让用户用一句话完成原来要点 20 次的操作。

本文提纲

  1. 它跟 Playwright / 浏览器扩展有什么本质区别
  2. 核心设计:text-based DOM,不要截图
  3. 一行代码接入,自带免费测试 LLM
  4. 五个真实使用场景
  5. 进阶:Chrome 扩展与 MCP Server
  6. 它脱胎于谁,有什么限制
  7. 谁该用,谁别用

它跟 Playwright / 浏览器扩展有什么本质区别

市面上的网页自动化方案大多走「外部控制」路线——起一个浏览器进程(headless 或带界面),通过 CDP 协议操作页面。Playwright、Selenium、browser-use 都是这套。问题是它们要装 Python、要装浏览器、要管理进程,对终端用户完全不透明。

page-agent 完全反过来:它跑在页面自己的 JS 运行时里,跟你的业务代码同进程。对比一下:

维度 Playwright / browser-use page-agent
运行位置 外部进程控制浏览器 页面内 JS,同进程
依赖 Python + 浏览器二进制 只需一个 script 标签
用户安装 要装扩展或 agent 客户端 零安装,网页自带
感知方式 截图 + 多模态 LLM text-based DOM
适合 测试、爬虫、RPA 产品内 AI copilot、无障碍
定位 服务端自动化 客户端 web 增强

这个定位差异决定了它的用法。Playwright 是 QA 和数据团队用的工具,page-agent 是产品开发者嵌进自己产品的能力。你不会用 page-agent 去做回归测试(那是 Playwright 的活),但你会用它让 ERP 系统的用户一句话填完一张复杂表单。

核心设计:text-based DOM,不要截图

这是 page-agent 最聪明的设计决策,也是它能在页内轻量运行的关键。

多数 GUI agent 靠「截图 + 多模态 LLM 看图操作」。这套方案的问题:截图要走 GPU 渲染、传给 LLM 的图像 token 成本高、延迟大、还要特殊权限(截屏需要用户授权或扩展能力)。在页内纯 JS 环境根本玩不转。

page-agent 不截图。它把页面的 DOM 序列化成文本结构,直接喂给文本 LLM。LLM 看到的是「这里有个按钮叫登录,那里有个输入框叫邮箱」这种结构化文本,然后输出「点击登录按钮」这样的指令,agent 再翻译成实际的 DOM 操作。

MERMAID_BLOCK_0

这套设计的好处:不依赖多模态模型(普通文本 LLM 就行,成本低)、不需要截图权限、延迟低、token 消耗少。缺点也很现实——纯文本描述有时会丢失视觉信息(比如靠颜色/位置传达的状态),但 page-agent 的 DOM 序列化做得比较细,元素的角色、文字、可见性都带上了。

这个 DOM 处理和 prompt 的设计,page-agent 明确承认是脱胎于 browser-use 项目的——把服务端的那套 DOM 交互模式搬到了客户端。

一行代码接入,自带免费测试 LLM

接入简单到离谱。最快的方式,在 HTML 里加一个 script 标签:

<script src="https://cdn.jsdelivr.net/npm/page-agent@1.10.0/dist/iife/page-agent.demo.js" crossorigin="true"></script>

这一行就给你的网页装上了 GUI Agent,用的是官方提供的免费测试 LLM。加载后自动初始化,用户就能用自然语言操作页面了。

国内访问用镜像源更快:

<!-- 国内镜像 -->
<script src="https://registry.npmmirror.com/page-agent/1.10.0/files/dist/iife/page-agent.demo.js" crossorigin="true"></script>

生产环境推荐用 npm 安装,配自己的 LLM:

import { PageAgent } from 'page-agent'

const agent = new PageAgent({
    model: 'qwen3.5-plus',
    baseURL: 'https://dashscope.aliyuncs.com/compatible-mode/v1',
    apiKey: 'YOUR_API_KEY',
    language: 'en-US',
})

await agent.execute('点击登录按钮')

注意几点:BYO LLM(Bring Your Own LLM),你接哪个模型都行,Qwen、GPT、Claude 都支持;language 控制界面语言;demo CDN 的免费 LLM 官方明确标注「仅供技术评估」,生产用必须接自己的 API key。

那个免费测试 LLM 用的 URL 自带说明:它有独立的服务条款和隐私政策,用了即视为同意。所以别在生产环境用 demo CDN,数据会过阿里巴巴的测试 LLM。

五个真实使用场景

README 列的用例,我按实际价值排序:

SaaS AI Copilot(最核心)。给你的产品加 AI 助手,几行代码的事,不用重写后端。用户不用学你的 UI,直接说「把上周的销售数据导出成 Excel」,agent 自己找到导出按钮、选时间范围、点确认。

智能表单填写。把 20 次点击的工作流变成一句话。这个对 ERP、CRM、管理后台特别实用——那些复杂的后台表单,老员工都嫌烦,新员工不会填。一句话搞定:「把客户信息按上次的模板填进去」。

无障碍。让任何 web 应用通过自然语言可操作。对视障用户,配合读屏软件和语音指令,零门槛使用复杂网页。这是个有社会价值的应用方向。

多页 Agent。靠可选的 Chrome 扩展,agent 能跨浏览器标签页工作——在一个页面拿到信息,到另一个页面执行操作。适合需要跨系统操作的场景。

MCP 控制。可选的 MCP Server(Beta)让外部 agent 客户端控制浏览器,把 page-agent 当成一个 MCP 工具来调用。

进阶:Chrome 扩展与 MCP Server

页内 JS 的能力边界是单个页面。要做跨页面任务,page-agent 提供了两个可选扩展:

Chrome 扩展:装上后,agent 能跨 tab 操作。这是「多页 Agent」场景的技术基础。比如「在 A 系统查订单,到 B 系统建工单」,单页 JS 做不到,扩展能。

MCP Server(Beta):把 page-agent 暴露成一个 MCP 工具,让 Claude Desktop、Cursor 这些支持 MCP 的 AI 客户端从外部控制浏览器。这个方向把 page-agent 从「页内增强」延伸到了「被外部 agent 调用的执行体」。

注意两个都是 Beta / 可选,核心能力(页内自然语言操作)不依赖它们。不用扩展也能用 page-agent 的主力功能。

它脱胎于谁,有什么限制

page-agent 在 README 里明确致谢了 browser-use。DOM 处理组件和 prompt 设计是从 browser-use 继承来的,按 MIT 协议合规引用。这解释了为什么它的 DOM 交互模式很成熟——站在了一个成熟项目的肩膀上。

几个限制要说清楚:

text-based 的天然短板。纯文本 DOM 描述丢失视觉信息,靠颜色/图标/布局传达的状态(比如一个灰色的禁用按钮、一个位置偏移的悬浮菜单)可能识别不准。多模态方案能看图,page-agent 看不到。这是设计取舍换来的轻量代价。

单页边界。不加扩展,agent 只能操作当前页面。跨页任务必须装 Chrome 扩展。

不是测试/爬虫工具。这是最容易误用的地方。它不是 Playwright 替代品,做不了 headless 回归测试、大规模数据采集。硬要用它爬数据,既不顺手也违背设计初衷(官方定位写得很死:客户端增强,非服务端自动化)。

贡献门槛。项目明确写了:纯 AI/bot 生成的贡献不接受,必须有实质性人工参与。这反映他们对代码质量和可维护性的态度——20k stars 的项目不想被 AI 刷 PR 淹没。

谁该用,谁别用

该用
- SaaS 产品开发者,想给产品加 AI copilot 但不想重写后端
- 复杂后台系统(ERP/CRM/管理后台),想简化表单填写流程
- 做无障碍功能,让 web 应用语音可控
- 需要 page 内自然语言交互的产品

别用
- 做自动化测试——用 Playwright / Cypress
- 做数据采集/爬虫——用 Scrapy / Playwright
- 需要多模态视觉理解的场景——page-agent 是 text-based
- 要 headless 跑的服务端任务——它本质是客户端的

page-agent 抓住的是一个很真实的空白:在「重后端的 agent 编排」和「重依赖的浏览器自动化」之间,缺一个轻量的、能直接嵌进产品页面的 GUI agent。20.4k stars 说明这个定位击中了很多开发者的痛点。如果你在做 SaaS 或复杂后台,想让用户少点几十次鼠标,这个项目值得花半小时接入试试——demo CDN 一行代码,验证成本几乎为零。

参考文档与链接

做 SaaS 或后台系统的,用户还在点 20 次填表单?装个 page-agent 试试,评论区说说接入体验。觉得有用点个赞让更多人看到。


作者: itech001
来源: 公众号:AI人工智能时代
网站: https://www.theaiera.cn/
每日分享最前沿的AI新闻资讯和技术研究。

本文首发于 AI人工智能时代,转载请注明出处。