惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

S
Secure Thoughts
C
Cybersecurity and Infrastructure Security Agency CISA
T
Tenable Blog
Project Zero
Project Zero
T
The Exploit Database - CXSecurity.com
T
Threat Research - Cisco Blogs
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Cyberwarzone
Cyberwarzone
PCI Perspectives
PCI Perspectives
G
GRAHAM CLULEY
H
Hacker News: Front Page
Cloudbric
Cloudbric
Latest news
Latest news
N
News and Events Feed by Topic
C
CERT Recently Published Vulnerability Notes
Attack and Defense Labs
Attack and Defense Labs
SecWiki News
SecWiki News
Security Latest
Security Latest
MyScale Blog
MyScale Blog
阮一峰的网络日志
阮一峰的网络日志
Vercel News
Vercel News
The GitHub Blog
The GitHub Blog
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
Security Archives - TechRepublic
Security Archives - TechRepublic
V2EX - 技术
V2EX - 技术
B
Blog RSS Feed
L
LINUX DO - 最新话题
人人都是产品经理
人人都是产品经理
Last Week in AI
Last Week in AI
IT之家
IT之家
Jina AI
Jina AI
Y
Y Combinator Blog
博客园 - 聂微东
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
V
Visual Studio Blog
P
Privacy International News Feed
B
Blog
S
Schneier on Security
Application and Cybersecurity Blog
Application and Cybersecurity Blog
D
Darknet – Hacking Tools, Hacker News & Cyber Security
Hacker News - Newest:
Hacker News - Newest: "LLM"
Help Net Security
Help Net Security
D
DataBreaches.Net
博客园_首页
G
Google Developers Blog
I
InfoQ
量子位
大猫的无限游戏
大猫的无限游戏
S
Security @ Cisco Blogs

BlogFinder

日常漫步 Vol.24 之漫步前山河 - 雅余 周报 #1-聊聊本周的收获 - Edwin's Blog 我的OpenCode必装插件与Skill Write Something 掌中之物未必在掌握之中 · CRIVU PiliNara,一个更顺手的 PiliPlus 分支 「NekoEcho」:做一个必有回响的猫娘主题博客 2026-05 书影音总结 简化博客主题 - 安迪 我第一次发布 npm 包 拾花小记#45:中考前的二三事 – 小改学习志 黛西花园5月游 #18 枇杷又熟了的五月月报 一些奇奇怪怪的需求?word仿方正书版的几个小操作 - Xiobb's Blog 0419 御温泉之旅 修复了一些bug,网站基本上趋于稳定了 - 新锐博客 又回到四十年前 如何定义成功 迷鹿屋2026已重新上线 科技冰火两重天+一周回顾 ${title} 热度退了,我反而用得更深了-咕咚同学 我到底该不该换个域名? 随身WIFI折腾记 - 安迪 博客撰写体验提升——hexo pro插件 为什么不用相机把屏幕上的接关密码拍下来? 国清寺与天台山 – Ouroboros ★★★★☆《挽救计划》——久违的经济上行感 - Davidの3号基地 删除右键“打开方式”里多余选项 第三周刊_No.53|一切都会被支付两次 安卓APP通话记录与录音上传踩坑记录 - 子舒的博客 天量下跌 inBox 笔记 2.3.8,把工具栏交给了你-咕咚同学 我把小龙虾搬到了微信-咕咚同学 安好 - 响石潭 Compound Engineering Plugin:让每个工程单元都比上一个更容易 MOSS-TTS Family:开源高质量语音与声音生成模型家族深度解析 Crawl4AI:专为 LLM 设计的开源 Web 爬虫与数据抓取工具 Build Your Own X:从零实现你最喜欢的技术——程序员进阶的终极资源清单 Anthropic Skills:用文件夹教 Claude 专业技能的开源框架 1年的去月球(下) - 梅之夏 欢迎回来。 简单讲讲 ASN.1 与 OID DTV - 直播聚合客户端 5.22-5.27 – 不兴江 还没去过鸭川 – 不兴江 张晶晶同学三刷林志颖 关于我 – 不兴江 爱与嫉妒 – 不兴江 港股被持续做空 备案码花了四百块-咕咚同学 一句话生成封面:我给公众号做了4种风格的AI封面生成技能 「官」方認證 再谈费曼学习法 2026-05-28T00:34:11+08:00 2026-05-28T00:28:45+08:00 离谱的英语学习指南:基于AI的英语进阶系统方法论 iii:零集成架构的后端统一运行时 Claude Code Harness:让 Claude Code 工作有迹可循的工程化框架 Heretic:全自动移除大语言模型审查机制的开源工具 MarkItDown:微软开源的万能文档转 Markdown 利器 Harness:让 Claude Code 秒变多智能体协作工厂 这段时间尽折腾AI Agent了,确实极大地提高了效率 近期动态:两个新站点正式上线啦 误判解除!zhouayuan.com 腾讯安全申诉成功 - 周阿源|玩具设计・插画日常・生活随笔 Ralph:让 AI 编码工具自主循环跑完所有 PRD 任务的量产神器 全都违法 – 个人工作记录 关于zhouayuan.com被误判 “含违规信息” 的说明与申诉记录 - 周阿源|玩具设计・插画日常・生活随笔 小米 MiMo v2.5 Pro 白嫖 最大的人间清醒,兜里有钱,但是不花。 夜晚靓歌(12):于文文现场solo - 王志勇的Blog 今日插画:风扬起的倔强 - 周阿源|玩具设计・插画日常・生活随笔 回门习俗 独立网卡 - 忘记了回忆 500亿入股人工智能企业 从命令行到桌面智能体-咕咚同学 第一性原理读书笔记 行者微评论223-加班の守株待兔-博客|政治与时事-风雨行者 ZOZO开源物理接触求解器:GPU加速的可扩展仿真引擎 OpenStock:开源股票市场交易平台技术深度解析 MoneyPrinterTurbo:基于AI的全自动短视频生成工具深度解析 Claude-Mem:为 Claude Code 构建的持久化记忆压缩系统 Twenty:可代码化定制的企业级开源 CRM 平台技术深度解析 2026-05-26T22:59:17+08:00 企业级开源大模型部署平台 GPUStack 实战教程 1年的去月球(上) - 梅之夏 Sevalla - 静态网站托管服务 不用翻墙、不用注册、不用月费,普通人也能用上 Claude Code 装修灯具要注意⚠️ 黄梅天先锋 - 游子微博 公安备案顺利办结,站点备案全部完成 - 周阿源|玩具设计・插画日常・生活随笔 第三次兑换天猫超市卡了宗宗酱-三维狐少儿编程 Don't think, feel. - Rolen's Blog 人这一辈子,到底图个什么 博客迁移 - Edwin's Blog 情感赛道写作模板 再现本轮行情的典型特征 裁员与平常心-咕咚同学 别让“偷懒”,成为隐私泄露的破绽 片刻 - Jdeal | Life is like a Design.
Page Agent — 运行在网页里的 GUI Agent,用自然语言控制 Web 界面
Cheman · 2026-06-26 · via BlogFinder

今天在 GitHub Trending 上看到一个有意思的项目:Page Agent,它是"活在网页里的 GUI Agent"——不需要浏览器扩展、不需要 Python 后端、不需要无头浏览器,只需一段 JavaScript 就能让自然语言直接操控网页界面。

一、项目概述

Page Agent1 是阿里巴巴开源的一个客户端侧 Web UI 自动化 Agent,核心理念是:

The GUI Agent Living in Your Webpage. Control web interfaces with natural language.

与传统 Web 自动化工具(如 Playwright、Selenium)的本质区别:

维度传统方案Page Agent
运行位置服务端/本地脚本网页内部(纯 JS)
依赖浏览器驱动/扩展无(仅 script 标签)
多模态常需截图+视觉模型纯 DOM 文本分析
集成成本高(需后端改造)极低(一行 script)
LLM通常服务端调用支持自定义(BYO LLM)

核心使用场景:

  • SaaS AI Copilot — 在产品中嵌入 AI 助手,无需重写后端
  • 智能表单填充 — 把 20 次点击变成一句话
  • 无障碍访问 — 用自然语言/语音控制任何 Web 应用
  • 多页面 Agent — 通过 Chrome 扩展跨越 Tab 边界
  • MCP Server — 让外部 Agent 客户端控制浏览器

二、技术原理

架构设计

Page Agent 采用 Monorepo(npm workspaces) 架构,核心包分工如下:

packages/
├── page-controller/   # DOM 操控层(点击、输入、滚动等)
├── llms/              # LLM 调用封装(支持 OpenAI 兼容接口)
├── core/              # 核心 Agent 逻辑(规划 + 执行循环)
├── page-agent/        # 主包,对外暴露 PageAgent 类
├── ui/                # 内置聊天 UI 组件
├── extension/         # Chrome 扩展(多页面任务)
└── mcp/               # MCP Server(Beta)

核心技术:基于文本的 DOM 操控

与传统视觉方案(截图 + GPT-4V)不同,Page Agent 完全基于 DOM 文本分析

  1. DOM 序列化:将页面 DOM 树转换为结构化文本描述(类似 browser-use 的方案)
  2. 动作规划:将用户指令发给 LLM,LLM 返回下一步动作(点击哪个元素、输入什么内容)
  3. 动作执行page-controller 包在页面内直接执行 DOM 操作
  4. 循环迭代:观察执行结果,规划下一步,直到任务完成

这种方式的好处是:

  • 不需要截图,省去视觉模型的成本和延迟
  • 不需要特殊权限(截图需要 tabs.captureVisibleTab 等)
  • 对网络环境要求更低(纯文本 token 比图片小得多)

与 browser-use 的关系

项目在 LICENSE 中明确说明,DOM 处理组件和 prompt 派生自 browser-use

DOM processing components and prompt are derived from browser-use. PageAgent is designed for client-side web enhancement, not server-side automation.

关键区别:browser-use 是 服务端 Python 自动化,Page Agent 是 客户端 JS 增强

类型安全与工程质量

package.jsontsconfig 可以看出项目对 TypeScript 类型检查的要求:

"scripts": {
    "typecheck": "tsc --noEmit -p tsconfig.typecheck.json && tsc --noEmit -p packages/extension/tsconfig.json"
}

ESLint 配置中虽然关闭了大量 @typescript-eslint 规则(为了开发效率),但保留了 typecheck 脚本作为 CI 门禁,这是一个务实的工程实践。

三、安装与快速开始

方式一:一行脚本接入(最快)

使用官方提供的免费测试 LLM(仅评估用途):

<script src="https://cdn.jsdelivr.net/npm/[email protected]/dist/iife/page-agent.demo.js" crossorigin="true"></script>

国内镜像:

<script src="https://registry.npmmirror.com/page-agent/1.10.0/files/dist/iife/page-agent.demo.js" crossorigin="true"></script>

加载后页面会自动出现 Demo Agent 聊天界面。

⚠️ 该 Demo CDN 使用免费测试 LLM API,仅用于技术评估。

方式二:NPM 安装(生产推荐)

import { PageAgent } from 'page-agent'

const agent = new PageAgent({
    model: 'qwen3.5-plus',
    baseURL: 'https://dashscope.aliyuncs.com/compatible-mode/v1',
    apiKey: 'YOUR_API_KEY',
    language: 'zh-CN',  // 支持中文指令
})

await agent.execute('点击登录按钮')

方式三:Chrome 扩展(多页面任务)

适用于需要跨 Tab 操作的场景(如"在 Google 搜索某个内容,然后打开第一个结果并提交表单"):

npm run dev:ext
# 然后在 Chrome 加载扩展

四、使用方法与实战

基础用法:编程式调用

import { PageAgent } from 'page-agent'

const agent = new PageAgent({
    model: 'gpt-4o',
    baseURL: 'https://api.openai.com/v1',
    apiKey: 'sk-...',
    language: 'en-US',
})

// 执行单个指令
await agent.execute('Fill in the email field with [email protected]')

// 执行多步任务
await agent.execute('Search for "Page Agent" on GitHub, then star the repo')

进阶用法:自定义 LLM 接入

Page Agent 支持任何 OpenAI 兼容接口,这意味着可以接入:

  • OpenAI / Azure OpenAI
  • 阿里云百炼(DashScope)
  • 深度求索(DeepSeek)
  • 本地 Ollama(baseURL: 'http://localhost:11434/v1'
const agent = new PageAgent({
    model: 'deepseek-chat',
    baseURL: 'https://api.deepseek.com/v1',
    apiKey: 'sk-...',
    language: 'zh-CN',
    // 可选:自定义系统提示
    systemPrompt: '你是一个专业的 Web 自动化助手...',
})

实际场景:SaaS 产品内嵌 AI Copilot

只需在产品中引入 script,即可为用户提供自然语言操作能力:

<script>
window.addEventListener('load', () => {
    const agent = new window.PageAgent({
        model: 'your-model',
        baseURL: 'your-api-endpoint',
        apiKey: 'your-key',
        // 不自动弹出 UI,手动控制
        autoInit: false,
    })
    // 绑定到产品的"AI 助手"按钮
    document.getElementById('ai-btn').onclick = () => agent.execute('Help me...')
})
</script>

五、常见问题与解决方案

Q1:Demo CDN 的免费 LLM 能用在生产环境吗?

不能。 官方明确说明该 Demo API 仅用于技术评估,生产环境请使用自己的 LLM API Key。

Q2:Page Agent 能做到跨域操作吗?

纯脚本模式受同源策略限制,只能操作当前页面。跨页面/跨域需要配合 Chrome 扩展 使用。

Q3:支持哪些 LLM?

任何 OpenAI 兼容 API 都支持。官方测试过:GPT-4o、Qwen 3.5+、DeepSeek V3。

Q4:和服务端的 Playwright 自动化相比有什么优势?

场景推荐方案
需要后端定时爬取数据Playwright
SaaS 产品内嵌 AI 助手Page Agent
需要用户实时交互Page Agent
需要绕过反爬机制Playwright

Q5:TypeScript 类型支持如何?

项目使用 tseslint.configs.recommendedTypeChecked + strictTypeChecked,类型覆盖率较高。Monorepo 各子包均有独立的 tsconfig.json

六、总结

Page Agent 最大的创新点在于把 GUI Agent 从服务端搬到了客户端——这让 Web 应用的 AI 化改造成本从"重写后端"降到"加一行 script",对于想快速给产品加上 AI Copilot 的团队来说,是一个非常务实的选择。

项目目前 v1.10.0,MIT 协议,由阿里巴巴团队维护。如果你正在做 SaaS 产品的 AI 化,或者需要一个轻量的 Web 自动化方案,值得一试。

相关链接:

  • GitHub:https://github.com/alibaba/page-agent
  • 在线 Demo:https://alibaba.github.io/page-agent/
  • 文档:https://alibaba.github.io/page-agent/docs/introduction/overview