< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">
2026-05-12 12:02:50 来源：量子位
让AI agent看到屏幕，也能操作鼠标键盘
梦瑶 发自 凹非寺
量子位 | 公众号 QbitAI
友友们，小声问一句，OpenClaw更新还有人关注吗？
关不关注不重要了，重要的是给大家同步一下，龙虾刚刚长出手脚了！
依旧是那个龙虾之父Peter，这次带来了全新的Computer Use工具Peekaboo v3版本——
直接把过去Agent类产品只能简单执行，但没法直接操控桌面的问题一把《梭哈》：
Peekaboo v3不仅能在MAC电脑上实现像素级截图，还能读取电脑上每个UI的位置。
甚至嘛，它几乎还能完成人类能做的任何操作，比如点击、输入文字、按快捷键这些也能做了……
下面这位网友，直接就是让Peekaboo v3做了一个简单的「Computer Use」烟雾测试。
让Hermes操作计算器、Peekaboo读屏幕结果、Python独立验证答案是否正确，一气呵成成功通过。
兴致来了挡都挡不住，人家立刻立flag：
好玩好玩，下一步我还要让Peekaboo自动翻找以前写过的邮件！（尝鲜ing…
眼睛+手脚都齐了，现在这虾啊，是真的能在咱Mac上替我们打工了？？？
事实上，Peekaboo（翻译：躲猫猫）已经不是一个新产品了。
早在OpenClaw大火之前，去年11月份左右，Peter就动了给Agent装手脚的心思。
当时陆陆续续憋了v3.0.0-beta1到beta4好几个测试版，前后差不多磨了快半年的时间。
直到最近这两天，（不知道是不是感觉再不更点啥龙虾就被大家忘记了，我瞎说的） 直接开启「狂更模式」
v3.1.0、v3.1.1、v3.1.2开始一个疯狂大更新……
那问题来了，这个躲猫猫，Peekaboo到底是个啥东西呢？
一句话说就是：给你的Mac装一双带有眼睛和手的工具包，能让AI agent看到屏幕，也能操作鼠标键盘。（省流版）
大家之前如过有用过龙虾或者Agent产品，应该能感觉到一个bug点——
Agent确实能帮我们打开网页、跑个流程，可一旦涉及到屏幕上更细的操作，比如戳那个按钮、拖那个文件、把这段字敲到那个输入框里……
它就开始《装瞎》，最后那一步还得咱自己上手操刀。
看不下去的Peter清楚地知道，AI要想在Mac上动手，必须有一个能看屏幕、能操作鼠标键盘的工具，这恰好就是Peekaboo。
这次给Peekaboo v3做的事儿，就是把这道墙凿穿：
让Agent真的能看，也真的能动，从指手画脚的甲方，变成真的能下场干活的乙方。（doge）
首先是「看」的能力。
Peekaboo v3不仅能实现像窗口、全屏、菜单栏的像素级截图、还能读取macOS上每个UI元素的位置、类型、label等，真·慧眼识珠屏幕了。
其实是「动」这事儿上。
像点击、输入文字、按快捷键、滚动、拖拽、切窗口、切桌面（Space）、戳Dock、点系统弹窗……
一整套真人用Mac才会干的事，它现在自己就能干，真·能kuku上手干活儿了。
但是Agent光能看和动还不够，Peekaboo v3真正让人觉得开大的还在「下面」——
在能力调用上，其支持自然语言Agent模式，所以在提示词指令上我们可以直接用大白话甩任务就行。
第二个蛮实用也非常聪明的设计，就是能把所有能力打包成MCP，喂给你常用的AI工具。
例如我们在Cursor里写代码，跑起来UI出bug了，以前得自己截屏发给Cursor让它看。
但现在Cursor自己就能截图、自己看、自己改、自己再跑一遍验证，真·全程不用插手。
（躲猫猫这名字还是含蓄了，感觉堪称蜘蛛网了…一招鲜吃遍天N个产品了也是…)
友友们非常关心的问题来了——那这Peekaboo v3到底咋用捏？
好消息是，Peekaboo为同一套能力，准备了四种不同的「打开方式」。
写代码的、用AI编程的、纯用Mac的、做App的，四拨人各取所需，丰俭由人啊丰俭由人～
第一种，如果屏幕前的友友想写脚本自动化干活，直接用Homebrew安装方法就完事儿了～
brew install steipete/tap/peekaboo
peekaboo --version第二种，如果屏幕前的友友日常在用Claude Code、Cursor、Codex这类AI编程工具。
那这个最香，因为Peekaboo可以直接当成MCP server接进去：
npx -y @steipete/peekaboo mcp第三种，如果你就是个普通Mac用户，不想搞那些命令行——
去GitHub Releases下载Mac桌面版app就行，有可视化反馈，权限管理也是图形界面，很友好。
第四种，如果你是Swift开发者，想把它当库嵌到自己App里，直接Swift Package引一下就好了～
对了，对于想在OpenClaw实用其能力的友友来说，直接「Skill」一下子就ok。
相当于给虾装了个操作Mac的插件，装好之后录屏、辅助功能这些Mac权限走OpenClaw一次性过，不用再单独给Peekaboo开一遍～
最后想说的是，Peter这波这么着急地狠狠更新一波，说实话也挺能理解……
这两年像Anthropic的Computer Use、OpenAI自家的Operator、各种browser-use工具全在卷「AI操作电脑」这条路子。
开源Agent领域热起来了，各种Computer Use替代方案开始疯狂冒头了。
他必须快啊，才能避免被后来者追上，也算是给自己在OpenAI的Agent工作提供个最强本地验证平台吧？（我猜哈
（这套「内外兼修」的打法好啊，妙啊）
Peekaboo v3的一箩筐链接发下面了，感兴趣的友友可以try try～
参考链接：
[1]https://peekaboo.sh/
[2]https://github.com/openclaw/Peekaboo
[3]https://x.com/search?q=Peekaboo&src=typed_query
版权所有，未经授权不得以任何形式转载及使用，违者必究。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。