爆火的「豆包手机」，到底藏了什么狠活？一篇热帖，LLM工程师通过黑盒测试和论文推演，扒出了它的技术机密。
一部AI手机，火爆全网。
张嘴一句话，它在短短几秒内，就完成了跨APP自动比价下单、回微信、预约机票、规划旅行路线……
海外创业大佬Taylor Ogan惊呼，「这简直是另一个DeepSeek时刻！这是世界上第一款真正的智能手机」。
不用多说，它就是最近一机难求的——「豆包手机」。
B站博主「六分超超」体验后大感惊艳，赞叹「是今年令自己印象最深的产品」。
更猛的是，即便是在锁屏的情况下，「豆包手机」也能在后台丝滑操作。
在「电丸科技AK」的测试中，「豆包手机」不仅可以轻松通过B站「大考」，而且速度奇快——
3秒答完1道题，5分钟100道题！
那么问题来了，到底是什么黑科技让「豆包手机」，一夜之间火遍了全世界？
正巧，我们在小红书上吃瓜的时候，意外发现了一篇十分有趣的帖子——《我没有逆向「豆包手机」，但我想说点什么》。
小红书原帖地址：http://xhslink.com/o/93GCQttMFgO
更新版博客地址：https://www.notion.so/GUI-Agent-2c17a860b5e680e3b6e4efece19d1457
这篇帖子的博主「宵逝」，目前是大模型方向的实习工程师，纯从学术角度聊了聊感受。
他上手测试后，通过黑盒测试和arXiv逻辑推演，从工程学角度给出了比较科学的解释。
一上来，他便戳中了「豆包手机」的核心：
这不仅仅是一个App，字节是在Android Framework层做了一套OS级的影子系统。
接下来，博主从以下七个方向，给出了自己的洞察。
字节将Agent拆分成两套栈（Stack）：一个是标准模式，另一个是Pro模式。
这不仅仅是模型大小的区别，而是两套完全不同的Pipeline，类似于人类认知中的System 1和System 2。
这里，作者在测试中，设下一个「陷阱」——
选择一张京东首页全屏截图，给豆包下达指令「点击搜索按钮」。
标准模式（快）：Naive Simulation
它主要依赖浅层视觉语言模型（VLM），响应极快，体感延迟小于500ms。
他推测，可能使用了Doubao-1.5-UI-TARS蒸馏版，Prompt简短可通过压缩IO token实现更快效果。
不过，缺陷在于它的典型「直觉」反应，会傻傻地点击图片中的按钮。
Pro模式（慢且鲁棒）：深度推理+工具调用
在同样的测试中，Pro模式明显会有一个「暂停+思考」的过程——拒绝点击，建议切换浏览器。
他推测，这可能走的是Doubao-1.5-UI-TARS完整版路线，并且做了更多后训练对齐。
同时，也说明Planner进行了介入，且具备了自我反思能力。
并且，只有在Pro模式下，才能观察到复杂的多跳检索和System API的直接调用。
补充信息：据我们最新了解，豆包手机助手使用了UI-TARS 2.0闭源版本，性能大幅优于开源版，且针对手机使用场景进行了专门优化。
环境噪声的干扰，是当前Agent落地的核心挑战。
XML+Vision动态路由，不管是UI-TARS的标准版还是Pro，是豆包给出的最直接的解法。
在高德/百度地图首页，呈现了多种复杂图标/道路状态情况下，博主要求豆包「点击深红色最堵路段旁边的施工图标」。
这是一个在OpenGL渲染界面中，执行复杂指令的测试场景。
令人欣喜的是，AI优雅地完成了这个任务。
在这种场景下，安卓的「无障碍树」往往是空的，或只有一个SurfaceView容器，且不包含任何子节点信息。
这就坐实了，背后视觉路线的存在，因为VLM具备像素级的「开放词汇定位」的能力。
它真正理解了「深红色、旁边、施工图标」，包含了颜色语义、空间关系、物体检测复杂信息。
由此，他推测这可能构成「路由动态」选择：标准UI走XML，非标UI走视觉（截屏但费电）。
这一点，想必许多上手实操过的网友，都已有深刻的体会——
一边让豆包比价购物，另一边刷视频、接电话照样不误。Agent可以在后台跑长任务，即便手机切换到别的应用也不会中断。
博主推测，Agent极有可能跑在「影子屏幕」上，实现了「输入隔离」：物理屏打电话，逻辑屏在跑Agent。
这种「双并行宇宙」结构，彻底解决了Agent抢前台，手机卡死的痛点。
Agent会在每一操作结束后，无论当前页面渲染多快，都会在系统Prompt中强制引入1000ms~5000ms的固定延迟。
这种设计，类似于Cursor CLI中「等待轮询」。
从工程学角度看，这种做法是为了对抗APP中常见的异步加载/骨架屏，用时间换取「成功率」，妥协但有效。
回到多数人最关切的隐私问题，担心豆包Agent会24小时录屏监控，但博主测试后发现——
视觉管道是过滤的。
若是豆包真的在用VLM分析屏幕，恐怕手机早就烫到不能用了。
他开启了B站画中画模式，然后让Agent操作主屏，中途再截屏，结果发现，AI截到的画面只有主应用的界面，完全没有悬浮窗。
这证明了，它不读物理屏幕输出流，而是基于「任务层级」针对性抓取。也就是说，从物理层面上，豆包隔离了视频通话、金融APP安全键盘，是一种精心设计的安全功能。
博主认为，豆包手机助手的代码逻辑是安全、可靠的设计，其包含了隔离机制、熔断策略和本地化处理。
代码可以透明，但编写与掌管代码的人呢？这种担忧，可以理解。
但这个问题本真难以彻底解决。在博主看来，如果Agent可以代替自己解决80%日常琐事，是可以交出经脱敏、不涉及核心隐私的数据。
在Pro模式下，数据的调用精准。
工具调用架构
测试中，博主给出一个模糊指令「验证码有什么数学特征」，Agent没有暴力做OCR全屏，而是Client向Server发起请求，整个系统授权部分，可能形成了一个RAG-MCP。
列表记忆（Sliding Window）
在滚动长列表（List View）时，Agent行为非常像E2E测试框架Playwright： 滚屏→DOM Diff→提取增量信息→拼接。
这种方式，解决了跨屏上下文的问题。
最后一个测试中，博主让Agent读取Outlook最新邮件，结果失败。
此时，Agent没有报错退出，而是自动降级读取第二封，并尝试提取第一封在列表页的预览信息，然后做出合并汇报。
这说明了，它的规划器关注的是「任务目标」，而不是规定的操作序列。这种动态规划的能力，才是推理应做的事儿。
博主体验后道出了真实的感受——它让我真切地感受到「推理」走出了论文。
当看到Agent在Outlook闪退后，自行思考片刻，转而读取邮件列表预览时，那种感觉很奇妙。
它不再是一个机械执行click(x, y) 的简单脚本，而是开始展现出某种韧性。
他表示，对于做研究的人来说，这台手机更像一份来自工业界的SOTA级Demo。它并不完美，但真正跑起来了。
总而言之，「豆包手机」在速度上做了很多妥协，但从架构角度看，可能是目前移动手机最靠谱的解法。
从博主的这篇分析中，让我们对「豆包手机」背后工程实现获得了关键一瞥。
当我们再扒开字节开源库，发现「豆包手机」助手GUI操作能力，已经通过UI-TARS模型的开源版本开放给业界。
开源地址：https://github.com/bytedance/UI-TARS
简单来说，UI-TARS是一个将屏幕视觉理解、逻辑推理、界面元素定位和操作整合在一个模型中。
它能实现搜集信息、处理文档、订票、比价等各种复杂操作，甚至能在游戏中进行思考和行动。
值得一提的是，UI-TARS的更新速度超快，光今年一年就迭代了三次：
2025年1月，第一代UI-TARS；
2025年4月，UI-TARS-1.5；
2025年9月，UI-TARS-2。
豆包AI助手，是当前GUI Agent浪潮的典型代表。
GUI Agent代表着AI与人类交互的「新前沿」，可以让模型看屏如人，操作如手。
在不需要切换API的情况下，可自动化一切GUI软件。
在早期，API和GUI是分化的两派。比如OpenAI Tools提供的API速度快，但不适应动态的UI。
传统的GUI虽可视化强，但对于大模型来说，描述UI信息噪声大，理解成本高，还不稳定。
因此，早期阶段的LLM要么走API路线，要么走GUI路线，难以统一。
而端侧小模型的出现，让GUI可以被结构化理解，再与API融合，就出现了「统一的智能交互层」。
几个月前，苹果团队曾发布了Ferret-UI Lite，一款GUI Agent小模型，实现了精准的控件定位能力。
论文地址：https://arxiv.org/pdf/2509.26539
真正让GUI Agent走向大众的，还是得益于近两年，多模态原生大模型跃迁式的迭代升级。
诸如Gemini 3、GPT-5.1等顶尖AI模型，都在朝着多模态方向发展。
这意味着，LLM不仅可以看文字，还能看懂图片、视频、UI元素。同时，LLM具备了更长上下文，可以记住跨越多步的任务。
大模型Agent开始用多模态感知界面，再配上RL，可以在GUI、网页等真实环境中，操作游刃有余。
在题为「Large Language Model-Brained GUI Agents: A Survey」的论文中，团队做了一个直观的GUI Agent流程：
Agent在接收指令后，会在多个应用程序中无缝协作。
它会从文档中提取信息，在Photos中观察内容，在浏览器中总结网页，在Adobe Acrobat读取PDF，并在PPT中创建文件，最后通过Teams发送。
论文地址：https://arxiv.org/pdf/2411.18279
2023年之前，以OpenAI WebGPT为代表。从2023年之后，类似的GUI Agent全面爆发。
这一年最具代表性，当属OpenAI Operator和字节UI-TARS。
真正高阶的基操，是把Agent深入嵌入OS系统级的能力。
「豆包手机」便可以照见行业脉络，让Agent从可操作界面，迈向了深度的系统集成。
这种OS级的植入，必须处理巨大的隐私、安全、权限问题，这是系统级GUI Agent向前迈进不可避免的阵痛。
字节虽未明确具体工程细节，从博主「叠甲」分析中，可以得知他们采用了「任务级过滤」（Activity-level Filtering）机制。
也就是说，系统会把每一次Agent行为抽象成一个「任务」，进行逐一过滤。
因此，Agent截图才不会截到「画中画」浮窗。本质上，这就像是OS级的权限中间层。
Hugging Face亚太生态负责人Tiezhen Wang点评，它证明了手机使用可以成为OS级原生能力，并将定义下一代AI手机
「豆包手机」的出现，证明了OS级可行性，真正定义了AI原生手机的形态。
昔日针锋相对的宿敌，老罗和王自如在「豆包手机」上，立场罕见地一致。
不得不说，在GUI Agent时代，「豆包手机」才是划时代的标志。
参考资料：
http://xhslink.com/o/93GCQttMFgO
https://www.notion.so/GUI-Agent-2c17a860b5e680e3b6e4efece19d1457
新智元报道 编辑：桃子 好困
本文由人人都是产品经理作者【新智元】，微信公众号：【新智元】，原创/授权 发布于人人都是产品经理，未经许可，禁止转载。
题图来自Unsplash，基于 CC0 协议。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。