💡 站外导读：在AI智能体（Agent）从理论走向现实的关键时刻，如何让AI像人类一样与数字世界交互成为核心挑战。传统AI模型多局限于生成文本或分析数据，难以直接操作软件界面。谷歌最新发布的Gemini 2.5 Computer Use模型，正是为解决这一痛点而生，它标志着AI应用从“理解”到“行动”的范式跃迁，开启了人机协作的新篇章。

Gemini 2.5 Computer Use 是谷歌 DeepMind 推出的基于 Gemini 2.5 的计算机使用模型。模型能让 AI 直接控制浏览器，执行点击、滚动和输入等操作。模型通过视觉理解和推理能力，帮助用户完成各种任务，例如从网页中获取信息或整理笔记。模型在基准测试中表现优异，速度也很快。开发者能通过 Google AI Studio 和 Vertex AI 使用，用户能在 Browserbase 的托管的演示环境中试用。

Gemini 2.5 Computer Use的主要功能

• 浏览器操作：直接在浏览器中执行点击、滚动、输入等基本操作，帮助用户完成网页任务。

• 任务自动化：模型能处理多步复杂任务，例如从一个网站获取信息并输入到另一个系统，或安排后续预约。

• 视觉理解和推理：通过视觉解析网页内容，识别页面元素，根据用户请求推理出下一步操作。

• 安全机制：在执行每个动作前，独立安全服务会评估风险，对于高风险操作会请求用户确认，确保操作安全。

Gemini 2.5 Computer Use的技术原理

• 核心工具：通过 Gemini API 中新增的 computer_use 工具实现，支持模型直接与用户界面交互。
• 输入与输出：
  • 输入：用户请求、当前环境的截图、最近执行动作的历史记录。可以指定是否排除某些 UI 动作或添加自定义函数。
  • 输出：模型生成响应，通常是代表 UI 动作的函数调用（如点击、输入或滚动）。对于某些高风险操作，模型会请求用户确认。
• 循环流程：模型在一个循环流程中运行，每次执行动作后，系统将最新截图和当前 URL 返回给模型，重新启动循环。循环会持续进行，直到任务完成、出现错误，或因安全机制或用户决定而终止。
• 安全机制：在推理阶段，独立安全服务评估每个模型拟执行的动作，确保操作的安全性。开发者能设定在特定高风险操作前，智能体必须拒绝或请求用户确认。例如，防止模型绕过验证码或控制医疗设备。

Gemini 2.5 Computer Use的项目地址

• 项目官网：https://blog.google/technology/google-deepmind/gemini-computer-use-model/
• 技术论文：https://storage.googleapis.com/deepmind-media/Model-Cards/Gemini-2-5-Computer-Use-Model-Card.pdf

Gemini 2.5 Computer Use的应用场景

• UI 测试：帮助开发者快速测试用户界面，自动化执行各种交互操作，显著提高软件开发效率。

• 个人助理：为用户提供个性化的任务自动化服务，例如自动填写表单、安排预约或整理信息。

• 工作流自动化：简化重复性任务，如数据输入、信息收集和跨平台操作，提升工作效率。

• 客户服务：自动处理客户请求，例如在客户支持系统中填写工单或查询信息，提高响应速度。

• 教育与培训：辅助在线学习平台，帮助学生完成练习或模拟操作，增强学习体验。