惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Hugging Face - Blog
Hugging Face - Blog
宝玉的分享
宝玉的分享
G
Google Developers Blog
T
Tailwind CSS Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
V
V2EX
V
Visual Studio Blog
博客园 - Franky
S
SegmentFault 最新的问题
Jina AI
Jina AI
爱范儿
爱范儿
The Cloudflare Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
D
DataBreaches.Net
C
Check Point Blog
月光博客
月光博客
P
Proofpoint News Feed
T
The Blog of Author Tim Ferriss
罗磊的独立博客
H
Hackread – Cybersecurity News, Data Breaches, AI and More
MongoDB | Blog
MongoDB | Blog
The GitHub Blog
The GitHub Blog
Y
Y Combinator Blog
Martin Fowler
Martin Fowler

Prompt 语宙

kimi-thinking-preview – 月之暗面推出的多模态思考模型 pdf-craft – 开源 PDF 转 Markdown 工具 UltraMem – 字节豆包大模型团队推出的全新超稀疏模型架构 EasyControl – Tiamat AI 联合上海科大等开源的图像生成控制框架 GaussianCity – 南洋理工大学 S-Lab 团队推出的 3D 城市生成框架 X-Prompt – 用于多模态视频目标分割的通用框架 豆包大模型1.5 – 字节跳动推出的最新版大模型 GaussianAnything – 南洋理工 S-Lab 和上海 AI Lab 等推出的 3D 生成框架 Cube 3D – Roblox 推出的 AI 3D 生成模型 OpenMath-Nemotron – 英伟达开源的数学推理系列模型 MAI Transcribe-1.5 – 微软 MAI 推出的语音转文本模型 Seed1.5-Embedding – 字节跳动 Seed 团队推出的向量模型 2026世界杯人机大战引爆!联想携手DeepSeek等顶尖AI大模型,对战亿万球迷预测冠军 高考公平守护战!豆包、文心等主流大模型集体禁用拍题功能 ShotAdapter – Adobe联合UIUC推出的多镜头视频生成框架 Devstral – Mistral AI联合All Hands AI开源的编程专用AI模型 MMaDA – 字节联合普林斯顿大学等推出的多模态扩散模型 Software Copyright Materials Skill – 开源软著资料生成Skill Dulus – 开源的 CLI AI Agent,可驱动多模型工具调用 Reasonix – 专为 DeepSeek 推出的开源终端编程 Agent Mega-ASR – NTU、NUS、上海AI Lab开源的语音识别模型 CodeGraph – 开源代码知识图谱工具,加速代码理解和分析 MiniCPM5-1B – 面壁智能联合清华开源的端侧文本基座模型 Horizon – 开源 AI 信息聚合系统,构建专属新闻雷达 BitCPM-CANN – 面壁智能联合清华开源的端侧大模型 Xiaomi Auto World Model – 小米推出的辅助驾驶世界模型 opera-browser-cli – Opera Neon 开源的命令行工具 omp – 开源的 AI 终端编程智能体,能与 IDE 深度联动 Claude Opus 4.8 – Anthropic 推出的旗舰级大语言模型 Hy-Memory – 腾讯混元推出的 Agent 记忆插件
智谱开源Open-AutoGLM:手机AI Agent框架深度解析与实操指南
站外新闻 · 2026-06-16 · via Prompt 语宙

💡 站外导读:随着AI Agent浪潮席卷移动端,如何用自然语言指令实现手机操作自动化成为开发者关注的焦点。智谱开源的Open-AutoGLM框架应运而生,它基于先进的视觉语言模型,能将用户意图转化为真实点击、滑动等操作,覆盖外卖、社交、办公等50多款主流中文应用。更关键的是,该框架采用云手机技术保障隐私安全,并提供完整工具链,极大降低了手机智能体开发的门槛。

Open-AutoGLM 是智谱开源的手机端智能助理框架,基于 AutoGLM 构建,能通过自然语言指令实现手机操作的自动化。Open-AutoGLM通过 Phone Use 能力框架,将自然语言指令转化为实际操作,如点击、滑动、输入等,可在外卖、社交、客服等场景中自动完成任务。框架借助云手机技术保障隐私安全。Open-AutoGLM 开源目的是推动行业共同进步,保护用户隐私,加速 Agent 技术爆发。目前支持 50 多款主流中文应用,提供完整工具链和详细文档,助力开发者快速上手和二次开发。

  • Open-AutoGLM是什么
  • Open-AutoGLM的主要功能
  • 如何使用Open-AutoGLM
  • Open-AutoGLM的项目地址
  • Open-AutoGLM的应用场景
      • 📝 站长洞察 (Editor’s Insight)

Open-AutoGLM

Open-AutoGLM的主要功能

  • 自然语言理解与任务执行:用户能用自然语言描述需求,AI 自动解析意图、执行操作。

  • 多模态界面理解:通过视觉语言模型理解手机屏幕内容,识别界面元素进行操作。

  • 自动化操作:支持点击、滑动、输入文本、长按、双击等多种操作,模拟真实用户行为。

  • 敏感操作确认与人工接管:在涉及隐私或敏感操作时,AI 会请求人工确认或接管,确保安全性。

  • 远程调试与控制:支持通过 WiFi 或网络进行远程 ADB 调试,无需物理连接设备即可操作。

  • 支持多款应用:覆盖 50 多款主流中文应用,包括社交通讯、电商购物、美食外卖、视频娱乐等场景。

  • 云手机环境部署:在云端虚拟设备中运行,保障用户隐私和数据安全。

如何使用Open-AutoGLM

  • 准备工作
    • 安装 Python:确保电脑上安装了 Python(推荐 3.10 及以上版本)。
    • 安装 ADB:下载并安装 ADB https://developer.android.com/studio/releases/platform-tools。安装完成后,将 ADB 的路径添加到系统环境变量中。
    • 配置安卓设备:确保安卓设备已启用开发者模式和USB调试,并连接到电脑。
  • 下载和安装
    • 下载 Open-AutoGLM
      • 访问 Open-AutoGLM GitHub 仓库 https://github.com/zai-org/Open-AutoGLM。
      • 点击页面右上角的 “Code 按钮,选择 “Download ZIP,下载项目代码。
      • 解压下载的文件到本地一个方便的目录(如 C:\Open-AutoGLM~/Open-AutoGLM)。
    • 安装依赖
      • 打开命令行工具(Windows 的命令提示符或 PowerShell,Mac/Linux 的终端)。
      • 切换到解压后的项目目录:
      • cd path/to/Open-AutoGLM
      • 输入以下命令安装依赖:
      • pip install -r requirements.txt
    • 启动模型服务
      • 输入以下命令启动模型服务(这是必须的步骤,但不需要理解代码):
      • python3 -m vllm.entrypoints.openai.api_server --model zai-org/AutoGLM-Phone-9B --port 8000
      • 如果看到服务启动成功的提示,就可以进行下一步。
  • 运行任务:打开一个新的命令行窗口,输入以下命令执行任务(只需要替换任务描述即可):python main.py --base-url http://localhost:8000/v1 --model "autoglm-phone-9b" "任务描述"

Open-AutoGLM的项目地址

  • GitHub仓库:https://github.com/zai-org/Open-AutoGLM
  • HuggingFace模型库:https://huggingface.co/zai-org/AutoGLM-Phone-9B

Open-AutoGLM的应用场景

  • 外卖点餐:用户只需用自然语言描述需求,Open-AutoGLM 能自动打开美团应用、搜索肯德基、选择全家桶套餐并完成下单操作。
  • 社交媒体互动:在微信、微博等社交应用中,用户可指令 AI“点赞好友的最新动态”或“评论抖音视频”,AI 将自动识别相关内容,执行点赞、评论等互动操作。
  • 办公自动化:在办公软件(如 WPS、Microsoft Office)中,用户通过语音或文字指令“创建一个名为‘项目计划’的文档并写入会议内容”,AI 能完成文档创建和内容编辑。
  • 智能家居控制:通过智能家居应用(如小米智能家居),Open-AutoGLM 能精准识别、控制相应设备,实现家居场景的自动化切换。
  • 交通出行:在地图或打车应用(如高德地图、滴滴出行)中,AI 将实时规划路线,完成叫车操作,方便快捷。

📝 站长洞察 (Editor’s Insight)

Open-AutoGLM的开源标志着手机AI Agent从概念验证进入可落地部署的关键阶段。从技术趋势看,它解决了移动端Agent的两大核心瓶颈:一是通过多模态界面理解实现跨应用操作,突破了传统API调用的局限;二是创新的云手机架构,在保障隐私的同时实现了规模化部署。这背后反映的是AI从“理解”到“行动”的范式转变——未来三年,能自动操作GUI的Agent将重塑人机交互方式。对开发者而言,现在正是布局移动端Agent开发的最佳窗口期,智谱通过开源工具链+模型组合拳,正在为行业树立新的技术基准。