惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

J
Java Code Geeks
腾讯CDC
Jina AI
Jina AI
博客园 - 司徒正美
博客园 - 三生石上(FineUI控件)
Apple Machine Learning Research
Apple Machine Learning Research
GbyAI
GbyAI
WordPress大学
WordPress大学
Hugging Face - Blog
Hugging Face - Blog
T
The Blog of Author Tim Ferriss
小众软件
小众软件
M
MIT News - Artificial intelligence
MyScale Blog
MyScale Blog
D
Docker
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Google DeepMind News
Google DeepMind News
月光博客
月光博客
L
LangChain Blog
F
Fortinet All Blogs
Microsoft Azure Blog
Microsoft Azure Blog
博客园 - Franky
C
Check Point Blog
U
Unit 42
人人都是产品经理
人人都是产品经理

V2EX

我用 AI 写代码,但终端管理反而成了累赘——于是我做了 codux [调研] 各位在公司都用什么 ide 和 agent 写代码? 老运维 share 一个运维平台 看到有公司考核 token 指标,很好奇大家上个月的 AI 账单是多少 GLM-Coding 调用持续报错: z.ai 的 Lite 套餐几乎无法使用,官方 Pro/Max 是否稳定? 现在还有什么渠道可以稳定安全地使用 Claude 吗? 上海漕河泾内推,本组有 2 个 hc,一个后端,一个前端,预算都是 20k 左右,不打卡,氛围好 如果 V2EX 上有一组不永久保存聊天记录(比如只保存 7 天或者 24 小时)的聊天室,那么会开启哪些有用或者有趣的可能? gemini cli 貌似挂了,一直返回 403 第一次在自媒体上赚到钱 收集了最近在使用的低价 GPT, Gemini,邮箱等 AI 会员的小店合集 讨论个大实话:现在企业还在说 AI 编程提效 20%, 30%的,真的太落后,没用懂 AI。因为包括很多前沿公司,已经狂奔到提效 200%-500%的情况 [招聘][远程][币安] 前端/后端/QA/iOS/Android 至少 3 年以上经验 目前有大量 HC 欢迎投递 Chatgpt Pro 用量用不完的可以开这些设置 面试的时候好像遇到钓鱼了,给各位避个坑 cursor 年续费 22 号到期, 自动续费是否还是老的计次套餐呢 被两件破事毁掉的一下午,琐碎的内耗消磨人的精力 使用 Planet 存储 Codex 的会话或者重要信息 如果业务部门领导不要你开发功能,而是要求你教会它用 claude code 开发功能,你会怎么做? 分享一个 MacOS 接绿联 CM818 USB 转 DP 转接器使用感受 我的 HR 朋友 10 年老 Java ,非全大专,大家帮忙看看简历 开源了一个 AI 口语练习工具,音素级发音评分,完全免费可自部署 V2EX 上有哪些你觉得很有趣、印象深刻的妹纸? 字节为啥不出个国内版 Vercel? 有在大马的朋友吗? 问个运营商问题 你们在有领导的公司大群发过的最大胆的消息是什么 公司裁员,目前没有工作。想试试摆摊,做一个移动鲜啤打酒车 我的硬盘 Memblaze Pblaze 5 Linux 下不识别,给 Linux 内核提交了补丁, AI 说有望被合并 只有我一个人觉得 codex 不好用?
开源了一个 macOS 语音输入工具,用多模态大模型替代传统 ASR...
Maxwin · 2026-03-17 · via V2EX
周末花了两天写的,解决自己的痒点,顺手开源了。

## 背景

之前一直用 Typeless 做 macOS 上的语音输入,体验确实好——按住快捷键说话,文字直接出现在光标处。但 $8/月(约 ¥60 )让我觉得有点贵,本质上就是个 API 调用的壳。于是自己动手写了一个。

## SpeakMore 是什么

菜单栏常驻的语音输入工具。按住 Fn (或自定义热键)说话,松开后文字流式插入到当前光标位置。任何 App 都能用——VS Code 、Slack 、浏览器、终端、微信,都行。

## 跟 Whisper 方案的区别

大多数语音输入走的是:`录音 → Whisper 转文字 → 后处理清理`

SpeakMore 不走 ASR ,直接把音频丢给多模态大模型( Gemini Flash 、通义千问等),一次 API 调用同时完成识别和优化。关键是连带发送的上下文:

**三层上下文系统:**

1. **实时上下文** — 通过 macOS Accessibility API 读取当前 App 名称、窗口标题、文档路径。在 VS Code 里编辑 `deployment.yaml` 时说 "Kubernetes",不会被识别成"库伯内提斯"
2. **短期记忆** — 每 10 次输入分析最近 1 小时的转录,提取话题和高频词。聊了半小时数据库迁移,不会把 "Postgres" 听成 "post grass"
3. **长期画像** — 每天从 7 天数据中构建用户画像(职业、领域、语言习惯),PII 自动脱敏

效果就是:专业术语不需要手动加词典,用着用着就准了。

## 踩坑最多的地方:文本插入

在 macOS 上往别人的文本框里塞字,比想象中难多了。最后做了三级回退:

1. **Accessibility API** — 直接设 AXValue ,最快最干净,但不是所有 App 都支持
2. **CGEvent 键盘模拟** — 逐字符模拟按键,兼容性好但长文本慢
3. **剪贴板粘贴** — 保存剪贴板 → 写入文字 → Cmd+V → 恢复剪贴板,万能但不优雅

几个坑:
- iTerm2/Terminal.app 用 Accessibility 插入会字符重复,得检测终端 Bundle ID 直接跳到 CGEvent
- 中文输入法激活时 CGEvent 会被 IME 拦截,要先发 Escape 关掉候选框
- SSE 流式传输在弱网下会截断 JSON ,做了行级缓冲+容错

老实说文本插入的调试时间比其他所有功能加起来都多。

## 技术细节

- 纯 Swift 5.9 ,SwiftUI + AppKit ,零外部依赖
- 音频:AVAudioEngine → 16kHz 单声道 PCM → 手动构建 WAV 头 → Base64 → HTTPS
- SSE 流式响应,30ms 缓冲刷新,文字边生成边出现
- 状态机架构:空闲 → 录音 → 转录 → 插入
- 安装包 ~2MB ,没有 Electron ,没有捆绑模型

## 支持的服务商

| 服务商 | 说明 |
|--------|------|
| Google Gemini | gemini-2.5-flash ,速度快 |
| 通义千问 (DashScope) | qwen-omni-turbo ,国内访问友好 |
| OpenRouter | 一个 Key 用多家模型 |
| 自定义 | 任意 OpenAI 兼容接口 |

自带 API Key ,单次转录成本大约 ¥0.01 以内。

## 链接

GitHub: https://github.com/Maxwin-z/SpeakMore-macOS

MIT 协议,macOS 14+ 。

有问题随时问,尤其是文本插入那块,可以聊很久(苦笑