现在很多智能中控、车载语音或是各类物联网终端，语音识别大多全靠云端转写，不仅有断网就无法使用的问题，很多涉及隐私的敏感音频也不适合上云。当然做边缘端离线语音识别不是什么新鲜事，Whisper 开源之后很多开发者都在板子上跑过。但痛点在于它太吃算力，普通的嵌入式主板纯靠 CPU 去硬算，动辄就是几倍实时的延迟，发热和功耗也扛不住，根本没法落地。所以当我看到华硕出了个 UGen300，只需插个 USB 就能扩展算力的 AI 加速模块，我的第一反应是：把它插在低功耗的开发板上，能不能流畅跑起本地 Whisper？
ASUS UGen300 外观上和移动硬盘差不多，USB-C 接口，接上去系统就多了一个 Hailo-10H 的设备。Hailo 是以色列的芯片公司，做边缘 AI 推理起家。继 Hailo-8 之后，推出了第二代的 Hailo-10 芯片，算力是 40 TOPS，功耗极低，满载不超过 5W。
和 GPU 跑 Whisper 不同，Hailo 上跑的是预编译的 .hef 文件，模型已经被量化、图优化、编译进去了，运行时直接推送数据进去，不需要框架做任何动态计算（可以参考之前博客的介绍“将自定义模型编译为 Hailo NPU 的 .hef 模型”）。这就决定了它的延迟和功耗都非常稳定，但代价是得用官方提供的模型，或者自己走编译流程。
Hailo 官方 hailo_model_zoo_genai 仓库里已经准备好了 Whisper-Tiny、Whisper-Base、Whisper-Small 三个版本的 .hef 文件，直接下载就能用，这省了很多麻烦。
这里使用的是安装了 Raspberry Pi OS 的 Raspberry Pi 5 实现的。
首先要安装 HailoRT，这是 Hailo 的运行时库，包含设备驱动、Python 绑定、命令行工具。可以去 Hailo Developer Zone 注册账号下载，也可以在 ASUS 的官网下载。
建议下载 UGen Utility for UGen300 USB AI Accelerator，里面有一个一键安装脚本，避免单独安装时出现漏装。解压后有一 ugen-utility-install.sh 脚本，执行即可安装。
cd ~/ugen-utility_2.4.0-9_arm64_usb
bash ugen-utility-install.sh
装完用这个命令验证设备是否识别：
hailortcli fw-control identify
例如：
pi@raspberrypi:~$ hailortcli fw-control identify
Executing on device: usb/002:002
Identifying board
Control Protocol Version: 2
Firmware Version: 5.3.2 (release,app)
Logger Version: 0
Device Architecture: HAILO10H
如果你使用系统自带的 Python，则需要的包已经随 HailoRT 一起装好。如果你使用的是虚拟环境，则还需要在虚拟环境内安装 hailort 包。
cd ~/ugen-utility_2.4.0-9_arm64_usb
pip install hailort-5.3.0-cp312-cp312-linux_aarch64.whl
如果你想实现麦克风实时采集，还需要安装音频相关的工具。工具很多，任选一种即可。
sudo apt install alsa-utils pulseaudio-utils pavucontrol
所有 Whisper 模型均以 .hef 格式预编译，音频采样率固定为 16 kHz，每次处理窗口为 10 秒，使用混合精度量化。
| 模型 | 参数量 | 文件大小 | WER | 最低 HailoRT |
|---|---|---|---|---|
| Whisper-Tiny | 39M | 78 MB | 48.14% | ≥ 5.2.0 |
| Whisper-Base | 74M | 155 MB | 25.32% | ≥ 5.2.0 |
| Whisper-Small | 244M | 388 MB | 10.61% | ≥ 5.2.0 |
模型 .hef 文件下载地址见官方 MODELS 页面。将下载的 .hef 文件放入 models/ 目录。例如：
models/
└── Whisper-Tiny.hef
核心流程很简单：麦克风 → PCM 数据 → Hailo 推理 → 文字。下面新建 minimal_demo.py 文件。
0. 引用相关包
import subprocess
import numpy as np
from hailo_platform import VDevice
from hailo_platform.genai import Speech2Text, Speech2TextTask
1. 录音
用 parec 直接输出 float32 的 PCM 流，16kHz 单声道，录 3 秒。--format=float32le 让 parec 直接输出 Hailo 需要的格式，省去中间转换。
proc = subprocess.run(
["timeout", str(RECORD_SEC),
"parec", "--channels=1", "--rate=16000", "--format=float32le", "--raw"],
stdout=subprocess.PIPE,
stderr=subprocess.DEVNULL,
)
2. 数据处理
parec 输出的字节流直接解析成 numpy 数组：
audio = np.frombuffer(proc.stdout, dtype="<f4").copy()
3. 加载设备和模型
VDevice 代表 UGen300 这个硬件，Speech2Text 是 Hailo 封装好的推理接口，加载模型大概需要几秒钟（首次编译缓存）。
vdevice = VDevice()
s2t = Speech2Text(vdevice, "./models/Whisper-Tiny.hef")
4. 推理
text = s2t.generate_all_text(
audio,
task=Speech2TextTask.TRANSCRIBE,
language="zh", # 指定中文，也可以 None 自动检测
)
print(f"识别结果：{text}")
generate_all_text 返回整段文字，如果你需要知道每句话的时间位置（比如做字幕），换成 generate_all_segments：
segments = s2t.generate_all_segments(
audio,
task=Speech2TextTask.TRANSCRIBE,
language="zh",
)
for seg in segments:
print(f"[{seg.start:.2f}s → {seg.end:.2f}s] {seg.text}")
整个折腾过程下来，UGen300 确实完成了我最初设想的事情：低功耗、本地、够快。就目前的表现来看，它作为嵌入式语音方案的潜力非常可观，比如做机密会议室的离线转写盒子。它彻底避开了云端方案的网络波动，也从物理层面上掐断了隐私泄露的可能。
但我觉得，这套硬件更大的想象空间，绝不仅仅停留在“语音转文字”的单点应用上。想象一下这个工作流：把整套 AI Pipeline 塞进同一个硬件设备里。前端由 Whisper 负责监听并识别语音，提取出的文本立刻在内存里传给同在加速棒上运行的轻量级本地大模型进行意图理解和逻辑生成，最后再接一个端侧 TTS 模块，把大模型的回答实时合成语音播报出来。这意味着在本地搭建了一个完全不需要联网、对隐私绝对保密的“离线 AI 语音管家”。到了这一步，边缘计算在语音交互领域的真正价值，才是被彻底释放出来了。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。