Hy-MT1.5-1.8B-2bit：Tencent 开源 574MB 能打败 72B 巨人的移动端翻译模型

TL;DR

• Hy-MT1.5-1.8B-2bit 是腾讯混元团队推出的突破性 2-bit 量化翻译模型，将 3.3GB FP16 模型压缩至仅 574MB，同时保持世界级翻译质量
• 基于腾讯自研的 SEQ（Stretched Elastic Quantization，弹性延伸量化） 技术，属 AngelSlim 压缩工具包的一部分
• 仅用 1.8B 参数即支持 33 种语言、5 种方言/少数民族语言、1056 个翻译方向
• 全面超越参数规模 30-40 倍的模型（Tower-Plus-72B、Qwen3-32B）及主流商业翻译 API
• 可在 Apple M4、vivo x300、Snapdragon 865+ 等移动设备上完全离线运行，无需网络
• 提供 Android APK 演示，支持全局后台取词翻译，任意 App 内即时翻译，无需切换应用

目录

1. Hy-MT1.5-1.8B-2bit 是什么？
2. 2-bit 量化技术原理
3. 翻译质量 benchmark
4. 端侧部署与隐私保护
5. 推理速度
6. 下载与使用
7. AngelSlim 工具包技术解析
8. 与同类方案对比
9. 常见问题
10. 总结

---

1. Hy-MT1.5-1.8B-2bit 是什么？

Hy-MT1.5-1.8B-2bit 是腾讯混元团队发布的最新开源翻译模型，代表了端侧 AI 的重大突破。这个仅 1.8B 参数的模型，翻译质量却能媲美甚至超越参数规模 30-40 倍的大型模型——而且全部在手机上本地运行，无需联网。

模型基于 Hy-MT1.5-1.8B 基座模型构建，采用全链路多阶段训练流水线：

• MT 导向预训练 — 构建强大多语言基底
• 监督微调（SFT） — 对齐人类级翻译质量
• 在线策略蒸馏 — 从大模型蒸馏知识
• 强化学习（RL） — 以翻译质量奖励优化输出

最终，1.8B 参数的模型原生支持 33 种语言、5 种方言/少数民族语言、1056 个翻译方向。

"2bit"指的是权重量化格式。原始 3.3GB FP16 模型压缩至仅 574MB，体积缩小 82%。更激进的 1.25-bit 版本（Hy-MT1.5-1.8B-1.25bit）更是只有 440MB。

提示：如果需要 llama.cpp 等框架使用的 GGUF 格式，可以在 Hugging Face 下载 AngelSlim GGUF 版。

---

2. 2-bit 量化技术原理

Hy-MT1.5-1.8B-2bit 高效压缩的秘密是腾讯自研的 SEQ（Stretched Elastic Quantization，弹性延伸量化）算法，发表于 AngelSlim 技术报告（arXiv:2602.21233）。

传统 2-bit 量化通常使用对称量化网格如 {-1, 0, 1}（三值）或 {-1, 1}（二值），问题在于这些粗糙的网格对离群权重（outlier weights）的处理能力很差，会造成严重的信息损失。

SEQ 的创新在于将量化网格弹性延伸为 {-1.5, -0.5, 0.5, 1.5}——非对称、非均匀的排列，更贴合 Transformer 权重实际统计分布：

1. 保留权重幅度信息 — 对称网格会摧毁的信息得以保存
2. 优雅处理离群权重 — 不再因为一个离群值摧毁整个激活
3. 与量化感知蒸馏（QAD）协同 — 训练阶段就预知量化误差

结果是：一个看起来不像 2-bit 的 2-bit 模型。在 Flores-200 中西互译 benchmark 上，Hy-MT1.5-1.8B-2bit 与 3.3GB FP16 基座模型差距极小，体积却缩小了 82%。

量化规格对比

属性	FP16 全精度	2-bit 版本	1.25-bit 版本
模型大小	3.3GB	574MB	440MB
压缩倍率	1x	约 5.7x	约 7.5x
量化网格	N/A	{-1.5, -0.5, 0.5, 1.5}	{-1.25, -0.25, 0.25, 1.25}
质量保留率	100%	约 97%+	约 95%+

---

3. 翻译质量 Benchmark

这是 Hy-MT1.5-1.8B-2bit 最令人印象深刻的地方——区区 574MB 的模型，全面超越：

• Tower-Plus-72B — 720 亿参数商用翻译模型
• Qwen3-32B — 阿里巴巴 320 亿参数多语言模型
• Microsoft Translator — 主流商业翻译 API
• Doubao Translator — 字节跳动翻译服务

在业界标准 Flores-200 多语言翻译质量评估 benchmark 上，Hy-MT1.5-1.8B-2bit 在中西翻译方向上名列前茅，尤其擅长：

• 中文 ↔ 英语 翻译
• 东南亚语言（越南语、泰语、印尼语）
• 低资源语言对 — 大模型往往在此失分

这说明一个道理：专用翻译模型 + 恰当量化 >>> 通用大模型暴力 scaling。

---

4. 端侧部署与隐私保护

Hy-MT1.5-1.8B-2bit 的一大亮点是可以在移动设备上完全离线运行，针对以下平台优化：

• Apple M 系列芯片（M4、M3、M2），支持 Arm SME2 指令集
• Android 设备：Snapdragon 865+ 及以上，RAM 8GB+
• vivo x300 系列等旗舰安卓手机

隐私优先设计

翻译在本地执行，数据永远不会离开你的手机。这与云端翻译 API 有本质区别：

• 文本不会上传到第三方服务器
• 对话记录不会被记录或用于模型训练
• 无需稳定网络连接

任何场景——浏览外文网页、与外国朋友聊天、阅读外语文档——全部零网络延迟、完全隐私。

Android 演示 App

腾讯提供了开箱即用的 Android APK 演示，展示两大功能：

1. 翻译演示 — 输入文本即时翻译（演示设备：Snapdragon 865，RAM 8GB）
2. 后台取词翻译模式 — 全局悬浮窗，任意 App 内实时翻译，无需切换应用

APK 一次性下载，永久离线使用，无需注册、无数据收集。

---

5. 推理速度

腾讯 benchmarks 显示，在支持 SME2（Scalable Matrix Extension 2）的硬件上，2-bit 模型推理速度极快。原因在于：

1. 更小的内存占用 → 内存读取更快（574MB vs 3.3GB）
2. 位运算优化 → 2-bit 权重在专用芯片上处理效率更高
3. SME2 指令集优化 → Arm 新一代扩展指令集专为矩阵运算设计

在 SME2 内核上，2-bit 模型在移动级硬件上达到实时翻译速度。标准 ARMv8 Neon 内核虽然稍慢，但非实时场景完全可用。

---

6. 下载与使用

模型权重

版本	格式	大小	下载链接
Hy-MT1.5-1.8B-2bit	Safetensors	574MB	模型
Hy-MT1.5-1.8B-2bit	GGUF	~574MB	GGUF
Hy-MT1.5-1.8B-1.25bit	Safetensors	440MB	模型
Hy-MT1.5-1.8B-1.25bit	GGUF	~440MB	GGUF

Transformers 使用示例

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

model_name = "AngelSlim/Hy-MT1.5-1.8B-2bit"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

# 英译中
inputs = tokenizer("The weather is great today.", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

---

7. AngelSlim 工具包技术解析

Hy-MT1.5-1.8B-2bit 基于腾讯的 AngelSlim 模型压缩工具包开发，该工具包支持从小型 1B 模型到超大规模 100B+ VLM 和音频模型的全面压缩。

核心组件

• SEQ（弹性延伸量化） — 核心 2-bit 量化算法
• Sherry — 基于细粒度稀疏化的硬件高效 1.25-bit 三值量化（详见 arXiv:2601.07892）
• Eagle3 — 全尺度 LLM/VLM/音频模型的训练和部署支持

AngelSlim 由腾讯混元 AI 基础设施团队持续维护，定期发布新功能。

相关资源

• AngelSlim GitHub: https://github.com/Tencent/AngelSlim
• HY-MT GitHub: https://github.com/Tencent-Hunyuan/HY-MT
• 文档: https://angelslim.readthedocs.io/

---

8. 与同类方案对比

模型	参数量	大小	语言数	部署方式	商业 API
Hy-MT1.5-1.8B-2bit	1.8B	574MB	33 + 5 方言	端侧（手机）	否
Tower-Plus-72B	72B	~144GB	200+	仅云端	是（付费）
Qwen3-32B	32B	~64GB	100+	云端/GPU	API
Google 翻译 API	N/A	N/A	130+	云端	是（付费）

结论：Hy-MT1.5-1.8B-2bit 是唯一能在端侧、隐私保护、零成本条件下提供有竞争力翻译质量的方案。

---

9. 常见问题

Q：2-bit 量化实际意味着什么？

A：每个模型权重（通常以 16 或 32 位浮点数存储）被压缩到仅 2 位。权重只能取 4 个值：-1.5、-0.5、0.5 或 1.5。这带来了 82% 的文件体积缩减。

Q：相比全精度模型，质量损失多少？

A：基于腾讯在 Flores-200 数据集上的 benchmark，质量损失极小——标准翻译指标（BLEU、COMET）通常不超过 3%。多数语言对在人工评估中与 FP16 基座模型无统计显著差异。

Q：iPhone 能运行吗？

A：目前腾讯的优化二进制文件针对 ARM SME2 的 Android 设备和 Apple M 系列芯片（Mac/iPad）。iPhone 部署需要 Core ML 转换等优化，暂未官方提供。GGUF 格式可通过 llama.cpp 在 Apple Silicon Mac 上运行。

Q：支持哪些语言？

A：33 种主要语言，包括英语、中文（简体/繁体）、西班牙语、法语、德语、日语、韩语、阿拉伯语、俄语、葡萄牙语、意大利语、荷兰语、波兰语、越南语、泰语、印尼语等，外加 5 种方言/少数民族语言变体和 1056 个语言方向。

Q：模型是开源的吗？

A：是的。模型权重和 AngelSlim 工具包均为开源，基于 AngelSlim License 发布。Safetensors 和 GGUF 格式均可在 Hugging Face 免费获取。

---

10. 总结

Hy-MT1.5-1.8B-2bit 代表了机器翻译的新范式：领域专用训练 + 激进量化 + 端侧优先部署，全部整合在一个开源项目中。腾讯的 AngelSlim 工具包证明，极端量化（2-bit、1.25-bit）不必然导致灾难性的质量损失。

对于开发翻译应用、嵌入式系统、隐私敏感工具、离线移动体验的开发者，Hy-MT1.5-1.8B-2bit 值得认真考虑：

• 574MB 模型体积（1.25-bit 版仅 440MB）
• 33 种语言、1056 个翻译方向
• 完全离线端侧推理
• 零 API 成本 + 完全隐私保护
• 与 72B 级模型相当的翻译质量

这是 LLM 压缩领域目前最实用、最落地的成果之一。

相关链接： - 模型：https://huggingface.co/tencent/Hy-MT1.5-1.8B-2bit - AngelSlim：https://github.com/Tencent/AngelSlim - Android 演示 APK：https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-1.25bit-GGUF/resolve/main/Hy-MT-demo.apk - AngelSlim 技术报告（arXiv:2602.21233）：https://arxiv.org/abs/2602.21233 - HY-MT1.5 技术报告（arXiv:2512.24092）：https://arxiv.org/abs/2512.24092

---

原文发表于 CurateClick | Dev.to | Zenn.dev