周末在家闲着没事，编译了一下 Nexa.ai 提供的 Android 项目 demo ，在小米 15 上面跑了一下他们的 OmniNeural-4B ，这是个多模态的大模型，图片识别和声音识别都还可以，中文也能听懂。参数量小，回复速度挺快的，没有详细测试大模型的能力，用英文对话看起来还行，中文对话或者长对话能力明显很弱，有时候会重复前面的对话内容。对端侧大模型感兴趣的可以玩玩这个，大家可以讨论一下端侧大模型现在可以有什么应用场景。
根据他们官方文档，NPU 支持需要高通骁龙 8 Gen 4 以上。
我这边从 HyperOS 的多任务界面看加载大模型以后内存减少了 5G 左右。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。