Apple Silicon 跑本地大模型，速度还能再提升多少？
BaseRT 给出了一个答案：在 M5 Pro 上，它的提示词处理速度最高达到 llama.cpp 的 6.4 倍，MLX 的 3.9 倍

BaseRT 是一款专为 Apple Silicon 优化的本地 AI 推理引擎，可以运行 Qwen、Llama、Gemma 等多种开源模型。

在对比测试中，BaseRT 的优势主要集中在 Prefill（提示词处理）阶段，在 Decode（生成速度）阶段也有一定提升：

如何使用

安装

curl -LsSf https://basecompute.co/install.sh | sh

下载模型

basert pull Qwen/Qwen3-4B

运行对话

basert chat Qwen/Qwen3-4B

就可在终端中与本地模型对话了。

启动 API

basert serve Qwen/Qwen3-4B --port 8080

BaseRT 会提供 OpenAI 兼容接口：

为什么 BaseRT 可以跑得更快？

大模型运行速度，不只取决于芯片性能，也取决于软件是否能够充分利用硬件。

与 llama.cpp、MLX 等已有本地推理方案相比，BaseRT 的优化重点是利用 Apple Silicon 的硬件特性。在 M5 Pro 测试中，它利用 M5 新增的 Tensor Core 架构，以及 Metal 4 Tensor API 提供的底层计算能力，获得了明显的性能提升。

BaseRT 在 Qwen3、Qwen3.5、Qwen3.6、Llama 3.2、Gemma 4 等多个模型上进行了测试，覆盖 0.6B 到 35B 参数规模。

使用的设备：Apple M5 Pro、48 GB 内存。

Prefill（提示词处理速度）

Decode（生成速度）

获取

• 官网