colibri 是一个非常实用的开源项目，它能让普通电脑也能运行超大语言模型（GLM-5.2（744B），并且可以在无显卡的情况下，仅使用 CPU，但需要至少25G 内存。@Appinn

普通电脑跑 GLM-5.2（744B）模型

colibri 使用纯 C 语言，零依赖。可以按需从硬盘加载 Expert（专家）参数，只需要 25GB 内存的家用电脑，就可以运行 GLM-5.2（744B 参数 MoE）。

没有 BLAS 依赖，，不用 Python，不需要 GPU（但支持 CUDA 加速）。

它不一次性把模型全部放到内存中，而是把不常用的模型参数存放在硬盘里，需要时再读取，因此只需约 25GB 内存，就能运行原本需要数百 GB 显存的 GLM-5.2（744B）模型。

GLM-5.2（744B）

而 GLM-5.2（744B）是智谱（Z.ai）于 2026 年发布的旗舰开源模型，也是目前最强的开源模型之一。就是那个曾经万亿市值大模型公司。

它的几个关键参数：

• 总参数：744B（7440 亿）
• MoE（混合专家）架构：总参数 744B，但每次推理只激活约 40B 参数。
• 上下文长度：100 万 Token
• MIT 开源协议，可商用、可本地部署。
• 官方提供权重，可在 vLLM、llama.cpp 等框架中运行。

根据业界评论，GLM-5.2 是目前最接近 GPT、Claude 等闭源旗舰模型的开源大模型之一。

但是，它需要 370GB 硬盘

因为 GLM-5.2 真的很强，很大，光模型文件本身（GLM-5.2-INT4），就需要370GB硬盘。

所以，像青小蛙这种电脑里只有 260GB的用户来说，虽然有25GB内存，但是没有370GB硬盘啊 😭

支持的系统：

• Linux（推荐，开发和测试主要平台）
• macOS（支持 Intel 和 Apple Silicon）
• Windows 11 原生（使用 MinGW-w64 编译，无需 WSL）
• WSL2（Windows 下也可以使用）

关于速度

开发者有一个预估的速度：

硬件配置	预计速度
25GB RAM + 约 1GB/s NVMe	0.05–0.1 tok/s
32GB RAM + PCIe 4.0 NVMe（3–5GB/s）	0.5–1 tok/s
64GB RAM + PCIe 5.0 / 双 NVMe RAID（8–12GB/s）	2–4 tok/s
128–256GB RAM（热点 Expert 已缓存）	2–4 tok/s
128GB+ RAM + 24–32 核 CPU 或 AVX-512	5–15 tok/s（可交互）

还有一个实测的速度：

平台	速度
Intel Ultra 7 + 24GB RAM	0.07 tok/s
Intel Ultra 7（--topp 0.7）	0.11 tok/s
Apple M5 Max（CPU）	1.06 tok/s
Apple M5 Max（Metal）	1.83 tok/s
Apple M5 Max（优化后）	2.06 tok/s（目前最快）
Mac mini M4 Pro 48GB（Metal）	0.30 tok/s（CPU-only 为 0.18）
Ryzen 9950X + PCIe5 SSD	0.28 tok/s
Ryzen AI Max+ 395（缓存预热后）	0.40 tok/s
Ryzen 9800X3D + RTX 5090	0.41 tok/s（开启 --topp 0.7 后 0.52 tok/s）
EPYC 7443 + 430GB RAM	1.00 tok/s

虽然惨不忍睹，但是，这是 744B 大模型啊。这种级别的模型，往常至少需要 370GB 显存啊，如果是更高精度（FP16）的模型，可能需要1.5TB显存。

所以在只有25GB内存的家用电脑上，让 744B 跑起来，已经很神奇了。

最后，作者明确表示：”This is not fast.”（它并不快。），这不快。 这是一个 744B 前沿级模型，能在一台成本低于一个 H100 风扇的机器上正确响应。

---

原文：https://www.appinn.com/colibri-run-glm-5-2-744b-on-25gb-ram/

先解决能不能用，对吧。