最近想在本地部属个 qwenpaw 用用。设备是 mac m4 64g 。想知道这个能部署哪个本地大模型 不太懂 纯请教
 |
1 zh826256645 10 天前 3
可以看看这个项目 https://github.com/Andyyyy64/whichllm —————— 下面来自 HelloGitHub 122 期 whichllm：帮你找到本地能跑的最佳大模型。该项目能够自动检测本机 GPU/CPU/RAM 配置，并从 HuggingFace 中筛选出适合当前硬件的大模型。它基于 LiveBench 、Chatbot Arena ELO 等综合评分排名，而非单纯按参数量排序，支持模拟指定 GPU 、查找运行目标模型所需显卡、一键启动对话和生成 Python 代码片段等功能。 |
 |
2 kuhung 10 天前whichllm 我测了下不太准，top1 并非最佳选择。它提到的模型权重，你得细看不同量化，还要考虑 kv cache 预留一些空间。 |
|
3 kuhung 10 天前你是 mac ，直接下个 oMLX ，下模型的时候会建议你用哪个。而且基本限制了 MLX 模型格式，对于 mac 更友好。 |
 |
4 clemente 10 天前我正好写过类似工具 如果是稠密模型 如果是 moe 的模型 用 13b 模型为例 kv cache 按照 1/4 冗余计算 26 * 5/4 |
|
5 clemente 10 天前一般 小设备都跑 nvfp4 或者 fp8 mac fp8 的话 你大概跑 36 - 40+ 左右的差不多了 但可能你做其他功能就卡了 |
 |
6 fcten 10 天前目前比较好的应该是 qwen3.6-35b-a3b 或 qwen3.6-27b |
 |
9 microscopec 10 天前我是 m5pro20 核 64g ，写代码的话，本地跑 qwen3-coder-next 80B 没问题，速度 78token/s |
 |
10 coefu 10 天前是 max pro 还是 ultra ？不一样的。 |
 |
11 beginor 10 天前 via Android推荐的 用 llama.cpp 来跑 qwen3.6-35b ，qwen3-coder-next 或者 gemma4-26b 这些 moe 模型需要的算力不高，吐字速度快 不建议跑 qwen3.6-27b gemma4-31b 跑密集模型，算力不够吐字太慢 |
 |
12 noahjsn 10 天前不建议个人电脑跑参数小的大语言模型，能跑但没什么卵用。1. 太慢了； 2. 太弱智了。 |
|
13 noahjsn 10 天前要跑就跑顶级开源大模型 |
 |
16 1235467 9 天前 via Android个人来讲还是更推荐 qwen3.6 27B/gemma4 31B 一点，讲真有点慢但是 MoE 普遍不够聪明；现在 llama.cpp 有支持 mtp 了会比之前好一点 |
|
17 coefu 8 天前即便是 ultra ，dense 模型，在 263k 的 context 下，pp 依然会降到 100 一下，比较闹心。 |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。