
























Unsloth GLM-5.2 1位精度能有原模型的约76.2%的能力 2位精度能有原模型的约82%的能力 也就损失了约18%,但是能在一个24G显卡和256G内存上部署了。 我是这样想的,与其抢哪个怎么也抢不到的GLM Coding Plan,不如组个洋垃圾平台再整个魔改的V100或者3090。 配件 规格 单价 数量 小计 内存 DDR3 32GB 180元 ×12 2160元 平台 浪潮M2216 + 双E5 + 电源 + 配件 — — ≤1500元 GPU V100(鱼上买改好的) — — 3750元 硬盘 自备 — — 0元 这样总计 384GB 内存 32GB 显存,说不定能跑2精度 虽然能预想到不光模型加载慢,推理慢,上下文也难说。 不过万元以下本地跑 GLM5.2(量化版) 嘿嘿🥹,想想就流口水 想问问有没有佬友实践过,
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。