昇腾910B本地部署DeepSeek-V4-Flash(w8a8量化版)测试
shamiko
·
2026-04-24
·
via LINUX DO - 最新话题
老登们下班了,现在可以霍霍服务器了 vllm-ascend部署文档: DeepSeek-V4 — vllm-ascend 模型: DeepSeek-V4-Flash-w8a8-mtp · 模型库 启动成功: 先问一下洗车问题: 逻辑OK 跑一下文档中的数据集(GSM8K,数学推理能力) 速度慢的发指 ,10个并发~290~480 tokens/s (毕竟只有一台机器,速度上不去) 先去吃个饭,吃完再来看一下 2 个帖子 - 2 位参与者 阅读完整话题
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。