佬们,为啥我用 8 卡的 910b 服务器部署千问 32 模型,api回复的特别慢,大概每秒两三个字左右。 我是通过docker 部署的vl lm 加载的模型参数,使用命令查看八张卡的显存占用率都在 90% 以上,是vllm 的启动参数哪里设置的不对吗?
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。