加入了个模型团队，搞到了几台NV的 B300x8（单机2.2TB）以及GB300x4（1.1 TB）的server来做research（server内卡间是NVLink，server互联走的以太网，不考虑互联了） 这几天搭了很多模型来玩，GLM 5.2的fp8弄上了之后，好像并发也只能支持并行的batch=2的decode（？ 然后也跑了一些多模态模型，但是可玩度感觉有限，来问问佬友们有没有神们能充分利用机子的好玩点子
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。