1

1

比较简单的计算方法，例如 6B 模型，如果用 BF16 的话，乘以 2 ，就是 12GB 运存（显存/内存）。然后还有激活 activation ，就是我们常说的 KV Cache ，也会随着上下文长度增加，具体不太好估计，得看看是 MHA ，GQA 还是 MLA 结构才知道增长倍数