运行大模型GPU占用计算公式：

\(M=\frac{(P * 4B)}{32 / Q} * 1/2\)

• M : 以GB标识的GPU内存
• P : 模型中的参数数量，例如一个7B模型有70亿参数
• 4B : 4个字节，表示用于每个参数的字节
• 32 : 4个字节中有32位
• Q : 应该用于加载模型的位数，例如16位、8位、4位
• 1.2 : 表示在GPU内存中加载其他内容的20%开销

常用大模型内存占用

1.5B 4 0.9 1.5B 8 1.8 1.5B 16 3.6 7B 4 4.2 7B 8 8.4 7B 16 16.8 9B 4 5.4 9B 8 10.8 9B 16 21.6 40B 4 24 40B 8 48 40B 16 96 70B 4 42 70B 8 84 70B 16 168

大小（billion）	模型位数	显存占用（GB）

量化大模型的标准写法

经常看到量化大模型后面带着q2_k 、ft16 、 q5_k_s 、q8_0 等写法。这类写法代表着大模型的量化后的指标，释义如下：

传统量化

包括q4_0、q4_1、q8_0等方法。

如q4_0。代表模型位数=4，0表示保留0位小数。即数据会被量化到0-255之间的整数

K值量化

如q2_k、q5_k_s 等方法。实际上就是不同层用不同精度量化，以比传统量化更智能的方式分配bit。解压缩方式与传统量化类似,同样快速