随着大模型参数量的指数级增长，非量化版部署的显存门槛也随之飙升，而非量化部署最核心的两种精度标准便是FP16与FP32。

• • FP32，即32位单精度浮点数，是计算机运算中最基础的精度格式，数据存储占用4个字节，能提供较高的计算精度，但显存占用成本也最高；
  • FP16，则是16位半精度浮点数，仅占用2个字节的存储，在保证大部分场景下模型推理精度不出现明显损失的前提下，能有效降低显存压力，因此成为非量化部署的主流选择。

        很多开发者对不同参数量模型在这两种精度下的显存需求缺乏清晰认知，接下来结合权威资料，梳理主流大模型的非量化（FP16/FP32）部署显存要求，为部署规划提供参考。

1.2、主流大模型非量化部署显存需求（参考1：阿里云）

参考链接：https://help.aliyun.com/zh/ecs/user-guide/deploy-the-deepseek-r1-distill-model-on-a-gpu-accelerated-instance#e502bc94642u0

        DeepSeek-V3/R1是拥有671B参数量的专家混合（MoE）模型，并已经开源了模型权重。模型的参数量越大，其处理数据和生成内容的复杂性也随之增加，且运行所需的计算资源也会相应增多。每个模型在计算和存储需求上存在差异，以下列出了DeepSeek-R1各型号所需的硬件配置。根据不同的使用需求选择合适的模型，不仅可以降低成本，还能提升部署效率。

核心工具介绍

• • • • NVIDIA GPU驱动：用来驱动NVIDIA GPU的程序，本文以Driver版本 550.127.08为例。
      • vLLM：是一个有助于更高效地完成大语言模型推理的开源库，本文以其v0.6.4.post1版本为例。
      • Open WebUI：基于Web的交互界面，提供类似ChatGPT的用户体验，支持对话记录管理、多模型切换及插件扩展，适合非技术用户直接操作。

1.3、主流大模型非量化部署显存需求（参考2：稀土掘金——面试题：如何评估大模型微调和训练队所需硬件成本）

参考链接：https://juejin.cn/post/7543464528278487055

1.3.1、Dense类模型

        Dense类模型指的是每次都会代入全部参数进行推理或者训练的模型，例如Qwen3-32B模型就是一个拥有32*10=320亿参数的Dense模型。

1.3.1.1、全量微调

        在Dense模型架构下，如果是做 全量微调，每一步计算都会激活所有参数，此时硬件成本的评估逻辑相对直接。常见估计方法是根据 模型参数规模 * 精度位宽 来粗略估计显存需求。例如一个70B参数的Dense模型，若采用FP16格式进行存储，计算存储显存:

• • 参数量: 700 0000 0000
  • 每个参数所bit数: 16bit
  • 1GB所占bit数: 1GB=1024MB=1024 * 1024KB=1024 * 1024 * 1024 B = 1024 * 1024 * 1024 * 8 bit

计算公式：参数量 ✖ 每个参数所占位数 ➗ 1GB所占bit数 =700 0000 0000 * 16 ÷ 1024 ÷ 1024 ÷ 1024 ÷ 8≈ 130.385 GB ≈ 140GB

        训练过程中 梯度存储 的显存与 存储显存 相同占用 140G，优化器例如 AdamW 要为每个参数额外维护一阶动量和二阶动量等额外信息一般占用4倍显存，也就是约 560G， 全量微调总共需要 840G，再考虑激活值存储、显存碎片化以及分布式训练的冗余开销，实际需求往往在 1TB 显存左右。掘金原表格不清晰，我用豆包重新清晰化，如下图：

以上计算也可以整理为如下速算公式

        如果换成参数更小的Dense模型，一般可以按照近似线性比例来计算显存需求。

        例如一个13B参数的模型，参数是70B模型的1/5左右，整体可能200GB显存以内就能完成全量微调。如果精度降低，比如采用8bit或4bit量化存储，显存占用会近似按照位宽缩减。以70B模型为例，FP16下参数是140GB，如果用8bit存储则需要约70GB，用4bit存储只有约35GB。不过量化模型梯度和优化器通常还是以FP16形式保存，因此总体显存缩减幅度有限。

1.3.1.2、全量微调

        如果采用 Lora微调 方法显存占用会显著降低。因为 LORA 只需要在部分矩阵中引入低秩适配器，训练时只更新新增的适配器参数，原始大模型参数保持冻结。例如对70B模型应用LORA，实际需要更新的参数量可能只有1%~2%, 因此显存需求往往控制在160G左右。

豆包分析掘金大佬的话：

• • • • LoRA 显存占用低的核心是 冻结原始模型参数，仅训练新增的低秩适配器参数，可训练参数仅占总参数的 1%~5%；
      • LoRA 微调与全量微调的核心差异在于 可训练参数范围、显存 / 算力需求、训练效率和适用场景；
      • 实际应用中，LoRA 是中小规模任务的首选（性价比高），全量微调仅适用于有超大数据集和顶级硬件的场景。
      • 通俗解释，可以把大模型比作一辆出厂的豪车轿车：
        • 全量微调：把轿车的所有零件（发动机、变速箱、底盘等）都拆下来重新打磨、调整，甚至更换。虽然可能让车更适配你的驾驶习惯，但需要超大的维修车间（高显存）、专业的工程师团队（高算力），还可能不小心把核心零件调坏（模型泛化性下降）。
        • LoRA 微调：不拆原车任何零件，只在方向盘、油门旁加装一个“适配手柄”（低秩适配器），只调整这个手柄的参数，让你用原车的核心部件，却能适配你的驾驶习惯。维修车间（显存）变小，工程师（算力）变少，还不会破坏原车的核心性能（模型原始能力）。
      • 理解 LoRA 显存占用低的核心原理:
        • 参数冻结 + 低秩分解：LoRA 会冻结大模型的全部原始参数（比如 70B 模型的 700 亿参数），只在模型的关键矩阵（如注意力层的 W_q/W_v）旁插入一对低秩的小矩阵（可以理解为 “适配器”）。      
        • 仅训练小矩阵：训练过程中，只有这对小矩阵的参数会被更新，原始大模型参数完全不动。比如 70B 模型用 LoRA 时，新增的可训练参数通常只有几百万到几千万，仅占总参数的 1%~2%。
        • 显存占用核心来源：模型训练的显存主要消耗在两部分 —— 模型参数本身、反向传播时的梯度和优化器状态（如 Adam 优化器会为每个参数存储 2 份状态）。LoRA 只需要为这 1%~2% 的新增参数存储梯度和优化器状态，而全量微调需要为 100% 的参数存储，因此显存需求会大幅下降（70B 模型全量微调显存可能需要数百 GB 甚至 TB 级，LoRA 则能控制在 160G 左右）。 
      • 为了让你更清晰对比，我用表格和通俗解释结合的方式说明：

        对比维度	LoRA 微调	全量微调
        可训练参数	仅新增的低秩适配器参数（总参数的 1%~5%）	模型全部参数（100%）
        显存占用	极低（如 70B 模型≈160G）	极高（70B 模型可能需要 300G + 甚至更多）
        训练速度	快（参数少，计算量小）	慢（参数多，计算量呈指数级增加）
        硬件要求	较低，单卡 / 少量多卡即可（如 8 卡 A100）	极高，需要多卡高端 GPU 集群（如 8 卡 H100）
        模型泛化性	较好，原始模型参数未改动，仅适配下游任务	易过拟合，全量参数更新可能破坏原始能力
        调参难度	低，仅需调整 LoRA 的秩、学习率等少量参数	高，需精细调整全量参数的学习率、批次等
        适用场景	中小数据集、快速适配下游任务（如对话、翻译）	超大数据集、需要深度定制模型（如专属领域模型）

1.3.1.3、MoE模型微调

        MoE（Mixture of Experts）是一种神经网络架构。其核心思想是“分而治之”，将一个大模型拆分为多个功能不同的“专家”子网络（如前馈层）。对于每个输入，一个门控网络会动态选择并激活最相关的少数专家进行计算，再与共享参数的结果整合。这样能在显著增加模型总参数量的同时，保持计算量基本不变，实现了更高效的大模型训练与推理，例如 Qwen3-235B-A22B 模型，激活参数为22B, 共享参数约为7.8B。

豆包分析掘金大佬的话：

• • • • MoE 的核心优势是 参数规模与计算量解耦，通过动态激活少数专家，实现“大参数模型、小计算量训练”，显存占用不随总参数量线性上升；
      • MoE 是 模型架构设计，全量微调是模型训练方法，两者的核心差异在于参数组织形式、训练时的激活范围、显存与算力需求；
      • MoE 适合大规模通用模型的高效训练，追求“大而不贵”；全量微调适合小模型的深度定制，依赖充足数据和高端硬件。
      • 通俗举例理解两者差异，可以把模型训练比作一家公司处理客户需求：
        • MoE 架构训练：公司有 100 个专业能力不同的“专家员工”（专家子网络），还有 1 个“调度主管”（门控网络）。客户来咨询时，主管只挑选最擅长该领域的 1~2 个专家接待，其他 98 个专家正常待命。公司总人数（总参数量）很多，但每次只需要支付 1~2 个专家的人力成本（计算量 / 显存），既能处理复杂需求，又能控制成本。
        • 全量微调（传统单体模型）：公司只有 1 个全能型的“超级员工”（单体模型），客户的所有需求都由他一个人处理。要提升服务能力，只能把这个员工的能力不断强化（增大模型参数量），但员工能力越强，消耗的人力成本（显存 / 算力）就越高，甚至会因为能力太杂而出现 “顾此失彼” 的情况（过拟合）。
      • 理解 MoE 显存与计算效率高的核心原理：
        • 分块专家 + 动态激活：模型由多个独立的 “专家” 子网络（如 FFN 层）和 1 个门控网络构成。门控网络会根据输入内容，只选择少数相关的专家参与计算（通常是 1~2 个，而非全部），未被选中的专家网络完全不激活。
        • 参数总量大，但激活参数少：MoE 模型的总参数量可以做得很大（比如 Qwen3-235B-A22B 总参数量 235B），但实际参与单次计算的激活参数只有一小部分（22B），再加上共享参数（7.8B），整体计算量可控。
        • 显存占用的核心逻辑：显存消耗和激活参数 + 梯度 + 优化器状态强相关。MoE 训练时，只有被激活的专家参数会产生梯度和优化器状态，未激活专家的参数仅需存储、无需计算梯度，因此显存占用不会随总参数量的增加而线性上升。
      • 为了让你更清晰对比，我用表格和通俗解释结合的方式说明（这里需要明确：MoE 是模型架构，全量微调是模型训练方法，两者的对比主要围绕“基于 MoE 架构的模型训练” 和“基于传统单体模型的全量微调”展开）