< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">
2026-04-25 11:27:22 来源：量子位
mHC用了，Engram留给v5
DeepSeek V4“迟到”半年，但发布后的好评如潮还在如潮。
中外热搜上了一整圈，科技媒体的版面今天都让给了它，OpenAI也成了它的陪衬。
大家惊叹于DeepSeek在有限条件下作出重大突破的创造力，也佩服其在2026年，还能坚定选择开源路线的决心。
可以说，一时间信息多的有些超载，但多归多，主线就两条。
第一条，百万token上下文全面开源，KV cache大幅缩减。
V4-Pro和V4-Flash，1.6万亿参数/2840亿参数，上下文都是1M。1M场景下，V4-Pro的单token FLOPs只有V3.2的27%，KV cache只有10%。
亚马逊硬件师GPD表示，这意味着DeepSeek可能解决当前的HBM短缺问题。
第二条，国产芯片适配，已经支持华为算力，预计下半年昇腾950超节点批量上市。
此外，大家最关心的，还莫过于在过去四个月中，DeepSeek陆续放出了几篇「可能进V4」的论文，今天技术报告开源了，可以对一下账。
四个预期，三个落地，一个给下一代。
V4这一代，是DeepSeek系列里动刀最多的一版。相比V3，V4在三个地方做了升级。
第一，引入mHC（Manifold-Constrained Hyper-Connections）强化残差连接。
第二，设计hybrid attention架构，CSA和HCA交替叠加，解决长文效率问题。
第三，采用Muon作为主优化器。
MoE部分仍然用DeepSeekMoE，MTP（Multi-Token Prediction）模块跟V3保持一致。
一些细节微调包括，affinity score的激活函数从Sigmoid换成了Sqrt(Softplus(·))，去掉了routing target nodes的数量约束，前几层dense FFN换成了用Hash routing的MoE层。
接下来，我们一个个看。
残差连接是何恺明2016年在ResNet里提出来的，十年没怎么变过。模型一层一层堆，梯度沿着残差往回传，这是深度学习能work的前提。
但模型越来越深、参数越来越多之后，传统残差开始露怯，信号传递不稳，训练容易崩。
先说Hyper-Connections（HC），这是Kimi团队之前提出的想法。核心是把残差流从一维变成n_hc条并行通道，每层之间通过一个矩阵B来混合。
A、B、C是三个线性映射。想法很优雅，相当于给残差流增加了一个新的scaling维度。但DeepSeek在堆多层时发现，HC经常出现数值不稳定，训练说崩就崩。
V4的做法叫mHC，把矩阵B约束到「双随机矩阵」的流形上（数学上叫Birkhoff polytope），行和列都归一化为1。这个约束带来两个好处。
输入映射A和输出映射C则通过Sigmoid函数保证非负且有界，避免信号互相抵消。
实现上用Sinkhorn-Knopp迭代，交替做行归一化和列归一化，迭代20次收敛。整个过程对每一层都跑一遍。
听起来贵，但DeepSeek做了fused kernel，再配合选择性recomputation，实测mHC带来的wall-time开销控制在overlapped pipeline的6.7%。
技术判断上，mHC不是那种让人眼前一亮的架构创新，更像是一个「稳得住大模型」的工程补丁。但随着模型深度和参数量继续往上推，这种补丁会变成刚需。
这是全篇论文最厚的一块，也是「百万token效率」的核心魔法所在。
V4的注意力层不是一种，是两种交替使用的结构，CSA（Compressed Sparse Attention）和HCA（Heavily Compressed Attention）。
CSA做两件事，先压缩，再稀疏选择。
第一步，KV压缩。 每m个token的KV entries，通过一个带学习权重的attention-like机制压成一个。
第二步，lightning indexer + top-k选择。这部分继承自V3.2的DSA。对每个query token，用一个轻量的indexer计算它和每个压缩KV块的相关性分数。
第三步，core attention。 在选中的这top-k压缩KV块上做Multi-Query Attention，得到注意力输出。
第四步，grouped output projection。 因为V4把head dimension c设成了512（比V3.2的128大得多），如果直接把所有head的输出投影回d维会很贵，所以做了分组投影，把n_h个head分成g组，每组先投影到一个中间维度d_g，最后再合并投影回d。
整个CSA等于做了两层压缩。第一层是序列长度压缩，n变成n/m。第二层是稀疏选择，n/m变成top-k。对1M token的序列，原本需要attend 1M个token，现在只需要attend 1024个压缩块。
HCA的思路更简单粗暴，压得更狠，但不做稀疏。
压缩率m’=128，每128个token压成一个。压缩过程也没有CSA那样的overlap，直接每m’个一组压。然后对所有压缩后的KV做dense attention。
论文里没有长篇大论地解释CSA和HCA为什么要配对使用，但读完整个architecture章节，能看出它们的分工。
CSA的压缩温和、靠稀疏把关，适合做token-level的精细检索。HCA的压缩凶猛、保持dense，适合做长距离的全局信号汇总。
V4把两者层层交替。Pro有61层，Flash有43层，CSA和HCA一层一层往上叠。既不漏细节，也不被细节拖住。
此外，论文还透露了几个trick。
Q/KV normalization。 CSA和HCA在core attention之前，都对query和KV entries做一次RMSNorm，防止attention logits爆炸。
Partial RoPE。 只对query和KV entries的最后64维施加旋转位置编码，其余维度不动。
因为KV entries既做key又做value，naive的RoPE会让输出带上绝对位置信息，所以在output端也对应施加一个位置为-i的RoPE来抵消，只保留相对位置信息。这是个巧妙的工程处理。
Sliding window attention作为辅助分支。
因为压缩注意力保证严格因果性，一个query token看不到自己压缩块内其他token的信息。为了补偿近距离依赖，V4额外加了一个sliding window分支，每个query除了看压缩KV之外，还能看最近128个token的uncompressed KV。
Attention sink。 借鉴OpenAI和StreamingLLM的trick，在attention分母上加一个learnable sink logit，允许attention score总和不等于1。
这在长序列里尤其有用，能避免模型被迫把注意力均摊。
V4训练中绝大多数参数优化用的不是AdamW，是Muon。
Muon是前几年Keller Jordan那批人（他现在在OpenAI）在小模型上验证过的优化器，基于矩阵正交化。
它只优化2D参数矩阵，其他参数（embedding、prediction head、RMSNorm权重、mHC的静态偏置等）还是走AdamW。
Muon在LLM规模上的第一次大规模验证是Kimi K2。 2025年，Moonshot用Muon（加上他们自己的QK-Clip变种，合称MuonClip）训了一个1T参数的MoE，15.5T token，全程零崩溃。
现在DeepSeek也用上了。不过他们做了自己的版本，hybrid Newton-Schulz迭代，10步分两段。
这里有个细节值得注意。Kimi用Muon需要QK-Clip来防止attention logits爆炸，DeepSeek没用这招。他们的理由是，V4的注意力架构允许直接对query和KV做RMSNorm，从源头把爆炸的可能压住了。
两家公司，同一个优化器，解决同一个问题，走的是两条路。这种跨团队的技术共享和各自演化，是2026年开源社区最有意思的一面。
DeepSeek-V4系列在预训练数据量上实现了翻倍。
对比V3仅用14.8T Token训练，V4-Flash 与 V4-Pro 的数据消耗量分别达到了32T和33T。训练数据量整整翻了一倍多（增长约 1.2 倍）。
数据构成上，长文档数据单独curate，优先收录科学论文和技术报告这类有学术价值的长材料。tokenizer仍用V3的128K词表。
在模型架构上，V4-Flash，43层，隐藏维度4096。
MoE用1个shared expert + 256个routed experts，每token激活6个。总参数284B，激活13B。
V4-Pro，61层，隐藏维度7168。MoE用1个shared expert + 384个routed experts，每token激活6个。总参数1.6T，激活49B。
训练调度上，序列长度走四段，4K → 16K → 64K → 1M。sparse attention不是从头打开，前1T token用dense attention做warmup，扩到64K时才introduce sparsity。
论文表示，训练中间出过一次严重的loss spike，DeepSeek摸到两个土办法，Anticipatory Routing和SwiGLU Clamping。论文原话非常诚实，这两个trick work，但底层机理仍是open question。
一个训练了两个万亿参数MoE的团队公开承认「我们不知道为什么这两个trick管用」，在2026年已经是一件挺稀罕的事。
在后训练阶段，V4这一代做了一次方法论替换，传统的mixed RL阶段被On-Policy Distillation（OPD）完全替代。
流程分两步。
第一步，训domain specialist。
数学、代码、agent、指令跟随四个领域，各自独立训一个expert。先SFT打底，再用GRPO做domain-specific RL。V4还引入了三档reasoning effort mode，Non-think、Think High、Think Max，每档输出长度不同。
第二步，OPD合并。
十几个expert通过on-policy distillation合进一个统一的student。student自己rollout，最小化reverse KL向对应领域的expert对齐。数学任务向数学expert靠，编程任务向编程expert靠。
方法论听起来很优雅。但工程上装不下，十几个teacher每个都是万亿级，vocab size超过10万。
V4的做法是teacher权重offload到分布式存储按需加载，只缓存hidden states不materialize logits，按teacher排序样本保证每个mini-batch只加载一个teacher head。
一套看似优雅的后训练方法论，背后是一堆「不这样做就装不下」的工程妥协。
在实验部分，有三件最值得说的事。
开源领先。
SimpleQA-Verified上V4-Pro-Max拿到57.9，K2.6是36.9，GLM-5.1是38.1。领先所有开源模型20个百分点。
匹敌闭源。
Codeforces rating 3206，超过了GPT-5.4的3168和Gemini-3.1-Pro的3052，在人类选手榜单上排名第23。开源模型匹敌闭源头部，这次是真的匹敌了。
差距仍在。
HLE上V4-Pro-Max 37.7，Gemini-3.1-Pro 44.4，Claude-Opus-4.6-Max 40.0。1M MRCR上V4优于Gemini但明显不如Claude。知识类和最前沿的推理任务仍有3-6个月的gap。
论文中，DeepSeek表示：
DeepSeek-V4-Pro-Max在标准推理benchmark上优于GPT-5.2和Gemini-3.0-Pro，但略落后于GPT-5.4和Gemini-3.1-Pro。这表明其发展轨迹大约落后最前沿闭源模型3到6个月。
Flash-Max可能是这篇论文最被低估的一部分。
V4-Flash-Max只激活13B参数，推理任务上能打平GPT-5.2和Gemini-3.0-Pro，代码和数学甚至超过K2.6-Thinking。
如果只看激活参数量，这是目前效率最极致的推理模型之一。
现实任务里最值得提的是内部R&D代码benchmark，V4-Pro-Max 67%，接近Claude Opus 4.5的70%。
85人的内部开发者调研里，91%表示V4-Pro可以作为主力coding模型。
在官方的推文中，也侧面印证了这个说法：
目前DeepSeek-V4已成为公司内部员工使用的Agentic Coding模型，据评测反馈使用体验优于Sonnet 4.5，交付质量接近Opus 4.6非思考模式，但仍与Opus 4.6思考模式存在一定差距。
在论文的最后，DeepSeek也表示：
为了追求极致的长文效率，V4系列采取了一个相对激进的架构设计。为了降低风险，我们保留了许多已经验证过的组件和trick，这让架构变得相对复杂。在未来的迭代中，我们将进行更全面、更有原则的研究，把架构精简到最本质的部分。
未来方向几条，探索新维度的sparsity（点名了Engram那条线）、低延迟架构、长时程多轮agentic任务、多模态、更好的数据curation。
有个蛮有意思的小细节，在形式化数学评测中，DeepSeek也皮了一下友商：
我们在K2.6和GLM-5.1的部分条目留空了，因为它们的API太忙，没法及时返回我们查询的结果。
太火了，就是说。
把V4放回DeepSeek的完整路径里看，它不是在追赶frontier。
过去三年的趋势非常清晰。闭源大厂追求的是能力上限，谁家的模型能在HLE上拿更高分。DeepSeek追求的一直是另一条线，同样能力下的成本下限。
V4把这件事推到了百万token。一个1M的上下文，在V3.2的成本结构下是不可持续的，KV cache会把显存吃光。V4把它压到V3.2的10%，成本曲线突然打直了。
那结果会怎样呢。一个很长的agent会话，一份反复回读的技术文档，一次跨多仓库的重构，这些过去要切窗口、要加retrieval、要精心管理上下文的场景，在V4这里变成了「全塞进去看看再说」。
DeepSeek这几年做的事，底层动作很清晰，一直在删。从V2的MLA开始，每一代都在删KV cache、删激活参数、删注意力计算量。
删到V4，单token推理FLOPs砍到四分之一，KV cache砍到十分之一。
百万token不是一个新的能力，是同一个上下文窗口被压到可以承担的成本。
论文的结尾有一份长长的贡献者名单。
梁文锋在其中。
其中有不少带星号的名字，是已经离开团队、但仍然对V4做出过重要贡献的研究者。
过去这一年，关于DeepSeek人才流失的消息传过好几轮。但这份名单把他们的名字和V4这个大家等了整整一年多的模型，绑在了同一张纸上。
每一个人都算数，每一天也都算数。
V4发布当天，DeepSeek研究员陈德里在x上转发并写道：
DeepSeek-V3：2024年12月26日。
DeepSeek-V4：2026年4月24日。
484天后，我们谦卑地分享这份爱心的劳动。
一如既往，我们始终坚持长期主义和全民开源。
AGI属于每个人。
参考链接
[1]https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro
[2]https://arxiv.org/pdf/2512.24880
版权所有，未经授权不得以任何形式转载及使用，违者必究。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。