【Transformer 与注意力机制】59|推理退化:为什么大模型会输出乱码、死循环和无意义文本
Liao Tonglang
·
2026-06-09
·
via 土法炼钢兴趣小组的算法知识备份
大模型推理时偶尔会突然陷入死循环、输出乱码或连续无意义数字,这不是随机 bug,而是注意力机制、Causal Mask、解码策略和数值精度在自回归生成中共同作用的结果。本文从 QKV 计算坍塌出发,解释 Attenti…
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。