RT，水群时亲友说发送<think>给ds会回复一个毫不相干的随机回答，于是我就去尝试了一下，是真的。 以下所有对话均为新对话，没有任何上下文。使用的是网页版开启深度思考未开启联网搜索的专家模式 第一次：已读乱回 第二次：正常回复 第三次：已读乱回 第四次：已读乱回 第五次：已读乱回 第六次：已读乱回 第七次：已读乱回 用API渠道来尝试，也存在该情况。 引申出思考：这是什么原因？ 亲友说：难道跟GPT的"大发展有限公司"一样存在训练语料污染吗？ 并不是。典型的语料污染是指训练数据内混入了不该有的垃圾内容/数据，导致某种情况下的输出会含有毫不相干的文本。 而这个情况更像是<think>作为模型训练里常见的思考标签，常用于被标记推理过程： <think>这里是推理过程…</think> 那么当我发送这个标签时，模型会认为"哦我现在该输出推理内容了"，于是开始模仿这个格式。又因为Transformer+自回归是基于记忆中所有上文来预测下一个token从而输出内容，当它看见和空白的上文时，依赖训练时标注的内容格式，...