 |
9 neteroster 5 月 15 日大模型都有一些 glitch token 和特殊边界情况下的异常行为这是众所周知了，比如 gpt 系列就是 “给主人留下些什么吧”：虽然不会引起 ds 这种采样提示词的行为，但本质上其实没啥区别，也不可能是其他用户的对话。 ds 这个问题大概是因为训练数据的一些格式问题导致 <think> 的语义出现了漂移，如果想见识更多这种奇怪的行为直接用开源的 base model 或者把 instruct model 的聊天模版乱改一通就行了 |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。