大模型能记住它训练过的数据吗？
如果你让 GPT 背诵红楼梦全文，它会回答它无法逐字逐句背诵，因为超过它的生成容量限制，但是如果你需要某一部分的内容（比如某一回的片段、某个经典场景或对话），它可以根据你的需求生成相应的段落或章节。
所以它的数据库里面是真的录进去全文了吗？红楼梦全文 80 万字，当我们说到某个模型要多少 Billion 参数时，这 80 万字能否理解为其中的一部分参数？
我问了 GPT ，它回答它通过学习这些文本的规律和模式，能够在需要时生成相应的内容。总之无法理解...
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。