大模型的“性格”并非天生，而是通过SFT（监督微调）训练塑造的。训练师通过写示范答案、挑错改写、制定规则等方式，教会模型如何像人一样交流。本文将带你深入了解SFT的过程和重要性。
“大模型并不是天生会聊天，它只是被我们一点一点教会的。”
如果你用过几款不同的大模型，你可能会发现，它们明明能力差不多，但“个性”完全不同。有的热情健谈，有的沉稳冷静；有的特别会安慰人，有的则像在背书。这种“性格差异”，不是模型自己长出来的，而是背后训练方式的结果。尤其是其中最关键的一步：SFT（监督微调）。
SFT 就像在教一个已经很聪明，但不会说人话的天才少年——你得一步步告诉他：别人问问题的时候你要怎么答；别人情绪不好的时候你要怎么回应；别人带着误解时你要怎么温柔纠正；别人问危险内容时你要怎么礼貌拒绝。
而模型，就是靠看我们写的示范一点点学会这些。
如果预训练是让模型“读遍全世界的书”，那 SFT 就是我们把它叫过来坐好，说：
“来，这些是你以后的说话方式，你照着学。”
它不会质疑我们，也不会反抗，只会默默模仿。就像小时候看大人怎么说话，我们也学同样的语气——模型在 SFT 阶段做的就是这个。
比如用户问：
“我今天有点焦虑，你能帮我舒缓一下吗？”
预训练阶段的模型可能会一本正经地回答：
“焦虑是一种常见情绪。”
它说的没错，但完全没有灵魂。SFT 就会给它示范一个“像人”的答案：
“听起来你最近压力挺大呀，愿意聊聊是什么让你焦虑吗？”
于是模型就学会了这种表达方式。
你每一次觉得模型“懂你”，背后都是一条条训练师写出来的示范。
你有没有遇过那种朋友，看起来成绩很好，但对话的时候总是忽冷忽热？预训练模型就有点像这种朋友。它学过无数知识，但：
比如你说：“给我写一首诗，轻松一点、可爱一点。”
预训练阶段模型可能写得像古诗文课本。
但 SFT 之后，它会知道你要的“可爱”是：
换句话说，SFT 决定了模型“像不像一个懂礼貌、有情商的人”。
比如用户问：
“我明天要和老板谈加薪，我应该怎么说？”
你不能回答一句“直接说你要加薪”。你要写得像一个真正的职场前辈：
“你可以先准备几个你过去一年做出的成果，再用‘我希望承担更大责任’的方式引出加薪诉求，这样更自然也更容易被接受。”
模型就是通过这一条条示范学会“怎么当一个靠谱的伙伴”。
你会看到模型写的内容，有时很离谱：
用户：“为什么我们不能直接喝海水？”
模型：“因为海水可以补充大量矿物质，适量饮用是健康的。”
这显然是错误的。于是你不仅要改成正确答案，还要把错误原因标注出来，让系统知道哪里出了问题。
这份工作真的非常像一个“严格但耐心的语文老师”。
同一个问题，如果十个训练师写出十种表达，模型就会学得七零八落。
所以需要规则，例如：
模型最后呈现出来的“性格”，很大程度取决于这些规则。
比如用户说：“电脑开不了机怎么办？”
一轮回答搞定。
这部分好写，像写教程一样。
但如果用户说：“我最近有点压力大。”
你要怎么写一个自然的多轮对话？
模型：“听起来你最近不太好，愿意聊聊是什么让你有压力吗？”
用户：“是工作的事。”
模型：“工作上发生了什么呢？”
这里面有好多细节：
多轮对话写好了，用户会觉得：“哇，这模型好贴心。”
写不好，用户会觉得：“这模型是不是没在听我说话？”
SFT 就是在训练模型如何成为一个好聊的对象。
如果把模型比作一个人：
你现在觉得一个模型好用、有耐心、有温度，很可能不是因为它的算法有多高级，而是因为有人在 SFT 阶段为它写了无数“像人一样的句子”。
这是一种把人类沟通方式“提取出来，再教给一个机器”的过程。它的细腻程度，比很多人想象得更艺术、更人性化。
共勉！棒棒，你最棒！
下一篇，我们就要进入训练师的“最终关卡”——多轮对话到底难在哪里？为什么它几乎决定了模型能不能真正“像人”？
本文由 @青蓝色的海 原创发布于人人都是产品经理。未经作者许可，禁止转载
题图来自unsplash，基于CC0协议
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。