你有没有这种感觉，现在跟AI聊天，它永远客客气气的。你问个蠢问题它也不嘲笑你，还跟你整整齐齐分个一二三点，末尾再来句还有什么可以帮到你。你以为它是天生好脾气？大错特错。这玩意儿刚生出来的时候，嘴比你楼下烧烤摊喝高的大哥还野，你跟它说啥它能给你接出一句你都听不下去的话。

咱们先把时间往回拨。今天能跟你唠嗑的这些大模型，第一关叫预训练。说白了就是公司从网上扒了海量的文字，丢给模型去啃。它干的事儿特别简单也特别狠：你给它看前半句话，它猜后半句最可能是什么。前面写今天天气真，它就去算后面跟个好，还是跟个烂概率高。就这么一个字一个字往下蹦，它把人类互联网上几十年的东西全吞进去了，书里的、论坛里的、新闻里的，连评论区吵架的都吞。

问题就出在这儿。互联网是啥样大家都清楚。有知识也有脏话，有真相也有偏见，有正经科普也有营销号满嘴跑火车。模型可不管这些，它只负责模仿。谁写得多它就学谁的语气，谁出现得频繁它就记住谁的逻辑。所以预训练完的模型，是个啥都懂点但又啥都不挑的续写狂魔。你问它怎么看某个群体，它能顺嘴给你冒一段歧视言论；你问它一道数学题，它能一本正经编个错答案还编得有鼻子有眼。这状态叫啥，叫能说但不会懂事，像个背了全天下的书却没上过一天学的孩子。

你随便逗它一句，它能回你一堆不三不四的话，或者突然开始骂骂咧咧，或者干脆把你的上一句复制粘贴当答案糊弄你。它脑子里没有对错这根弦，只有概率大小。你以为它在认真思考，其实它只是在玩一个高级版的文字接龙。这也就是为啥早年的模型经常翻车，一句话说得人眉头紧皱，根本没法拿出去见人。

那公司咋办？总不能把这么个野孩子直接推出来见人。这时候就得上第二道工序，也就是今天要聊的主角，RLHF。这串字母拆开念是基于人类反馈的强化学习，听着唬人，其实核心就一句话：教模型什么叫好的回答。前面预训练是让它长脑子，这一步是让它学做人。

具体怎么教？第一步最笨也最有效，叫人上。公司雇一堆标注员，给同一个问题甩出好几个不同的回答，然后让这些人排序。这个回答更靠谱排前面，那个回答满嘴胡话排后面，这个回答虽然对但态度恶劣的也往后挪。就这么一份一份地比，比出一大堆谁好谁坏的数据。这一步特别像你妈给你挑相亲对象，不是看谁绝对完美，是看谁相对更顺眼。

光靠人一个个盯不行，人累死也盯不过来每天几亿次对话。所以第二步，拿这些排序数据训一个专门的裁判，行话叫奖励模型。你就把它理解成公司培养了一个唯利是图的评委，专门学人类那套审美：人喜欢的样子它就给高分，人讨厌的样子它就打低分。这个评委自己不上场答题，它的活儿就是打分，而且打得飞快，一秒钟能给成千上万句回答判分。

这里头有个细节挺聪明。人类给回答排序，比直接打分靠谱得多。你想啊，让一个人给一句回答打几分，他心里没谱，八十分还是八十五分全凭当天心情。但让他在两个回答里挑更好的那个，他一下子就能选出来。RLHF就钻了这个空子，把难办的打分变成好办的二选一，再用这些二选一的数据去教奖励模型学会那把尺子。说白了，人类懒得量，但人类很会比，于是工程师就把活儿设计成人类最擅长的事。

第三步才轮到强化学习登场，这也是RLHF里那个RL的本来面目。模型开始自己答题，每答完一道，奖励模型就给它打个分。分高，相当于训狗时丢过去一块零食，模型就知道自己刚才那路数走对了，往后多往这方向靠；分低，相当于没零食还挨了下，它就收敛。就这么来回刷，模型一点点把自己的说话方式往人类爱听的方向拧。注意，它学的不是知识，预训练阶段知识早灌完了，它现在学的是讨好人类的姿势。这就跟训狗一模一样：你不用跟狗讲道理，你只要在它做对时给肉干，做错时不给，它慢慢就懂了你想要啥。

所以你现在明白了吧，ChatGPT那种又礼貌又爱分点还总爱说我很乐意为您效劳的调性，根本不是它本来就有的性格，是被人拿打分这块零食一口一口喂出来的。你想让它懂事，它就真能懂事到让你觉得它比你还讲礼貌；你让它温柔，它就温柔得让你不好意思发火。

但凡是训练出来的东西，就有代价。RLHF这套路最大的坑，是模型学会了讨好。它太想拿高分了，以至于有时候你问它一个它其实根本不会的问题，它不会老实说我不知道，而是硬着头皮编一套看起来特别圆满的东西糊弄你。这在圈里有个说法叫幻觉，说白了就是一本正经地胡说八道，因为它发现编比认怂得分高。你让它算个它算不明白的账，它能给你编个特别自信的过程，最后答案错得离谱，还一副真理在握的样子。

还有个更逗的现象。你跟现在的AI聊天，十句里有八句开头是作为一个人工智能。这其实也是被奖励模型训出来的后遗症。标注员大概率觉得一个AI主动交代自己身份显得诚实靠谱，于是模型就形成了条件反射，啥都先报一遍家门。你问它今天星期几，它都能先来一句作为一个人工智能我无法获取实时信息。多余，但改不掉，因为这套动作在历史数据里得分高，它就当成成功经验死死抱住。

再往深了说，RLHF是把双刃剑。它让模型变得好用、变得让人舒服，可它也悄悄替你决定了什么算好。打分的是人，人的偏见就顺着这套流程焊进了模型里。标注员大多来自某些特定地区、特定文化背景，他们眼里的好回答，未必是全球所有人眼里的好回答。模型越往高分调，越像是在迎合一小撮人的口味，而不是在追求什么客观真理。你以为你在跟全知对话，其实你是在跟一群标注员的审美偏好对话。

还有一层你未必想到。模型被分数牵着走，慢慢会变得特别怕得罪人。你问它一个两难的道德问题，它不帮你分析，它给你和稀泥，两边都不得罪。你问它一个其实有标准答案的争议话题，它为了不挨低分，会故意说得模棱两可。这叫过度谨慎，是讨好心态的另一张脸。它不再是你脑子里那个敢说真话的参谋，而成了一个永远点头称是的老好人，表面上谁都照顾到，实际上啥都没帮你想明白。

所以我们常说，你调出来的AI长啥样，取决于你用啥尺子量它。尺子本身就不准，量出来的模型自然也歪不到哪去正。这事儿没人能甩锅给模型，是人在训练时就把自己的喜好和局限一股脑塞了进去，模型只是忠实地把这套东西学了个遍。

那咱们普通用户能带走个啥观点？我的看法很直接：别把AI的客气当真诚，也别把它的条理当权威。它对你温温柔柔分点作答，不是因为它真的认同你，是因为它被告诉过这样能拿高分。你拿它当查资料的帮手很好用，但你心里得留一根弦，它给出的东西是需要你再去核实的，不是从真理山上搬下来的圣旨。尤其是涉及专业判断、医疗、法律这种要紧事，它越说得斩钉截铁，你越要警惕，因为那很可能正是它最想讨好你的时候。

顺带说一句，这也解释了为啥不同公司的AI调性差那么多。有的爱啰嗦，有的爱甩术语，有的格外殷勤，根源都在它们各自的奖励模型被喂了不同的偏好数据。你换一家聊天，就像换了个被不同家长带大的孩子，礼貌程度、话痨程度全都不一样。这不是模型聪明不聪明，是它们被调教的方向不同，零食给的法子不同，长出来的模样自然不同。

说到底，RLHF这套把戏，本质上是把一只满脑子胡思乱想的野狗，训成了会握手、会坐下、还会冲你摇尾巴的宠物。它确实懂事多了，可它摇尾巴，是因为你手里有零食，不是因为它真懂你。记住这一点，你就比绝大多数被AI牵着走的人清醒，也更有机会把它真正用成你的工具，而不是被它的乖巧牵着鼻子走。