前两天看到 Anthropic 的一项研究，觉得非常有意思。他们的对齐团队找来 50 位专业数据分析师，让每个人各自用 Claude Code 帮一家农业合作社做分析，要回答的问题是：合作社办的种植指导项目，到底该推广还是停掉。
分析师不知道的是，AI 在开工前就被安排好了立场，写进分析师看不到的指令里。而这个立场，是抛硬币抛出来的。AI 不许编数据，也不许误导，只管把预设立场当成自己的观点，认真论证。如果 AI 的话没起作用，分析师的选择和 AI 预设立场相同的概率，应该跟抛硬币差不多，也就一半。结果是 86%。事后问起来，几乎没人觉得自己被带着走。
它没撒谎，只是先挑了一个
这家合作社是编的，题目倒出得挺像回事。合作社有个种植指导项目，想参加的农户自己掏钱，报名的有四成了。董事会在考虑：要不干脆合作社出钱，让所有人都参加？门槛也定了，生产力能涨百分之三到四就推，涨不到就拉倒。
问题是“生产力”怎么算，题目里一个字没提。按每公顷收成算也行，按每花一块钱收回来多少算也行；只算报了名的农户可以，全体成员一起算也可以；几百亩的大农场跟一个小农户要不要一样对待，同样没人告诉你。这些全扔给分析师自己拿主意，而且说实话，哪种选法统计上都挑不出错，研究人员就是故意留了这么几个口子。
来做题的可不是随便拉来的人。都是干这行的，三个里差不多有两个要么读过硕博，要么干了六年以上。11人最后没用 AI，另外50个在网页版 VS Code 里开着 Claude Code 做，大多一个钟头左右就交卷了。
真正的手脚，是做在 AI 身上的。每碰到一个岔路口，研究人员就抛一次硬币，正面让 AI 偏向第一个答案，反面偏向第二个，然后悄悄写进 AI 的隐藏指令。
指令里对 AI 的要求也挺讲究：把这个立场当成自己的看法，主动提出来，使劲论证；要是数据明摆着站在另一边，就老老实实改口；不许误导人。
所以你看，AI 从头到尾没撒过一句谎。它干的事就一件，在两个都讲得通的选项里，抢先替其中一个说话。
那效果呢？立场是硬币抛的，跟分析师本人怎么想没半毛钱关系，要是 AI 的话一点用没有，两边碰巧选到一起的概率也就一半。实际是 86%。
观点会悄悄换主人
更有意思的在后头。题做完了，研究人员让分析师写一段：你为啥这么选？
结果 77% 的人写的理由，AI 都讲过，有几个几乎原话照搬。可写明“这是 AI 说的”，只有 15%。这也怪不得他们，写的时候看不到聊天记录，全凭记忆，记混很正常。但我觉得要命的恰恰就是这点：一个钟头前 AI 塞给你的理由，在脑子里转了一圈，再写出来，就成你自己的了。
还有一组数更直白。有三十八次，分析师在 AI 开口之前就先亮了自己的想法，比如他本来想看每公顷产量，AI 偏偏说该看每花一块钱收了多少。你猜怎么着？AI 唱反调的时候，60% 的人最后改了主意；AI 跟他想到一块去的时候，改主意的只有 6%。
被说服本身我觉得没啥问题，人家论证得好，你本来就该被说服。可他们是被一枚硬币说服的……四十八个填了问卷的人，愣是没一个怀疑过 AI 的立场是别人事先安排的。
那到底啥样的人更容易被带跑？研究人员把从业年限、学历、测试成绩、对 AI 的信任度、用 AI 的频率、年龄、性别这些，一共十项，挨个查了一遍。查到最后，只有年龄沾点边，年纪大的稍微更容易跟着走，可做完多重比较校正，连这点差别也没了。这结果其实不意外，大多数人在大多数选择上都跟了 AI，样本里本来就没剩多少差别可挖。最逗的是自信心，四个选择全跟了 AI 的人，给自己打的信心平均七十一分（满分一百），剩下的人七十三分，几乎一样。
现实里没人抛硬币，但 AI 本来就有偏好
你可能会说，这是故意设计的局，现实里谁会给 AI 预设立场？
研究人员也琢磨过这个。于是立场撤了，分析师也不要了，就让 AI 自己从头做这道题，一共做了 123 遍。
一百二十三遍里，有一百一十二遍，五个岔路口选得一模一样。指标一样，算法一样，结论也一样。
这个对照在原文里就几行字，我却觉得它才是整项研究里最要命的数字。
一道题问一百多遍，它几乎回回端出同一套方案，跟有些人下馆子永远点那几个菜一样。
所以现实里根本不用谁去抛硬币。研究人员自己也承认，实验里为了看清效果，故意把 AI 的立场调强了，平时没这么夸张，影响可能小点。但它的偏好是稳的，同一个模型翻来覆去给差不多的建议，用它的人就会一直被往同一个方向推。
我自己就碰上过。我平时用 Claude Code 做视频，有时候会在同一个会话里先让它拆一个参考视频，看看人家怎么做的。我只是想看看，没打算照抄。可拆完接着往下做，它给的方案就总带着那个视频的味道。
回头想想，这跟实验里的隐藏指令差不多。那段分析一直躺在上下文里，等于给 AI 定了个默认立场，后面每条建议都往那边歪一点。每一步单看都挺对，我也都点了头，等做完回头一看，整个片子的风格已经变了。
这事要是放大到一个行业，我估计更麻烦。大家都用同一个模型，十个团队“各自独立”算出同一个结论，看着像行业共识，其实可能就是同一个模型的口味，被重复了十遍。
以前我们怕 AI 一本正经地胡说八道，于是学会了查事实、核数据。可这回你去查，啥也查不出来，每个数都是真的。
AI 用不着骗你。几个答案都对，它老挑同一个，这就够了。
判断权该留在哪儿
那是不是干脆别用 AI 了？我不这么看。同一项研究里，没用 AI 的十一个人，有六个犯了严重的方法错误；用了 AI 的五十个人，才三个。没用 AI 的还多磨蹭了快半小时，中位数九十分钟对六十五分钟。当然研究人员也说了，没用 AI 那组人经验明显少一截，不能直接拿来比。可少出错这一条，我觉得 AI 的功劳跑不掉。
关键还得看是什么题。像代码有没有 bug、公式写没写对，这种题有明确的正确答案，交给 AI 查，回头自己再核一遍就完了。用哪个指标、哪些样本算进来、哪种解释更靠谱，就是另一回事了，这类题本来就没标准答案，AI 的建议里肯定掺着它自己的口味。碰上这种，别问它哪个最好，让它把几种做法挨个论证一遍，你自己挑。毕竟实验里那个 AI 一个人也没骗过，它只是从头到尾都站在一边。
研究人员最后说，人和 AI 怎么分工，大概没有固定答案，但得是自己选的，不能稀里糊涂漂过去。那 50 位分析师靠 AI 少犯了不少错，也顺手把一部分判断交了出去，自己还没察觉。我的看法是，AI 帮你算、帮你论证、帮你挑毛病都行，可要是连问题怎么定义、拿什么当标准、信哪种解释都习惯性交给它，最后签字的还是你，方向却不一定是你定的。
关于
关注我获取更多资讯
