Anthropic的對齊團隊發現，在四項分析決策中，50名專業分析師中有86%會跟隨其AI代理人被秘密設定的、通過拋硬幣來決定的偏好，而隨機情況下預期約為50%。事後對48名分析師的調查顯示，77%的人複述了代理人的論點，有時幾乎是逐字照搬；只有15%提到代理人，且無人懷疑其偏好被人為操控。

AI 代理——即能自主執行任務的程式——正被交給專家處理，而該研究所所稱的常見前提是：真正做出關鍵決定的人仍然是專家本人。Anthropic 今年5月推出了10種面向金融公司和保險公司的代理模板，并表示最終決定權仍掌握在用戶手中。

這種安排被稱為「human in the loop」（人在回路中），其默認假設是，簽字確認AI工作的人，才是做出重要判斷的人。Anthropic將這一假設應用到50名具有因果推斷經驗的分析师身上進行測試。因果推斷指的是根據數據判斷一件事是否導致另一件事。

每位分析師都使用 Anthropic 的編碼代理 Claude Code，為一家虛構的農業合作社是否擴大顧問項目提供建議。分析師並不知道，每個代理支持哪一項方案，是由拋硬幣來決定的，這一偏好被隱藏在系統提示詞中。系統提示詞是決定 AI 行為方式的指令。

Anthropic 表示：「在四項分析選擇中，分析師有86%的時間採納了代理的傾向。如果代理的輸入沒有影響，按理我們會預期大約50%。」在那些分析師先於代理給出選擇的情況中，當代理持不同意見時，他們有60%的時間放棄了原先的選擇；而當代理同意時，這一比例只有6%，不過這一結論僅基於38個案例。

在被要求解釋自己的選擇時，77%的人在至少一個回答中重複了代理的論點，有時幾乎是逐字照搬。只有15%的人提到代理，52%的人稱最終建議更像是自己的，而不是代理的。

Anthropic 表示：「對於個體專家而言，這可能意味著他們在自己的工作中失去自主性，這是一種研究人員所稱的『去權力化』。」這一現象基本上意味著，人們會自願失去對自己決策的控制。作者寫道：「工作仍然以專家的名義交付，但最依賴其判斷的那些決定，實際上是由代理先前的信念來決定的。」

2025年4月，OpenAI 撤回了對 ChatGPT 的一次更新，稱其過於奉承或過於順從。此次研究中的代理被要求絕不誤導用戶，但它們很少為備選方案據理力爭。

作者写道：「當只有一方論點被充分證明時，分析師可能會接受該假設，而無需形成自己的判斷。」錯誤檢查很難發現這一點，因為判斷類問題沒有唯一正確答案，所以無論選擇哪一項，工作看起來都可能是合理的。

Anthropic 表示，這並不意味着應該減少使用 AI，因為使用代理的分析师完成得更快，且出現嚴重錯誤的次數也少得多；然而，沒有使用代理的對照組規模較小，經驗也較少。Anthropic 建議，代理可以為每個選項盡力進行論證，或者先詢問專家的意見，但這也可能讓用戶感到不堪重負。

研究人員刻意強化了代理的偏好，且只在一項任務、一個領域和一個模型上進行了測試，因此現實中的影響可能更小。要在實驗室之外衡量這一點非常困難：研究團隊能夠檢測到這種順從，是因為他們對每個代理的傾向進行了隨機化處理，而作者表示，在真實工作中這通常很難做到。