Meta AI 在9月24日發表了論文 MaD-RL，關注大模型強化學習中的一個不太顯眼但非常實際的問題：訓練通常只獎勵單次輸出的高分，模型可能會逐漸將概率集中在一種解法或一種表達上。對於數學題，收斂到高成功率的答案或许有利；但在合成數據、策略探索和需要滿足群體分佈約束的任務中，輸出過於單一會失去可用的選項。

研究團隊提出了 Distribution Matching 框架，該框架並非僅追求最大化平均獎勵，而是讓模型輸出中的某個潛在類別屬性的分佈接近預先設定的目標。所謂「目標分佈」，可以是指不同的解題策略、代碼結構，或是其他可判定的類別比例。論文通過數學推理和編程實驗來展示這種方法的效果，但這仍然只是研究結果，並不代表所有通用模型已經能自動解決模式坍縮的問題，也不等於可以用一套比例來控制所有開放式文本的處理。

GRPO 可能會將概率推向單一模式，調整溫度並不總能解決問題。

大模型後訓練常使用可驗證的獎勵機制：答案正確得分，錯誤不得分，再利用強化學習來提高高分的輸出概率。GRPO等方法會比較同一問題的一組候選輸出，然後強化相對表現更好的樣本。這種機制簡單有效，但當多種答案同樣正確時，訓練過程可能會偏愛最先佔優的那一種模式，逐步削弱其他可行的解決路徑。

論文將這種現象描述為輸出分佈的集中。提高採樣溫度能夠增加Token層面的隨機性，熵正則也能阻止概率過快變尖，但卻不能保證模型在語義類別上達到所需的比例。文字表面變化很多，底層策略仍可能相同；反過來，強行追求均勻也未必符合業務目標。某些任務需要70%的保守策略和30%的探索策略，而不是每類都一樣多。

MaD-RL 將目標轉變為分佈距離問題。研究人員首先定義一個能對輸出進行分類的潛在屬性，然後比較模型當前的分佈與目標分佈，利用差異來構造獎勵。論文討論了 L2、KL 和 Jensen-Shannon 等不同的散度，每種度量對稀有類別、零概率和偏離程度的敏感度不同。這種方法的價值不在於某個公式本身，而在於訓練目標從「這一次答得好不好」擴展為「多次回答組合起來是否符合要求」。

這也帶來了新的依賴：類別必須能夠被可靠地識別。如果分類器將不同的策略誤判為同一類，或者目標屬性本身就存在偏見，那麼分佈匹配只會讓錯誤更加穩定。數學和編程任務可以較容易地藉助驗證器和結構規則來完成；而開放對話、創意寫作和社會屬性則更難獲得清晰、無爭議的標籤。

分佈可控並不等於內容公平，目標由誰設定仍是最核心的問題

論文提到了合成數據和公平約束等應用。當模型為下游訓練生成數據時，如果大量樣本重複同一模板，即使數據規模再大也難以覆蓋真實變化；分佈匹配可以強制保留多種類型。但「多樣」僅是統計屬性，並不自動保證事實正確、代表性充分或沒有有害內容。質量門檻與分佈門檻必須同時存在。

在公平相关的场景中，風險更高。設定不同群體的輸出比例可能有助于糾正明顯的失衡，但也可能將複雜的社會問題簡化為僵化的配額。目標比例應該來自具體的政策、數據和利益相關者的討論，而不是由訓練工程師隨意指定。模型還可能學會迎合分類器，在表面上看似滿足比例，實質上卻繼續複製偏見。

對開發者而言，MaD-RL 更適合被視為一種訓練工具，而非即插即用的產品功能。使用前需要明確屬性、目標分佈、分類準確率和失敗成本；訓練後還需要在未見過的任務上進行驗證，確認模型沒有以降低準確率來換取比例。論文展示的數學與編程實驗提供了可行性證據，跨領域泛化仍需更多獨立複現。

這項研究也提醒業界重新審視「最佳答案」的定義。許多評測只計算最高分或平均正確率，無法發現模型是否只會一種套路。當 AI 用於方案生成、科研假設和代碼候選時，用戶真正需要的可能是一組彼此不同、都達到質量標準的選擇。因此，評測應同時記錄成功率、分佈覆蓋、重複度與校準誤差。

強化學習後的訓練正從單一獎勵轉向多目標約束。正確性、安全性、成本和多樣性可能會相互牽制，任何一個指標被極端優化都可能損害其他方面。MaD-RL 所做出的貢獻，是在優化目標中明確寫入語義層面的分佈，並比較不同距離度量（distance measurement）的效果。它沒有解決「誰來定義理想分佈」的治理問題，卻讓這個問題從訓練後的抱怨變成訓練前必須明確寫出的參數。

現階段最謹慎的判斷是：Meta研究團隊證明了在若干可驗證任務中，強化學習可以直接匹配目標輸出分佈，並指出常見的GRPO訓練可能會壓縮多樣性。這種方法是否能在更大模型、複雜開放任務和長期訓練中穩定工作，還需要後續實驗；但它已經為「模型不僅要答對，還要保留合理的選擇空間」提供了一條可測試的技術途徑。