Perplexity 改進 AI 自蒸馏:不僅訓練學生,也要訓練老師
2026-10-22 23:06:20
幣界網消息,Perplexity在AI的自蒸馏訓練中提出新方法,不僅訓練學生,還要訓練老師。在此過程中,同一個模型會扮演學生和老師兩種角色,學生獨立解題,老師則能提前看到參考答案並提供逐token指導。兩種角色共享參數,無需額外運行更大的教師模型,獲得更細致的訓練信號。UCLA等團隊提出的SDPG方法保留最終結果獎勵,只讓表現高於同組平均水平的解題過程接受蒸馏指導,訓練後期逐步降低蒸馏權重,避免過度模仿妨礙模型探索。Perplexity與NVIDIA新提出的JOLT方法結合,老師利用額外信息獨立解題並獲得獎勵,同時用KL散度約束老師與學生的輸出差異。JOLT在Qwen3-0.6b的數學測試中準確率達到72.14%,高於此前自蒸馏方法的61.20%。
來源:互聯網
本內容只為提供市場資訊,不構成投資建議。
關注幣界網官方帳號,及時關注最新動態









