谷歌、卡內基梅隆大學和MultiOn的聯合研究團隊近日發表了一項關于合成數據在大型模型訓練中的創新研究。隨著ChatGPT等大模型的快速發展，高質量訓練數據的需求激增。

　　Epoch AI報告指出，全球現有約300萬億個高質量文本訓練標記，但預計到2026年將被耗盡，合成數據因此成為關鍵替代方案。

　　研究團隊探索了正向和負向兩類合成數據。正向數據由高性能模型生成，提供正確的問題解決方案，而負向數據則包含已驗證的錯誤步驟，幫助模型避免邏輯陷阱。通過直接偏好優化(DPO)方法，模型能夠動態調整學習策略，顯著提升推理能力。

　　實驗顯示，經過合成數據訓練的模型在數學推理任務上性能提升高達八倍，展現了合成數據在大模型優化中的巨大潛力。