2月26日 消息:深度學習領域的研究人員發現，語言模型在邏輯推理方面的表現仍然是一個重要挑戰。最新的一項由Google旗下的DeepMind(DeepMind)進行的研究揭示了一個簡單而重要的發現:任務中前提的順序顯著影響語言模型的邏輯推理性能。

　　研究表明，當前提按照它們在邏輯結論中出現的順序呈現時，語言模型的表現最佳。這一現象對于數學問題同樣成立。研究人員將系統生成的測試數據納入R-GSM基準，以便進一步研究這一現象。

　　DeepMind的研究團隊表示，他們展示了前提順序對語言模型在推理任務上的性能產生顯著影響，即使前提順序不改變任務本身。全面的評估表明，語言模型在處理推理問題時的偏好與人類在解決問題時對前提順序的偏好相似。也就是說，語言模型在前提順序遵循解決問題的中間推理步驟時表現最佳。相反，當推理問題要求模型來回閱讀問題描述時，導致性能下降超過30%。

　　研究中使用了GPT-3.5Turbo、GPT-4Turbo、PaLM2-L和Gemini Pro進行測試。有趣的是，OpenAI的GPT模型在前提順序與基本事實完全相反的情況下表現更好。

　　與此同時，研究還觀察到隨著規則數量的增加，性能也會下降。多余的前提還會使模型感到困惑。

　　對比結果還顯示，谷歌的新型Gemini Pro在邏輯順序下與OpenAI的較舊型號GPT-3.5Turbo的性能相似。即使規則數量相對較小，正確結論的準確性也會迅速下降，尤其是在故意插入混亂規則的情況下。

　　為了確保所有語言模型的公平測試，研究人員在規則中填充了“wozz”、“riff”和“fum”等幻想詞。

　　值得注意的是，研究人員并未就這一現象提供理論解釋，也未針對根據研究結果改進語言模型的推理能力提出可能的解決方案。盡管如此，這些結果有望為希望將語言模型用于基本推理任務的專業人士提供指導。

　　推理能力對于未來語言模型的應用將產生重大影響。盡管近來我們在語言模型特性方面取得了一些突破，比如更大的上下文窗口，谷歌最近通過Gemini1.5Pro打破了這一界限。

　　然而，推理就像是人工智能研究的圣杯，而對于語言模型而言，具有堅實的推理能力將導致更為強大、多功能的系統，能夠執行更多任務。

　　正確的結論隨著規則數量的增加而減少，當故意插入令人困惑的規則時，情況甚至會更加嚴重。

　　盡管自OpenAI發布GPT-4以來，在這一領域并未看到太多進展。業內普遍認為，僅僅依靠大量文本和視覺數據的訓練并不足以實現根本更強大的人工智能系統，這一觀點最近由DeepMind的首席執行官Demis Hassabis和OpenAI的首席執行官Sam Altman等領先研究人員和企業領導人反復提出。

　　通過這項研究，我們可以看到改變前提順序可能是提升語言模型推理能力的一種簡單而有效的方法，也為未來改進這一領域的研究提供了新的方向。