在近期的一項研究中，OpenAI研究團隊推出了名為 MLE-bench 的全新基準測試，旨在評估AI智能體在機器學習工程方面的表現。

　　這項研究特別關注75個來自 Kaggle 的機器學習工程相關競賽，旨在測試代理在現實世界中所需的多種技能，包括模型訓練、數據集準備和實驗運行等。

　　為了更好地進行評估，研究團隊使用了 Kaggle 公開排行榜的基礎數據，確立了每個競賽的人類基準。在實驗中，他們利用開源的智能體架構，對幾種前沿語言模型進行了測試。結果顯示，最佳表現的配置 ——OpenAI 的 o1-preview 與 AIDE 架構結合使用 —— 在16.9% 的競賽中，達到了 Kaggle 銅牌的水平。

　　不僅如此，研究團隊還對 AI 智能體的資源擴展形式進行了深入探討，并研究了預訓練對結果的污染影響。他們強調，這些研究結果為今后進一步理解 AI 智能體在機器學習工程方面的能力提供了基礎。為了促進未來的研究，團隊還將基準測試的代碼進行了開源，供其他研究人員使用。

　　這項研究的推出，標志著機器學習領域的一次重要進展，特別是在如何評估和提升 AI 智能體的工程能力方面�？茖W家們希望，通過 MLE-bench，可以為 AI 技術的發展提供更科學的評估標準和實踐依據。