谷歌最新發布的Gemini Pro自發布以來備受矚目，谷歌聲稱其優于GPT-3.5。然而，CMU的研究通過深入的實驗對比，展示了GPT-3.5在多個任務上的全面優勢。Gemini Pro雖然在某些任務上稍顯不足，但整體表現與GPT-3.5相近，為大模型領域的競爭增添了新的火花。

　　研究涉及了基于知識的問答、通用推理、數學問題、代碼生成等多個領域。在基于知識的問答任務中，Gemini Pro在一些子任務上落后于GPT-3.5，尤其在多選題答案輸出中顯示了一定的偏見。通用推理測試中，Gemini Pro的精度略低于GPT-3.5Turbo，尤其在處理較長、復雜問題時表現不佳，而GPT-4Turbo則表現更為穩健。

　　數學問題領域的測試包括小學數學基準、穩健推理能力、不同語言模式和問題類型等。Gemini Pro在某些任務上略顯不足，特別是在多樣化的語言模式任務中，表現較GPT-3.5Turbo稍遜。在代碼生成方面，Gemini Pro在兩項任務上的表現均低于GPT-3.5Turbo，與GPT-4Turbo相比則差距更大。

　　總體而言，Gemini Pro作為多模態模型，盡管在某些任務上稍顯不足，但在特定領域表現出色，超越了GPT-3.5。然而，在大多數測試中，GPT-3.5Turbo仍然保持領先地位，證明其在開源模型中的卓越性能。這一研究為科技領域的大模型競爭提供了客觀中立的第三方對比，為未來的模型發展提供了有益的參考。