12月5日消息，來自加利福尼亞大學圣迭戈分校的 2 位研究人員在一篇題為「GPT-4 可以通過圖靈測試嗎」的研究中，對 GPT-4、GPT-3.5、人類和上世紀 60 年代麻省理工團隊開發的史上第一個基于規則的聊天機器人進行了圖靈測試。

　　GPT-3.5 根據不同的提示，成功率最高只有 14%。ELIZA 在這次研究中取得了相對較好的成績，成功率達到了 27%。GPT-4 取得了 41% 的成功率，僅次于人類得分(63%)。紐約大學心理學和神經科學教授 Gary Marcus 對此調侃道，通過圖靈測試的夢想落空了。

　　作者在認真研究了為什么測試者將 ELIZA 認定是人類的原因，再次印證了一個結論：長久以來，「圖靈測試」成為了判斷計算機是否具有「智能」的核心命題。

　　但圖靈測試并不應該是一個判斷 AI 智能高低的測試。不能因為 ELIZA 比 ChatGPT 表現好，就認為這個 1966 年的基于規則的 AI 系統智能比 ChatGPT 強。

　　因為測試者判斷 ELIZA 是人類的最重要的原因居然是：我問他啥他都不想說，又沒有表現得很熱情或者很嘮叨，我就沒見過這么差的 AI，所以它一定是一個不耐煩的人類。