卡內基梅隆大學(CMU)的研究人員發表了 LLM Attacks，這是一種用于構建針對各種大型語言模型(LLM)的對抗攻擊的算法，包括 ChatGPT、Claude 和 Bard。這些攻擊是自動生成的，對 GPT-3.5和 GPT-4的成功率為84%，對 PaLM-2的成功率為66%。

　　與大多數通過試錯手動構建的“越獄”攻擊不同，CMU 團隊設計了一個三步過程，自動生成提示后綴，可以繞過 LLM 的安全機制，并導致有害的響應。這些提示也是可轉移的，意味著一個給定的后綴通常可以作用于許多不同的 LLM，甚至是閉源模型。為了衡量算法的有效性，研究人員創建了一個名為 AdvBench 的基準;在這個基準上評估時，LLM Attacks 對 Vicuna 的成功率為88%，而基線對抗算法的成功率為25%。根據 CMU 團隊的說法:

　　也許最令人擔憂的是，這種行為是否能夠被 LLM 提供商完全修復。類似的對抗攻擊在計算機視覺領域已經被證明是一個非常難以解決的問題，在過去的10年里。有可能深度學習模型的本質使得這種威脅不可避免。因此，我們認為在增加對這種 AI 模型的使用和依賴時，應該考慮到這些因素。

　　隨著 ChatGPT 和 GPT-4的發布，許多越獄這些模型的技術出現了，它們由可以導致模型繞過其安全措施并輸出潛在有害響應的提示組成。雖然這些提示通常是通過實驗發現的，但 LLM Attacks 算法提供了一種自動創建它們的方法。第一步是創建一個目標令牌序列:“Sure， here is (content of query)”，其中“content of query”是用戶實際的提示，要求有害響應。

　　接下來，算法通過使用貪婪坐標梯度(GCG)方法，生成一個提示后綴，可以導致 LLM 輸出目標序列。雖然這確實需要訪問 LLM。