2月2日 消息:近年來，基于transformer架構的大型語言模型(LLMs)已經嶄露頭角。Chat-GPT和LLaMA-2等模型展示了LLMs參數的迅速增加，從幾十億到數萬億。盡管LLMs是非常強大的生成器，但由于所有參數的計算負載，它們在推理延遲方面存在問題。因此，人們一直在努力加速LLMs的推理，尤其是在像邊緣設備和實時應用(如聊天機器人)等資源受限的情境中。

　　最近的研究表明，大多數僅解碼器的LLMs遵循逐標記生成模式。由于標記生成的自回歸(AR)性質，每個標記必須經過推理執行，導致許多transformer調用。這些調用針對內存帶寬限制運行，常常導致降低計算效率和較長的墻鐘周期。

　　通過在單個模型推理步驟中同時合成多個標記，半自回歸(SAR)解碼減少了推理執行的高需求。問題在于，大多數LLMs只能生成AR模型，而不能生成SAR模型。由于SAR目標和AR預訓練不同步，重新訓練SAR模型似乎是一項艱巨的任務。

　　Intellifusion Inc.和哈爾濱工業大學的研究人員希望通過他們的新加速方法，即雙向調優以實現無損SAR解碼的Bi-directional Tuning for lossless Acceleration(BiTA)，通過學習少量額外的可訓練參數，甚至只有0.01%。BiTA的兩個主要部分是建議的雙向調優和簡化的SAR草稿候選驗證。為了預測未來的標記，AR模型的雙向調優將提示和掩碼標記一起納入考慮，超越了下一個標記。標記序列中的可學習前綴和后綴嵌入是這種方法的一個隱喻。在變換后的AR模型中，通過復雜的基于樹的注意機制，生成和驗證在單個前向傳遞中同時進行，無需額外的驗證程序或第三方驗證模型。建議的方法使用快速調優，可作為插拔模塊用于加速任何公開可訪問的基于transformer的LLMs，特別是那些經過良好指導的聊天機器人，而不削弱其出色的生成能力。

　　該模型使用基于樹的解碼技術在并行中執行高效的創建和驗證。BiTA的這兩個方面共同作用，加速LLMs的同時保持原始輸出不變。在對不同大小的LLMs進行了廣泛的生成任務測試后，研究發現其印象深刻的加速效果范圍為2.1×至3.3×。此外，當資源受限或需要實時應用時，BiTA的可調提示設計使其成為一種可插即用的方法，可用于加速任何公開可用的LLMs。