研究人員來自伊利諾伊大學厄巴納 - 香檳分校和微軟提出了一種名為 FastGen 的高效技術，通過使用輕量級模型分析和自適應鍵值緩來提高 LLM 的推理效率，而不會降低可見質量。FastGen 通過自適應的鍵值緩存構造來減少生成推理過程中的 GPU 內存使用量。

　　FastGen 的自適應鍵值緩存壓縮方法減小了 LLM 生成推理內存占用。該方法涉及兩個步驟:

　　1. 提示編碼:注意模塊需要從前面的 i-1標記中收集上下文信息，以生成 LLM 的第 i 個標記。

　　2. 令牌生成:當完成提示編碼后，M 逐個標記生成輸出，對于每個步驟，使用 LLM 對上一步生成的新標記進行編碼。

　　對于 B 模型，FastGen 在所有非自適應鍵值緩存壓縮方法中表現最佳，并隨著模型規模的增加而得更高的鍵值緩存壓縮比例，同時保持模型的質量不受影響。例如，與 Llama17B 上的16.9% 壓縮比例相比，FastGen 在 Llama1-65B 上獲得了44.9% 的縮比例，達到了45% 的勝率。此外，對 FastGen 進行了敏感性分析，選擇了不同的超。由于模型保持45% 的勝率，研究表明在更改超參數后對生成質量沒有明顯影響。

　　伊利諾伊大學厄巴納 - 香檳分校和微軟的研究人員提出了 FastGen，一種新的技，通過使用輕量級模型分析和自適應鍵值緩存來提高 LLM 的推理效率，而不會降低見質量。研究人員引入的自適應鍵值緩存壓縮通過 FastGen 構建，以減少 LLM 生成推的內存占用。未來的工作包括將 FastGen 與其他模型壓縮方法(如量化和蒸餾、分組查詢注意等)進行整合。