Meta 公司近日推出了一項創新的記憶層技術，旨在提升大型語言模型的事實準確性并擴展參數規模。

　　這項技術通過可訓練的鍵值查找機制，顯著提高了模型的信息存儲和檢索能力。

　　實驗結果表明，配備記憶層的模型在多個任務中表現優異，尤其在事實性任務上，性能提升顯著。

　　記憶層技術通過稀疏激活機制提升事實準確性，達到1280億參數的規模。

　　實驗顯示，配備記憶層的模型在事實性問答等任務中表現優于傳統稠密模型。

　　研究人員對記憶層進行了多項優化，提升了性能和穩定性，展示出強大的可擴展性。