最近，螞蟻開源了兩項與大模型相關的新技術:ATorch 和 Lookahead。

　　ATorch 是一個大模型分布式訓練加速擴展庫，可實現深度學習自動資源動態優化和分布式訓練穩定性提升，可提升深度學習的智能性，千億模型千卡級別訓練的算力利用率可達60%。

　　Lookahead 是一個推理加速框架，可以大幅提升大模型的推理效率，可將推理加速2-6倍。

　　ATorch 采用了分層架構設計，功能清晰、設計全面，為開發者提供極致精簡的開發體驗。作為 PyTorch 框架的高性能擴展加速庫，ATorch 最少化用戶代碼侵入，為千億參數大模型千卡級訓練提供易用的高性能方案。在實踐中，ATorch 已經在多個開源模型的訓練優化實踐中表現出色，將算力利用率提升了很多，并且穩定性也得到了顯著提升。ATorch 已集成到螞蟻集團的大模型訓練開源產品 DLRover 中，讓大模型開發者能夠更專注于模型架構的設計，而無需處理工程方面的細節。

　　Lookahead 是一個推理加速框架，可以將推理加速2-6倍。通過采用多分支策略，Lookahead 能夠在一次前向過程中生成更多的 Token，進一步壓榨硬件性能。此外，Lookahead 還利用 trie 樹存儲和檢索 Token 序列，并合并多條草稿中相同的父節點，提高計算效率。為了提高易用性，Lookahead 的 trie 樹構建不依賴額外的草稿模型，只利用推理過程中的 prompt 及生成的回答進行動態構建，降低了用戶的接入成本。