初創團隊Mistral AI再次放出一條磁力鏈，281GB文件解禁了最新的8x22B MoE模型。

　　一條磁力鏈，Mistral AI又來悶聲不響搞事情。

　　281.24GB文件中，竟是全新8x22B MOE模型!

　　全新MoE模型共有56層，48個注意力頭，8名專家，2名活躍專家。

　　而且，上下文長度為65k。

　　網友紛紛表示，Mistral AI一如既往靠一條磁力鏈，掀起了AI社區熱潮。

　　對此，賈揚清也表示，自己已經迫不及待想看到它和其他SOTA模型的詳細對比了!

　　靠磁力鏈火遍整個AI社區

　　去年12月，首個磁力鏈發布后，Mistral AI公開的8x7B的MoE模型收獲了不少好評。

　　基準測試中，8個70億參數的小模型性能超越了多達700億參數的Llama2。

　　它可以很好地處理32k長度的上下文，支持英語、法語、意大利語、德語和西班牙語，且在代碼生成方面表現出強大的性能。

　　今年2月，最新旗艦版模型Mistral Large問世，性能直接對標GPT-4。

　　不過，這個版本的模型沒有開源。

　　Mistral Large具備卓越的邏輯推理能力，能夠處理包括文本理解、轉換以及代碼生成在內的復雜多語言任務。

　　也就是半個月前，在一個Cerebral Valley黑客松活動上，Mistral AI開源了Mistral7B v0.2基礎模型。

　　這個模型支持32k上下文，沒有滑動窗口，Rope Theta =1e6。

　　現在，最新的8x22B MoE模型也在抱抱臉平臺上上線，社區成員可以基于此構建自己應用。