云知聲宣布推出山海大模型2.0版，參數規模達到千億，增加了更多的學科類的預訓練語料，訓練數據(Tokens)達到兩萬億(2.0T)。實測性能在 C-Eval 全球大模型綜合性評測中超過了 GPT-4，以70分的成績進入前三甲。

　　據悉，這次升級使得山海大模型在多學科能力和醫療能力方面得到了提升，為實現 AGI 的進化打下了基礎。模型團隊利用了教材、文獻和百科類語料來豐富模型的知識庫，尤其在醫療領域方面取得了突破。

　　另外，模型的性能也得到了加速提升，通過使用 Neural Tangent Kernel (NTK) 的非線性差值方法，實現了大規模長度擴展，支持了32K 的窗口長度。為了提高解碼效率，模型還采用了受限解碼方法。