眼下AIGC激蕩著各個行業，隨著產品落地、應用增加，如何提升算力成為了整個行業的迫切需求，不過算力的提升并非只靠購買大量的GPU就能實現，網絡基礎設施起著至關重要的作用。

　　由于GPU集群之間的數據交換與通信都要依靠網絡承接，如果網絡帶寬不夠大、延時長，不僅會讓算力邊際遞減，而且還增加了大模型訓練的時間成本。因此大帶寬、高利用率并且信息無損的高性能網絡對于當下算力的提升尤為重要。

　　日前，騰訊云在北京舉辦了一場面向AI大模型的高性能網絡溝通會，向外界首次完整披露了其自研的星脈高性能網絡。

　　騰訊云副總裁王亞晨提到，星脈網絡為大模型而生，提供大帶寬、高利用率、零丟包率的高性能網絡服務，從而突破算力瓶頸。騰訊數據中心網絡總監李翔在介紹星脈的演進過程時，用了一個通俗的比喻：如今業務和客戶對我們算力網絡有了更高要求，過去前兩個階段我們是“村村通”，解決大規模部署和廣覆蓋的問題，到了第三個階段的星脈網絡，我們要做的是全自動化、無擁塞的高速公路。

　　溝通會上，騰訊云展示了在交換機、通信協議、通信庫以及運營系統等軟硬件方面的升級，推出了自研的大模型專屬高性能網絡“星脈”。

　　在硬件方面，在硬件方面，星脈網絡自研白盒交換機，這是一種軟硬件解耦的開放網絡設備，采用四層解耦體系，包括接入、轉發、路由、管控系統。在自研設備的基礎之上，騰訊云還構建了自研網絡操作系統，包括網絡OS與網管平臺，構建了互聯底座，實現自動化部署和配置。

　　在軟件方面，騰訊云自研的TiTa網絡協議，能夠實時監測并調整網絡擁塞，TiTa網絡協議能夠提升40%的帶寬負載，還能提供低延時無損網絡，實現高負載下的0丟包，使集群通信效率達90%以上。

　　此外，騰訊云還為星脈網絡設計了高性能集合通信庫TCCL，為星脈網絡提供定制化的高性能節點間數據通信解決方案。結合動態調度機制合理分配通信通道，可以避免因網絡問題導致的訓練中斷等問題，讓通信時延降低40%。

　　騰訊云方面稱，星脈網絡集成了騰訊自研技術積累，以極致高性能實現了AI大模型通信性能的10倍提升，GPU利用率40%提升，通信時延降低40%，支持10萬級 GPU 集群組網。基于全自研網絡硬件平臺網絡建設成本降低30%，模型訓練成本節省30%~60%。

　　王亞晨與李翔在會上回應了諸多外界關注的問題。

　　提問：騰訊高性能網絡的主要優勢在哪里?技術關鍵點集中在哪些地方?

　　王亞晨：騰訊在以太網上的優化從去年年初就開始了。從國內來看，我們是以太網里針對GPU優化比較有優勢的，為什么我們會和其他廠商做那么多全調度以太網的合作?因為我們做了很多優化，尤其是在協議自研這塊。

　　另一個優勢在于我們的架構。我們是把存儲跟計算做了分離，保證兩邊的性能更優。

　　無論是1.6T還是3.2T的GPU，我們可能用了8張GPU，一個CPU，加上8張網卡，但騰訊做了一些優化，8個網卡，一個網卡兩個端口。好處是一旦有一個端口故障，另一個端口能夠快速切上來，流量之間不受任何影響，也涉及到和交換機、和軟件的配合，這種技術是我們的特色。

　　提問：做大模型對網絡技術的核心要求，解決零丟包、低延時最大的技術困難是哪些呢?

　　王亞晨：當時我們遇到的最大困難是“擁塞控制”。去年年中，騰訊已經建了2K-4K的GPU集群用于模型訓練，那時候我們用一級，最多兩級交換機就OK了。

　　但大模型出來后，GPU規模建設需求已經是萬卡規模，這時候整個交換機組網規模必須要到三級了，因為我們交換的芯片容量是主流的25.6T，128個網口，它決定了組網的規模兩級最優是4K，這決定了我們要做更大規模時交換機一定要做三級，便會遇到擁塞控制的問題，到今年年底擴容到51.2T時會好一點。

　　雖然之前裝了TiTa已經一定程度上解決了擁塞。但到三級之后，因為擁塞不可控，之前的機制不完全能達到很好的效果，所以我們得做新的擁塞控制機制，這也是現在業界講到的主動擁塞控制。

　　在GPU發包時要先了解網絡的狀況，有點類似于我出門前，先看看是否擁堵，如果擁堵，系統主動告訴我先不做。以前以太網都是被動擁塞控制，擁塞了才調度，但主動擁塞控制機制一定要在網卡發包時和交換機配合。

　　為什么現在我們要自研新的算力網卡，其實它解決的是在多級組網情況下更好的擁塞控制，這是當時我們面臨的挑戰，也和我們現在的一些能力相關。

　　另一個是帶寬利用率的提升�，F在我們做到95%左右的帶寬利用率，實際上到新的3.2T服務器接入與三級架構時，我們發現這個帶寬利用率會遇到巨大挑戰。帶寬利用率要消除網絡不均勻的問題，之前我們用哈希(Hash)的方式。

　　現在以太網是基于流調度，流有長有短，類似于路上跑的車有的大馬力有的小馬力，即使哈希到不同路徑，你卻不知道每個流的長短是什么樣，很難完全消除不均勻。

　　怎么做?現在以太網里有幾個做法，一個是定長包，網卡側發包時是定長的包，等于你看到的車都是標準化大小，這時候我再去哈希到不同路徑，一定是相對均勻。這就是為什么我們要把端側發包時變成定長的包，交換機要支持定長包的處理，同時定長包很容易出現亂序的問題，所以我們還要和端側配合，保證不同的包雖然都是定長的，傳過來可能有快有慢，還要把亂序的問題解決，這也要靠端側解決。

　　總而言之，擁塞控制與帶寬利用率是我們當下遇到最大的兩個挑戰。

　　提問：在網絡管理和硬件設計上，我們傾向于采用集中式還是分布式?

　　李翔：分布和集中都是設計網絡的工具手段，我們會根據的場景需求來選擇。在網絡技術上，集中和分布一直是亙古不變的議題，網絡中SDN2008年提出來到現在二十年了，集中后，下面被管理的網源會比較簡單。集中管理、集中部署，下面的網元會非常簡單，成本比較低。但現在分布式是現在網絡比較認可的生態形式，分布式管理能夠復用我們之前的運營積累，確保運營質量。

　　王亞晨：滿足可擴展性和運營安全性，這也是很關鍵的考量。騰訊基礎設施最主要的生命線是網絡質量，大系統肯定有大系統的好處，性能肯定更高，一旦出現故障，我們的分布式化可以減小故障率，這是最大的好處。我們把路由器拆成很多小的路由模塊，可以跑到容器里，讓我們整個網絡更可靠。

　　類似于最早的網絡都是集中化的大盒子設備，無論是交換機、路由器還是運營商的基站、核心網，都是集中化的。但云廠商不一樣，我們基本是全自研，都是一套自研系統，自主控制，不用引入太多異廠家的交互性。所以一定要在自研情況下做分布式更好，如果不是自研能力，靠各種廠家做分布式，本質上來講一個廠家自己分布沒問題，一旦引入另一個廠家混合搞，可能就復雜很多了。

　　提問：之前說到白盒交換機的問題，可以多介紹一下嗎?

　　李翔：首先我們為什么要做白盒?剛才提到，交換機從最早的幾臺一直到現在幾十萬臺在網，每年可能有幾萬臺的采購量。面對大量級的需求，我們遇到了一些比較現實的問題。廠商會賣給你非常完善的解決方案，有幾千個共同特性，所以迭代周期很慢。

　　我們從兩個維度考慮問題，第一個維度從質量考慮，我們希望對軟件做減法。比如90%我是不是可以裁掉，自己用非常少的人維護起來，可以快迭代、快修復，從實際部署來說軟件自主研發之后，顯著提升了質量。

　　第二就是在硬件角度，我們是“海底撈”模式，商業交換機賣的是滿漢全席，是粵菜，但比較貴，我們只需要一款交換機，做減法。我們直接跟上游芯片商合作可以更快享受技術能力，過程更加透明，供應商利潤也比較合理。

　　所以我們做白盒有兩個維度，第一個維度在軟件上，更多是質量和迭代效率的考慮，硬件上是從成本上考慮，能夠把它變得更加透明化。

　　提問：如果將來你們接入其它模型，很多用戶在上面訓練，網絡安全可能就比以前更重要了，以前只有你們自己在用，這方面不知道你們有什么設計或者已經做的事情?

　　李翔：數據安全的問題在公有云時代是特別重要的。騰訊有七大安全實驗室，都是做網絡安全，我們整個技術網絡有非常完善的虛擬化技術，還有做租戶隔離、存儲隔離，這些都是比較扎實的技術底座，同時內部還會有各種各樣高級別的科學家帶領團隊做各種模擬攻擊，保證不會被攻破。安全問題一直是云客戶最重要的事情。

　　回到GPU，一方面我們復用了它的能力，比如存儲，直接復用云大盤的能力，對于基座的物理服務器可能更復雜，因為它比較追求性能，云上做隔離。但是容器、虛擬化對GPU服務器有嚴格的性能要求，需要一個物理機，這時候我們就只能把隔離監控全部放到網絡上做。

　　王亞晨：星脈除了支持騰訊自己的大模型以外，在騰訊云上也支持很多其它客戶的模型做訓練，有些客戶對于性能覺得虛機也OK，我們就以大盤的能力來保證整個網絡的安全。另外剛才說的信息安全，防攻擊那些，都是騰訊云上面比較完善的體系。

　　提問：針對騰訊之外的廠商，我們主要提供技術支持，還是也提供大模型相關的解決方案?

　　王亞晨：我們整個技術底座除了騰訊自身以外也在支持騰訊云的算力集群，在騰訊云上也可以給客戶售賣，今天沒有專門講這個解決方案。我們除了提供GPU的IaaS服務以外也會配合上面的訓練框架、加速框架這些PaaS的可選服務，根據團隊訓練的模型和你的需求定制選購�；�本上一些大的公司還是選擇以IaaS服務為主，這也是騰訊云以標準產品給到客戶。