本文通過對大模型訓練的應用運行特征分析，得出大模型訓練是典型的超算應用，且大模型訓練需要三高，即高質量、高性能和高性價比;將超算市場分為尖端超算、通用超算、智能超算和業務超算四類，分析了四類市場的特點以及對應的供給產品平臺，介紹了并行科技對應四類市場的產品矩陣;給出了近五年全球高性能計算市場和中國高性能計算市場的發展趨勢。

　　大模型訓練算力特點

　　隨著ChatGPT的爆火，一時間百模興起，涌現出百度的文心、阿里的通義、騰訊的混元、字節的云雀、華為的盤古、智譜的清言等大模型，大廠和初創公司都參與到這場角逐中。大模型算力成為這場競爭的焦點。

　　大模型訓練是典型的超算應用

　　大模型訓練的計算主要有以下幾個特點。

　　1.數據規模龐大：大模型訓練需要大量的數據進行學習和優化，以確保模型具有廣泛的知識和較強的泛化能力。這些數據通常來源于網絡、數據庫、科學研究等領域，其規�？蛇_數億甚至數十億個樣本。

　　2.計算資源需求高：大模型訓練對計算資源的需求非常高，通常需要高性能的計算機、顯卡集群或超級計算機。此外，隨著模型規模的擴大，訓練時間也會顯著增加，這對計算資源的利用率提出了更高的要求。

　　3.并行計算：為了提高訓練速度，大模型訓練通常采用并行計算技術，如數據并行和模型并行。通過將計算任務分配給多個計算節點或設備，可以大幅提高訓練效率。

　　4.分布式計算：大模型訓練還采用分布式計算技術，將訓練任務分布到多個計算節點上進行協同處理。這可以充分利用網絡中各個節點的計算能力，提高整體訓練性能。

　　5.異構計算：大模型訓練中常常涉及異構計算，即利用不同類型的計算資源(如高性能協處理器、GPU、TPU等)協同處理計算任務。這使得訓練系統能夠針對不同計算任務優化資源分配，提高整體訓練性能。

　　6.優化算法：為了提高模型的訓練效果，大模型訓練中通常采用各種優化算法，這些算法可以加速模型訓練過程，提高模型收斂速度和性能。

　　超級計算(supercomputing)是高性能計算領域的頂尖形態，具備以下特點。

　　1.并行計算：超算應用采用并行計算技術，將大規模的計算任務分解成多個小任務，在多個處理器或多個計算機上進行計算。這大大提高了計算效率，使得原本需要長時間完成的任務可以在較短的時間內完成。

　　2.分布式計算：超算應用通過分布式計算技術，將計算任務分配給眾多計算機節點進行協同處理。這種計算方式充分利用了網絡中各個節點的計算能力，提高了整體計算性能。

　　3.高度集成：超算應用通過集成數千甚至數萬臺計算機、存儲設備和網絡設備，形成一個高度集成的計算系統。這種系統具有強大的計算能力和極高的資源利用率，可以滿足不同領域和應用場景的計算需求。

　　4.彈性擴展：超算應用具備彈性擴展能力，可以根據計算任務的需求和資源狀況動態調整計算節點數量。這使超算系統能夠在不同場景下保持較高的資源利用率和計算性能。

　　5.異構計算：超算應用采用異構計算技術，利用高性能處理器、GPU、現場可編程門陣列(FPGA)等不同類型的計算資源進行協同處理。這使超算系統能夠針對不同計算任務優化資源分配，提高整體計算性能。

　　6.負載均衡：超算應用通過負載均衡技術，確保為各個計算節點合理分配計算任務。這有助于維持系統穩定，提高計算任務的完成速度和準確性。

　　并行科技依據應用運行特征方法論，自主研發了應用運行特征采集與分析軟件。該軟件可以采集分析應用在運行過程中的CPU利用率、CPU微架構數據、GPU利用率、GPU微架構數據、顯存利用率、內存利用率、磁盤讀寫速率、網絡收發速率等數據，相當于為應用在運行過程中做“CT”檢查。圖1展示了通過應用運行特征采集與分析軟件采集的1300億參數大模型訓練的應用運行特征。圖的上半部分是大模型運行的量化數據特征，下半部分是大模型運行的時序圖。圖2是1300億參數大模型訓練的應用運行特征單節點放大圖。從圖1和圖2可以看出，該大模型訓練的特征是多節點并行協同工作，節點計算資源利用率高，節點間通信頻繁密集。通過以上分析，可以得出大模型訓練屬于典型的超算架構應用。大模型訓練，算力需要達到“三高”，即高質量、高性能、高性價比。

　　圖1  1300億大模型訓練應用運行特征圖

　　圖2  1300億大模型訓練應用運行特征單節點放大圖

　　大模型需要高質量

　　高質量即保障大模型訓練能正確、穩定、不中斷地得到結果。圖3展示了智譜華章訓練GLM-1300億參數大模型的工程過程。該模型歷時8個月完成訓練，平臺的調試適配用了近6個月，正式訓練開始后仍面臨平臺硬件故障帶來的穩定性問題，即便設置檢測點(checkpoint)，每次故障仍會造成一定的時間和經濟損失。高質量訓練平臺對高效完成大模型訓練至關重要。

　　圖3  GLM-1300億大模型訓練過程

　　大模型需要高性能

　　高性能是指更快地完成大模型訓練計算，既能抓住發展的時間窗口，又能節省大筆訓練成本。要實現高性能，需要在不同階段通過多種手段提升性能，如在硬件選型階段選擇最適合大模型訓練的硬件架構平臺，在訓練階段選擇合適的算子庫和并行方法等。

　　大模型訓練需要高性價比

　　大模型訓練“燒錢”是公認的，無論是初創公司還是傳統大廠，高昂的投入都會帶來巨大的壓力。圖4展示了OpenAI的GPT-3、DeepMind的Gopher、微軟的MT-NLG、谷歌的PaLM的訓練數據，參數量從1750億到5400億不等，訓練費用少則百萬美元，多則千萬美元。國內的玩家未公開相關數據，費用估計也在數千萬元到數億元人民幣。降低大模型訓練的費用成為AIGC企業的重要關注點，甚至是初創企業能否存續的關鍵。

　　圖4 大模型訓練費用支出

　　高質量、高性能、高性價比的超算架構GPU算力集群成為大模型競爭的剛需。

　　算力供給現狀

　　超算的市場可以分為四類：尖端超算、通用超算、智能超算和業務超算。

　　尖端超算

　　尖端超算面向萬核以上的應用，追求極大規模、極致性能，主要用戶為高端超算的從業人員，包括攻堅型科研單位、國家級用戶和各行業頂級研究機構，對超算硬件系統要求非常高。這類產品可謂國之重器，要求計算、訪存、通信、I/O都非常出眾，性能設計高度平衡的高端超級計算機，需要國家集中力量投入，不要求高性價比，一般由國家超級計算中心實現并滿足此類需求。

　　通用超算

　　通用超算面向萬核以下的應用，絕大多數是千核以下的應用，需要優質服務，關注性價比，用于滿足海量無超算資源用戶的日常需求，當前以自主建設的中小微超算系統為主。

　　此類需求是海量用戶需求聚類，需要基于應用運行特征分析，針對不同類型應用，采取動態隨需增長方式建設最高性價比超算服務計算資源，通過租用超算服務方式，幫助用戶從自建中解脫出來，目前以超級云計算中心模式滿足此類市場需求。

　　智能超算

　　智能超算以GPU算力為主，應用規模從單卡到萬卡，計算量極度密集，算力投資大，自建較少，主要是租用智算算力資源，需要優質服務，關注性價比。大模型算力需求是此類典型代表。

　　此類需求的產品形態有兩種模式：解決大模型訓練需求的超算中心模式和解決推理等需求的云計算模式。需要基于應用運行特征分析，采用動態隨需增長方式建設性價比最高的智算算力資源，幫助用戶從自建中解脫出來，租用超算服務。目前主要由智算中心滿足此類需求供給。

　　圖5展示了對AI訓練量增長趨勢和未來市場的預估，從圖中左側數據可以看出，隨著BERT、GPT-2、GPT-3、PaLM等大模型的爆發，訓練計算量呈指數增長，在2015~2020年，訓練計算量增長了6個數量級。圖5右側是國際數據公司IDC給出的預測，2026年智算的算力規模將達1271百億億次(EFLOPS)，預計未來5年中國智能算力規模的年復合增長率將達52.3%。

　　圖5 AI訓練量的增長趨勢和未來市場預估

　　業務超算

　　業務超算的應用規模通常為單核到幾千核，和業務直接關聯，關注服務質量、性能和性價比。對業務超算來說，超算只是業務中的一個環節，需要實現完整業務上云，保證業務運行的穩定性和可靠性。

　　業務超算面向行業，按照行業業務需求設計完整的云上業務流程，保證用戶業務各環節都能實現高質量、高性能、高性價比。通常由公有云/超算云或專業超算服務商滿足此類需求。

　　按客戶需求設計、供給產品

　　實際上，用戶不關心產品的某個具體功能，而關注最終的收益。用戶關注點可總結為三個方面：第一，產品要有高質量，可滿足計算任務需求，順利完成計算;第二，產品要有高性能，能更高效地完成計算任務;第三，產品要有高性價比，能在高效完成計算任務的同時，消耗更低的成本�？傊�，要有針對性地提供不同的產品形態以更好地滿足用戶需求。

　　并行產品矩陣

　　為滿足不同領域的細分需求，并行科技設計了不同的產品矩陣，包括并行超算云、并行智算云、并行行業云等。

　　并行超算云是面向通用超算市場開發的產品平臺，集成了多種數據管理工具、登錄交互工具、可視化工具以及軟件即服務(SaaS)集成等，滿足大、中、小用戶的碎片化需求。

　　并行智算云是面向智能超算市場開發的產品平臺，提供超算集群和云主機兩種形態，分別滿足大模型大規模訓練和中小規模訓練及推理場景需求，在平臺即服務(PaaS)層提供PyTorch和TensorFlow等常用框架，以及常用的多領域開源數據集。并行智算云架構如圖6所示。

　　圖6 并行智算云架構

　　并行行業云基于超算云基礎設施，提供企業級“專有云”“混合云”等多產品服務形態的定制化云服務平臺。行業云不僅可保障用戶業務流程快速、高效、動態實現，還可滿足超算業務系統及SaaS化的私有部署、自主可控、安全穩定的個性化需求。

　　借助海量算力資源池和技術運營服務優勢，超算行業云可為汽車制造、氣象海洋、基因測序、新藥研發、芯片制造、石油勘探等行業提供彈性靈活、快捷高效、安全可靠的高性能計算業務支持。

　　算力網絡服務模式

　　并行科技基于算力網絡服務模式向廣大的計算用戶輸出算力資源。圖7為并行超算云業務架構圖，該架構分為三層：底層是資源層，涵蓋國家各大超算中心，各地方政府建設的超算、智算中心，各大公有云廠商等;中間層是由產品工程(Product Engineering，PE)、系統工程(System Engineering，SE)、站點可靠性工程(Site Reliability Engineering，SRE)、數據工程(Data Engineering，DE)等團隊構建的全天候在線超算云服務平臺，提供數據處理、前處理、仿真模擬、數值求解、后處理等用戶全業務流能力;上層為物理、化學、航天、力學、工業制造、氣象海洋、生命科學、人工智能等各領域的海量計算需求�；�于超算云的業務架構衍生出四大業務類型：第一類面向各行業的海量計算需求，提供算力輸出服務;第二類是面向用戶的業務上云場景，超算云提供上云PaaS平臺，為業務提供算力調度API和服務保障等;第三類面向國產應用軟件開發商提供PaaS平臺，共同打造SaaS化模式，助力國產應用軟件快速發展，解決“卡脖子”問題;第四類聯合各大超算建設方，建立算力運營合作。

　　圖7 超算云業務架構

　　算力接入標準

　　目前，算力資源百花齊放，但質量參差不齊，算力接入標準成為保證資源高質量接入和有效輸出的關鍵要素。并行科技制定了5個級別的接入標準，分別對應高質量1級、2級和3級，高性能4級和5級。比如，集群形態智算5級接入標準要求接入的GPU資源為某一高端型號(或以上)并達到1000張規模以上，支持定制化數據安全方案，支持專線能力，支持標準的作業調度，支持智能化運維和應用程序編程接口(API)等。

　　基于應用運行特征的精確選型

　　并行超算云平臺上運行的應用有千余種，接入資源的類型有百余種。某種應用資源的類型有百余種。某種應用運行在何種平臺性能最優、性價比最高?如何實現應用與平臺的快速高效匹配?針對這些問題，并行科技推出基于應用運行特征的精準選型ParaSelect服務。用戶將典型應用和典型的工作負載(workload)提交至并行科技的標準測試平臺，基于測試數據和并行應用運行特征庫，該平臺可快速給出性能測試報告，告知用戶適合該應用運行的硬件平臺以及最具性價比的平臺。

　　圖8為Llama2-7B模型在A100 40GB PCIe平臺不同卡數規模上的預測與實測值，從圖中可以看出預測與實測曲線擬合較為接近，可以得出Llama2-7B在A100 40GB PCIe平臺有較好的運行效率。

　　圖8 基于應用運行特征的精準選型ParaSelect案例

　　優化服務

　　在并行超算云平臺運行的多數用量大的超算應用均得到大幅優化。圖9展示的是某1300億參數的預訓練應用運行特征，從圖中可以看出，衡量計算效率的最主要部件GPU的利用率在75%左右震蕩，在計算方面存在優化空間，通過代碼分析，優化應用程序負載設計，將GPU利用率提升至95%左右(見圖10)，計算性能得到大幅提升。

　　圖9 1300億預訓練應用運行特征(優化前)

　　圖10 1300億預訓練應用運行特征(優化后)

　　全球高性能計算市場呈現出蓬勃發展的態勢，圖11是IDC等機構給出的全球高性能計算市場以及中國高性能計算市場的發展趨勢，學術教育、科研機構、國防、金融和制造是高性能市場的消費主力，占據半壁江山，超算云服務滲透率不斷提升，中國在企業和高校等高性能計算市場近五年的復合增長率將超過50%，中國高性能計算市場將繼續蓬勃發展。

　　圖11 全球高性能計算市場以及中國高性能計算市場的發展趨勢

　　(本文根據CNCC2023特邀報告整理而成)