熱門資訊> 正文
2025-07-10 12:13
摘要
隨着人工智能的發展,大規模預訓練模型在自然語言處理和計算機視覺等領域都取得了顯著成果,促進了智算中心的建設。本文針對面向大模型預訓練的Scale-out智算網絡關鍵技術展開研究,系統梳理了智算網絡Scale-out網絡國內外最新技術進展,同時也分析了Scale-out智算網絡目前存在的問題以及未來的發展趨勢,在推動智算網絡技術發展、指導智算中心建設等方面具有重要意義。
關鍵詞
Scale-out網絡;智算網絡;遠程直接內存訪問;大模型
引言
自ChatGPT問世以來,AIGC技術呈現爆發式增長,模型參數規模從千億邁向萬億級別,並持續向十萬億規模演進;以GPT-4、Sora為代表的大模型,其訓練算力需求呈指數級攀升,例如GPT-4的1.8萬億參數需在25,000個A100GPU上訓練長達100天,單次訓練能耗已接近中小型城市的年用電量。這一趨勢驅動全球智算中心向超萬卡集羣架構升級,傳統單節點計算模式已無法滿足大模型訓練對算力密度與通信效率的需求,亟需通過橫向擴展(Scale-out)構建分佈式網絡架構,以應對數據並行、流水線並行及張量並行等多維並行策略下的通信瓶頸,本文分析了面向萬卡集羣的Scale-out網絡技術,以滿足智算中心對網絡相關基礎設施、互聯能力、端網協同控制等的需求,並將着重分析面向大模型預訓練的智算網絡現狀、關鍵技術以及智算網絡的未來發展趨勢。
1 Scale-out網絡業務需求
大模型訓練的參數量、數據量遠超單個GPU的能力,需要把數據處理和模型切分到超萬個規模的GPU中進行處理。大模型需要採用多機多卡集羣的方式進行訓練,主流的並行訓練方式有數據並行、張量並行、流水線並行和專家並行等。
張量並行和專家並行等需要GPU之間進行高頻度數據交換及控制命令交互,每次迭代數據量達幾百GB,每秒迭代幾千次,需要在一個節點(超節點)內,通過Scale-up網絡增加GPU數量、增加內存容量等計算資源垂直方向的方式進行擴展;但是由於當前Scale-up一般是一機8卡,所以相應的一些並行也會用到Scale-out網絡;數據並行由於需要訓練的數據量包括文本、語音、視頻等多模態數據量非常大,需要通過Scale-out網絡增加計算節點來橫向擴展以處理更大的數據量,需要支持超萬卡互聯。
1.1Scale-out網絡的流量特徵
傳統的數據中心中心內,數據流完全不相關,因此在多個網絡鏈接上平穩負載均衡分佈。然而在AI訓練的網絡里,流量的主要特徵是:
◆低熵:與傳統數據中心工作負載相比,AI工作負載的流的數量和多樣性要小得多,並且流模式通常具有重複性和可預測性。
◆突發性:在時間維度上,流通常表現出毫秒級時間粒度的「開啟和關閉」特性。
◆大流量:每次突發,每條流量的強度都可以達到網卡的線速率。
1.2擁塞和負載不均兩大問題
集羣網絡吞吐下降是影響集羣性能的根本原因,將導致AI大模型訓練效率下降,甚至造成任務中斷或失敗,主要表現在:
負載不均:AI流量特徵所表現的少流(低熵)、大流問題,傳統ECMP無法對此流量進行均勻哈希導致負載不均的問題。
擁塞問題:針對AI訓練模型中All-reduce、All-to-All以及多任務訓練和其他流量導致的多打一incast問題造成擁塞。
2 Scale-out網絡技術發展現狀
圖1AI流量在集羣中表現的負載不均和擁塞問題
在傳統的TCP/IP網絡通信中,數據傳輸過程會經歷多次拷貝,這將導致處理延迟增加和額外的資源消耗,影響數據傳輸性能和系統運行效率,因此RDMA技術被提出,通過繞過CPU,直接在內存層面進行數據傳輸,允許計算機直接訪問遠程計算機的內存。這樣既減少了數據傳輸過程對資源的佔用,也降低了數據的處理時延,是當前Scale-out網絡主要採用的傳輸協議。
實現RDMA技術需要軟件和硬件的支持。RDMA技術目前有兩種主要的實現方式:InfiniBand、RoCE(RDMA over Converged Ethernet)。InfiniBand由IBTA制定並正式發表於2000年,並在設計之初就支持RDMA技術,從硬件層面確保數據的可靠傳輸,這提供了更高的帶寬和更低的延迟。使用InfiniBand實現RDMA需要部署專用的IB網絡設備和IB網卡,導致的部署成本增加。RoCE由IBTA制定,是一種通過以太網中來實現RDMA技術的解決方案,通過將IB協議報文封裝為以太網報文進行收發,解決了IB協議與以太網之間的兼容性問題。
RoCE的核心設計是集成10年前開發的簡單RDMA配套技術,在AI大規模集羣中並不適用,主要表現在它是一種簡單的先嚐試發送,再根據網絡反饋進行調整機制,並且涉及到的參數多,調節困難,也不支持多路徑的傳輸,因此針對AI大規模集羣需要進行優化。meta在llama3的訓練中採用2.4萬張GPU卡組成的ROCE網絡,在論文中明確提到:DCQCN作為一種擁塞控制方案,在實際部署中難以調整,嚴格的ECN閾值配置可能會降低吞吐量,並在后續在400G部署中,選擇放棄DCQCN,僅依賴PFC進行流量控制,並使用集體庫控制進行更高層次的擁塞管理。
業界提出UEC(Ultra Ethernet Consortium),其目標是構建基於以太網的高性能通信棧,應對AI和HPC的大規模組網;UEC所定義的傳輸層對當前業界提出UEC(Ultra Ethernet Consortium),其目標是構建基於以太網的高性能通信棧,應對AI和HPC的大規模組網;UEC所定義的傳輸層對當前ROCE技術做全面改造,優化了擁塞控制和多路徑傳輸,是解決大規模集羣所帶來的擁塞和負載不均問題的關鍵技術。
3 Scale-out網絡技術發展現狀
支撐萬卡集羣需要多方面的網絡架構、技術創新來滿足AI大模型訓練場景的要求,主要包括以下方面:
◆在組網架構上,Scale-out網絡需基於Spine-Leaf架構實現橫向的高可擴展性,並且針對數據並行的特性,不同GPU服務器的同卡號有大量數據交互的需求,可以進行多軌道優化設計減少跨軌道通信跳數,從傳統3跳降至1跳,提升通信效率。
圖2多軌組網可以將大部分流量優化至單跳轉發
◆在接口速率上,AI大模型訓練參數網的門檻是200G,目前已經有不少場景應用400G,並且會逐漸演進800G/1.6T;爲了讓單台交換機能夠支持更多的端口對GPU服務器進行連接,比如64端口、128端口,交換機的交換容量也在不斷地提升,目前主流交換芯片的交換容量是51.2T,已有一些先進廠商在做102.4T的設計和試驗。
◆在負載不均問題上,爲了讓少數大流在多條鏈路上能夠進行均勻地負載分擔,業界提出了包噴灑(Packet Spraying)技術,其不再以流為粒度進行負載均衡,而是希望以更細的包粒度進行負載均衡。包噴灑技術通過將數據包分散到多個路徑上進行傳輸,從而實現負載均衡和提高網絡性能,避免單路徑傳輸的瓶頸問題。包噴灑技術主要包含兩類,分別是端側包噴灑和網側包噴灑。
網側包噴灑模式下,端側網卡發包不需要做任何變化,網側Leaf交換機需要配置需要從原來的逐流模式,修改爲逐包模式,Leaf交換機可以把這條流中的所有報文按照順序發送至其上行端口,達到哈希均勻的目的。DLB(Dynamic load balance,動態負載均衡)技術突破傳統靜態Hash機理的限制,通過引入時間戳、實時負載度量(端口帶寬負載、隊列大小)因子,在時間、帶寬空間兩個維度優化了負載均衡效果,提供了動態、智能的Hash機制,在進行數據包均勻哈希的同時,結合設備當時的狀態,以保證哈希的效果是最佳的。
端側包噴灑由端側網卡進行數據包噴灑。具體而言,對要發送的單個數據流,通過修改單個報文的熵(源UDP端口號),進行噴灑,如一條流包含1000個報文,熵值範圍為1-128,則網卡發送第一個報文時,攜帶熵值1,發送第二個報文時,攜帶熵值2,以此類推。這種情況下,當Leaf交換機收到數據報文時,通過設置根據熵值作為哈希因子進行哈希,如Leaf交換機的上行端口是64個,則可以將1-128熵值的數據流均勻地分佈在64個路徑上進行數據包噴灑。
包噴灑本質上將原來的大流拆成了小流,在多條路徑上進行傳輸,就帶來了數據包亂序的問題,因此需要在接收端網卡進行數據包的重組。DDP(Di r ect Data Placement)技術通過在報文中攜帶目標精確地址,直接把收到的數據放置到用户空間的Buffer,實現了接收端網卡數據的零拷貝,可以進一步降低時延。
當前UEC國際標準組織主要通過端側包噴灑的方式解決負載不均問題。在噴灑的過程中,Leaf和Spine之間的鏈路出現擁塞的時候該如何處理,做到鏈路負載均衡的自適應調整呢?當前在網絡設備上可以有多種信號來表示擁塞信息,如ECN、INT、Trim等,當接收端網卡收到相應的信號,可以通過ACK報文將這些信號反饋給發送端網卡,由發送端網卡對網絡信號進行分析,進一步通過調整該熵在在包噴灑發送時使用比例,來控制報文在該路徑上的發送流量,以達到擁塞減輕的目的,我們稱之為路徑感知包噴灑技術。
◆對於擁塞問題,業界提出很多算法,主要有兩類:一是被動擁塞控制類,通過先發送報文,再根據網絡反饋的狀態進行發包的調整,如基於ECN/CNP信號的DCQCN算法,基於端到端時延測量的Timely、SWIFT、BBR算法,基於高精度INT測量的HPCC算法等;二是主動擁塞控制類,通過先獲得授權,然后再發包,典型的代表如EQDS、CBRC等。
圖4端側包噴灑通過網卡的熵值控制優化負載均衡效果
針對多打一incast問題,由於多個發送端對一個接收端全速率發送流量會造成接收端無法實時處理,如採用被動擁塞控制擁塞控制算法,網絡反饋的情況會表現地緩慢、無序,採用主動擁塞控制類的算法,通過收端網卡對所有發送端的credit進行統一管理和授權,可以解決多打一帶來的incast問題;進一步考慮到網絡的擁塞情況,將網絡ECN、I NT、Trim等信號結合credit分配授信機制,通過算法調整可以做到網絡擁塞感知的credit授信分配機制,可以解決incast多打一在網絡側發生擁塞場景下所產生的問題。
4 Scale-out網絡未來展望
無阻塞、負載均衡、高吞吐成為面向大模型預訓練的超萬卡Scale-out智算中心網絡集羣的核心訴求。針對Scale-out智算網絡面臨的業務需求和挑戰,需要網絡架構創新、接口速率和交換容量的進一步提升、網絡擁塞、負載不均問題的優化和技術創新來全面滿足。
展望未來,scale-out端網融合的技術將更進一步地與控制管理面、業務應用進行深度結合,實現性能的進一步突破網絡控制器深度結合:
網絡控制器融合:網絡控制擁有整個網絡的能力如交換機哈希算法、隊列能力等以及實時狀態數據如隊列深度、擁塞狀態等,通過網絡控制器與端側網卡的進一步交互如熵值優化、路徑優化,能進一步提升網絡利用率。
集合通信庫增強:在通信庫中集成網絡信號的獲取接口,實時獲取網絡的關鍵狀態指標(如網卡擁塞狀態信息、交換機隊列深度、鏈路利用率、擁塞信息等)。基於這些數據,通信庫可動態調整AllReduce、All-to-All等集合操作的消息分發策略。