智通財(cái)經(jīng)APP獲悉,中金發(fā)布研報(bào)稱,AI浪潮迭起,大模型高效訓(xùn)練的達(dá)成需要以集群內(nèi)更大規(guī)模的數(shù)據(jù)承載量和高效的傳輸速率為前提,在上周召開的英偉達(dá)GTC 2024上,也明確觀察到網(wǎng)絡(luò)技術(shù)能力再升級(jí)趨勢(shì),裸片、芯片、機(jī)柜間互連方式革新不斷、帶寬提速;而作為以太網(wǎng)、PCIe、NVLink等通信協(xié)議PHY層的底層技術(shù)支撐,預(yù)期SerDes向224G演進(jìn)有望為102.4T交換芯片的面世提供底層支撐,助力實(shí)現(xiàn)1.6T網(wǎng)絡(luò)連接。
中金主要觀點(diǎn)如下:
D2D:裸片間通信需求增加,先進(jìn)封裝工藝不斷進(jìn)階
D2D通信發(fā)生于芯片封裝內(nèi)部,其接口物理層可采用高速SerDes或高密度并行架構(gòu)。中金認(rèn)為隨著Chiplet等眾核異構(gòu)滲透率逐漸提升,Die間通信需求有望進(jìn)一步增加,對(duì)先進(jìn)封裝技術(shù)、互連標(biāo)準(zhǔn)提出更高要求:1)先進(jìn)封裝的精進(jìn)如2.5D/3D封裝能夠?yàn)镈2D連接帶來更高I/O密度,臺(tái)積電CoWoS作為主流2.5D先進(jìn)封裝技術(shù)廣泛應(yīng)用于A/H100等AI芯片封裝;2)UCIe協(xié)議的出現(xiàn)有望助推Die間互連接口標(biāo)準(zhǔn)化以實(shí)現(xiàn)不同芯粒的自由整合,D2D互連生態(tài)有望趨于開放。
C2C:PCIe總線持續(xù)升級(jí),NVLink引領(lǐng)片間通信新變革
主板總線是C2C通信的重要媒介,其中PCIe主要用連接CPU與高速外圍設(shè)備,平均每三年升級(jí)一代標(biāo)準(zhǔn),目前已迭代至6.0版本,16通道下可實(shí)現(xiàn)256GB/s的傳輸速率。在AI場(chǎng)景中,異構(gòu)并行計(jì)算架構(gòu)成為主流,中金觀察到GPU間、異構(gòu)xPU間的C2C互連逐漸由PCIe主導(dǎo)向性能更強(qiáng)的專用互連技術(shù)演進(jìn),NVLink實(shí)現(xiàn)GPU間高速、低時(shí)延的直接互連,并引入NVSwitch解決通訊不均衡,GTC 2024發(fā)布新一代NVLink和NVSwitch,C2C互連雙向帶寬提升至1.8TB/s。
B2B:機(jī)間高速互連提升AI訓(xùn)練效能,協(xié)議與硬件并進(jìn)
中金認(rèn)為,機(jī)間通信效率的提升需要協(xié)議和硬件端的配套支持:1)協(xié)議:從傳統(tǒng)的TCP/IP向RDMA演進(jìn)以優(yōu)化網(wǎng)絡(luò)性能,InfiniBand時(shí)延低、上線快、但生態(tài)相對(duì)封閉、價(jià)格高昂,RoCE性能略低于InfiniBand,然兼具成本效益和可擴(kuò)展性,長(zhǎng)期來看InfiniBand或與升級(jí)以太網(wǎng)平分秋色;2)硬件:接口傳輸速率需迭代上行,交換芯片作為核心硬件其性能面臨升級(jí),中金預(yù)期SerDes向224G演進(jìn)有望為102.4T交換芯片的面世提供底層支撐,助力實(shí)現(xiàn)1.6T網(wǎng)絡(luò)連接。
風(fēng)險(xiǎn)
AI大模型及應(yīng)用發(fā)展不及預(yù)期,SerDes技術(shù)迭代不及預(yù)期。