本報(bào)訊 (記者梁傲男)在極致追求Coding效果的同時(shí),智譜也在提升AIInfra上界。
過(guò)去幾年,AIInfra的競(jìng)賽長(zhǎng)期集中在單一維度:部署更多、更快的GPU。然而,當(dāng)推理集群規(guī)模擴(kuò)展到千卡、萬(wàn)卡級(jí)別后,一個(gè)新的瓶頸開(kāi)始顯現(xiàn)——每處理一次用戶請(qǐng)求,集群內(nèi)部都需要持續(xù)、高頻地互相傳遞大量中間數(shù)據(jù),網(wǎng)絡(luò)開(kāi)始成為決定整個(gè)系統(tǒng)吞吐量、響應(yīng)速度和成本的關(guān)鍵變量,甚至成為超大規(guī)模AIInfra的主要瓶頸。
近日,智譜聯(lián)合馭馴網(wǎng)絡(luò)與清華大學(xué),在GLM-5.1線上生產(chǎn)集群中完成了新一代網(wǎng)絡(luò)架構(gòu)ZCube的規(guī)模化落地。在線上GLM-5.1coding場(chǎng)景中,在保持GPU算力、軟件棧與應(yīng)用不變的前提下,ZCube節(jié)省了33%的交換機(jī)與光模塊成本,同時(shí)將GPU平均推理吞吐量提升了15%,TTFTP99降低了40.6%。
這組數(shù)字意味著什么?同樣的硬件投入,智譜的GLM大模型現(xiàn)在每秒能多響應(yīng)15%的API請(qǐng)求。對(duì)于服務(wù)上百萬(wàn)開(kāi)發(fā)者的大模型API平臺(tái)而言,這直接對(duì)應(yīng)更高的并發(fā)上限、更低的排隊(duì)延遲,以及在流量峰值下更穩(wěn)定的用戶體驗(yàn)。
成本端的變化同樣顯著。ZCube架構(gòu)所需的交換機(jī)和光模塊比原有方案少三分之一。規(guī)模越大,這個(gè)差值越可觀。
更關(guān)鍵的是,這項(xiàng)升級(jí)的邊際成本接近于零:GPU不換,服務(wù)器不換,軟件代碼不改,純粹是組網(wǎng)架構(gòu)的替換。這意味著智譜已有的算力資產(chǎn)在同等投入下釋放了更高的產(chǎn)出,相當(dāng)于存量資產(chǎn)的效率重估。
值得一提的是,ZCube技術(shù)被國(guó)際頂會(huì)ACMSIGCOMM2025評(píng)價(jià)為“顯著改變整個(gè)行業(yè)對(duì)網(wǎng)絡(luò)的認(rèn)知方式”,此次在智譜的落地實(shí)踐是ZCube架構(gòu)首次在真實(shí)大規(guī)模推理集群中完成生產(chǎn)驗(yàn)證。
在業(yè)內(nèi)看來(lái),在大模型競(jìng)爭(zhēng)日趨激烈、算力資源緊張的背景下,這次實(shí)踐提供了一種不同的思路:與其堆更多GPU,不如讓現(xiàn)有GPU跑得更順。隨著大模型推理集群規(guī)模的擴(kuò)張,這一影響將被進(jìn)一步放大——網(wǎng)絡(luò)瓶頸會(huì)隨集群規(guī)模指數(shù)級(jí)加劇,而ZCube這類(lèi)扁平化架構(gòu)的優(yōu)勢(shì)也將進(jìn)一步凸顯。
同樣在本月,OpenAI聯(lián)合NVIDIA、AMD、Intel、Microsoft、Broadcom,向業(yè)界發(fā)布了MRC(MultipathReliableConnection)協(xié)議——一種通過(guò)多路徑并發(fā)傳輸、在微秒級(jí)繞過(guò)鏈路故障的新型網(wǎng)絡(luò)傳輸協(xié)議,并已部署在其最大規(guī)模的超算集群中。不同的是,MRC在協(xié)議層發(fā)力,通過(guò)多路徑并發(fā)傳輸對(duì)抗網(wǎng)絡(luò)擁塞;ZCube則在架構(gòu)層動(dòng)刀,從拓?fù)湓O(shè)計(jì)上消除擁塞產(chǎn)生的根源。前者優(yōu)化“交通規(guī)則”,后者重新規(guī)劃了整張“路網(wǎng)”。
(編輯 張明富)
智元硅光動(dòng)語(yǔ)大模型完成備案2026-05-19 09:42
新一輪以舊換新落地 激發(fā)消費(fèi)新動(dòng)能
首先,一些地方在出臺(tái)與消費(fèi)品以舊換新相關(guān)的……[詳情]
版權(quán)所有《證券日?qǐng)?bào)》社有限責(zé)任公司
互聯(lián)網(wǎng)新聞信息服務(wù)許可證 10120240020增值電信業(yè)務(wù)經(jīng)營(yíng)許可證 京B2-20250455
京公網(wǎng)安備 11010602201377號(hào)京ICP備19002521號(hào)
證券日?qǐng)?bào)網(wǎng)所載文章、數(shù)據(jù)僅供參考,使用前務(wù)請(qǐng)仔細(xì)閱讀法律申明,風(fēng)險(xiǎn)自負(fù)。
證券日?qǐng)?bào)社電話:010-83251700網(wǎng)站電話:010-83251800 網(wǎng)站傳真:010-83251801電子郵件:xmtzx@zqrb.net
安卓
IOS
掃一掃,加關(guān)注
掃一掃,加關(guān)注