華為數(shù)據(jù)存儲解決方案架構(gòu)師李斌杰:構(gòu)筑AI數(shù)據(jù)湖,解鎖數(shù)據(jù)潛能,領(lǐng)航AI時代
8月13日-16日,第21屆CCF全國高性能計算學(xué)術(shù)年會(CCF HPC China 2025)于鄂爾多斯盛大召開。8月15日,華為數(shù)據(jù)存儲解決方架構(gòu)師李斌杰出席華為高性能計算創(chuàng)新論壇,發(fā)表“解鎖數(shù)據(jù)潛能,領(lǐng)航AI時代”主題演講。

華為數(shù)據(jù)存儲解決方案架構(gòu)師李斌杰發(fā)表演講
AI時代,數(shù)據(jù)無所不在。新應(yīng)用的爆發(fā)讓數(shù)據(jù)的價值不斷攀升,數(shù)據(jù)的規(guī)模增長催生了對數(shù)據(jù)基礎(chǔ)設(shè)施的更高要求。傳統(tǒng)架構(gòu)已難以承載海量數(shù)據(jù)的價值釋放訴求,存儲創(chuàng)新由此成為AI行業(yè)化落地的核心引擎。
當(dāng)下,在國家將數(shù)據(jù)列為新型生產(chǎn)要素的戰(zhàn)略背景下,“以數(shù)據(jù)為中心”的存力中心建設(shè)恰逢其時,其已成為數(shù)據(jù)基礎(chǔ)制度和先進(jìn)技術(shù)落地的重要載體,旨在將數(shù)據(jù)資源優(yōu)勢轉(zhuǎn)化為經(jīng)濟(jì)發(fā)展優(yōu)勢,激發(fā)數(shù)據(jù)要素活力。
對于企業(yè)而言,多模態(tài)數(shù)據(jù)治理、跨地域數(shù)據(jù)協(xié)同、復(fù)雜AI工程化已成為AI時代的三大首要挑戰(zhàn)。以自動駕駛業(yè)務(wù)為例,雖然其數(shù)據(jù)質(zhì)量較高,但由于多源異構(gòu)、模態(tài)復(fù)雜(如激光、雷達(dá)、點云、視覺等),以及路測和研發(fā)中心分布于不同地域等因素,導(dǎo)致數(shù)據(jù)歸集、調(diào)度、加工與處理的流程異常復(fù)雜,面臨數(shù)據(jù)工程和模型工程挑戰(zhàn)。
這揭示了AI規(guī)?;涞氐暮诵穆窂剑阂劳屑闪薃I工具鏈與先進(jìn)數(shù)據(jù)存儲的AI數(shù)據(jù)湖架構(gòu),由政府主導(dǎo)建設(shè)存力中心、由企業(yè)構(gòu)筑行業(yè)數(shù)據(jù)湖,打通從數(shù)據(jù)治理到模型落地的全鏈路,破解AI落地的最后一公里難題。
基于此,華為推出了AI數(shù)據(jù)湖解決方案,提升數(shù)據(jù)價值密度。方案由數(shù)據(jù)湖存儲、數(shù)據(jù)管理、AI工具鏈ModelEngine、數(shù)據(jù)應(yīng)用與運營構(gòu)成。
在AI時代,海量數(shù)據(jù)需要隨時訪問、長期留存,這使得熱溫數(shù)據(jù)存儲空間需求急劇增加。為此,華為全閃分布式存儲在高性能款型OceanStor Pacific 9920/9928的基礎(chǔ)上,推出了全新款型OceanStor Pacific 9926,旨在加速SSD在海量數(shù)據(jù)場景下的廣泛應(yīng)用,加速實現(xiàn)HDD的升級替代。該產(chǎn)品搭載61.44/122.88TB高密大容量SSD,內(nèi)置高效數(shù)據(jù)縮減算法,可提供高達(dá)8PB/2U的容量密度,較HDD機型提升16倍;并基于端到端的NVMe協(xié)議性能優(yōu)化,單節(jié)點帶寬性能達(dá)成15GB/s,較HDD機型提升4倍;此外,采用面向大容量SSD優(yōu)化的專有EC算法、Die級數(shù)據(jù)重構(gòu)設(shè)計, 10分鐘/TB的重構(gòu)效率也相對HDD提高3倍。與此同時,OceanStor Pacific 9926將配套可得容量保障服務(wù),若達(dá)不到承諾容量即補盤,滿足用戶容量“所購即所得”。
針對AI訓(xùn)練/推理場景,華為OceanStor A800高性能AI存儲以存強算,提升AI集群利用率30%,并通過多級KV Cache技術(shù),讓大模型推理具備長記憶能力,提升推理效率。
華為通過聯(lián)合伙伴充分發(fā)揮數(shù)據(jù)聚合效應(yīng),實現(xiàn)數(shù)據(jù)全局可視、可管,落地數(shù)據(jù)高效應(yīng)用與運營。同時通過ModelEngine工具鏈框架開源共建生態(tài),使能數(shù)據(jù)工程和模型工程,幫助產(chǎn)業(yè)鏈伙伴和客戶快速完成數(shù)據(jù)編排、模型編排以及應(yīng)用對接,讓天下沒有難落地的AI。
AI時代,數(shù)據(jù)存儲大有可為。華為數(shù)據(jù)存儲將持續(xù)深化技術(shù)創(chuàng)新與生態(tài)協(xié)同,攜手全球伙伴構(gòu)建面向AI時代的數(shù)據(jù)基石,共同繪制數(shù)字經(jīng)濟(jì)發(fā)展的新藍(lán)圖。(華為供圖供稿)(推廣)







