華為數(shù)據(jù)存儲解決方案架構(gòu)師李斌杰:構(gòu)筑AI數(shù)據(jù)湖,解鎖數(shù)據(jù)潛能,領航AI時代
8月13日-16日,第21屆CCF全國高性能計算學術(shù)年會(CCF HPC China 2025)于鄂爾多斯盛大召開。8月15日,華為數(shù)據(jù)存儲解決方架構(gòu)師李斌杰出席華為高性能計算創(chuàng)新論壇,發(fā)表“解鎖數(shù)據(jù)潛能,領航AI時代”主題演講。
華為數(shù)據(jù)存儲解決方案架構(gòu)師李斌杰發(fā)表演講
AI時代,數(shù)據(jù)無所不在。新應用的爆發(fā)讓數(shù)據(jù)的價值不斷攀升,數(shù)據(jù)的規(guī)模增長催生了對數(shù)據(jù)基礎設施的更高要求。傳統(tǒng)架構(gòu)已難以承載海量數(shù)據(jù)的價值釋放訴求,存儲創(chuàng)新由此成為AI行業(yè)化落地的核心引擎。
當下,在國家將數(shù)據(jù)列為新型生產(chǎn)要素的戰(zhàn)略背景下,“以數(shù)據(jù)為中心”的存力中心建設恰逢其時,其已成為數(shù)據(jù)基礎制度和先進技術(shù)落地的重要載體,旨在將數(shù)據(jù)資源優(yōu)勢轉(zhuǎn)化為經(jīng)濟發(fā)展優(yōu)勢,激發(fā)數(shù)據(jù)要素活力。
對于企業(yè)而言,多模態(tài)數(shù)據(jù)治理、跨地域數(shù)據(jù)協(xié)同、復雜AI工程化已成為AI時代的三大首要挑戰(zhàn)。以自動駕駛業(yè)務為例,雖然其數(shù)據(jù)質(zhì)量較高,但由于多源異構(gòu)、模態(tài)復雜(如激光、雷達、點云、視覺等),以及路測和研發(fā)中心分布于不同地域等因素,導致數(shù)據(jù)歸集、調(diào)度、加工與處理的流程異常復雜,面臨數(shù)據(jù)工程和模型工程挑戰(zhàn)。
這揭示了AI規(guī)?;涞氐暮诵穆窂剑阂劳屑闪薃I工具鏈與先進數(shù)據(jù)存儲的AI數(shù)據(jù)湖架構(gòu),由政府主導建設存力中心、由企業(yè)構(gòu)筑行業(yè)數(shù)據(jù)湖,打通從數(shù)據(jù)治理到模型落地的全鏈路,破解AI落地的最后一公里難題。
基于此,華為推出了AI數(shù)據(jù)湖解決方案,提升數(shù)據(jù)價值密度。方案由數(shù)據(jù)湖存儲、數(shù)據(jù)管理、AI工具鏈ModelEngine、數(shù)據(jù)應用與運營構(gòu)成。
在AI時代,海量數(shù)據(jù)需要隨時訪問、長期留存,這使得熱溫數(shù)據(jù)存儲空間需求急劇增加。為此,華為全閃分布式存儲在高性能款型OceanStor Pacific 9920/9928的基礎上,推出了全新款型OceanStor Pacific 9926,旨在加速SSD在海量數(shù)據(jù)場景下的廣泛應用,加速實現(xiàn)HDD的升級替代。該產(chǎn)品搭載61.44/122.88TB高密大容量SSD,內(nèi)置高效數(shù)據(jù)縮減算法,可提供高達8PB/2U的容量密度,較HDD機型提升16倍;并基于端到端的NVMe協(xié)議性能優(yōu)化,單節(jié)點帶寬性能達成15GB/s,較HDD機型提升4倍;此外,采用面向大容量SSD優(yōu)化的專有EC算法、Die級數(shù)據(jù)重構(gòu)設計, 10分鐘/TB的重構(gòu)效率也相對HDD提高3倍。與此同時,OceanStor Pacific 9926將配套可得容量保障服務,若達不到承諾容量即補盤,滿足用戶容量“所購即所得”。
針對AI訓練/推理場景,華為OceanStor A800高性能AI存儲以存強算,提升AI集群利用率30%,并通過多級KV Cache技術(shù),讓大模型推理具備長記憶能力,提升推理效率。
華為通過聯(lián)合伙伴充分發(fā)揮數(shù)據(jù)聚合效應,實現(xiàn)數(shù)據(jù)全局可視、可管,落地數(shù)據(jù)高效應用與運營。同時通過ModelEngine工具鏈框架開源共建生態(tài),使能數(shù)據(jù)工程和模型工程,幫助產(chǎn)業(yè)鏈伙伴和客戶快速完成數(shù)據(jù)編排、模型編排以及應用對接,讓天下沒有難落地的AI。
AI時代,數(shù)據(jù)存儲大有可為。華為數(shù)據(jù)存儲將持續(xù)深化技術(shù)創(chuàng)新與生態(tài)協(xié)同,攜手全球伙伴構(gòu)建面向AI時代的數(shù)據(jù)基石,共同繪制數(shù)字經(jīng)濟發(fā)展的新藍圖。(華為供圖供稿)(推廣)