【
智慧城市網(wǎng) 企業(yè)關(guān)注】大模型時(shí)代,數(shù)據(jù)決定人工智能的高度,更多的訓(xùn)練數(shù)據(jù)是大模型迭代升級(jí)的前提,更高的數(shù)據(jù)質(zhì)量也決定著大模型訓(xùn)練的效果。當(dāng)前,大模型技術(shù)全面推動(dòng)底層基礎(chǔ)設(shè)施的發(fā)展,算力需求不斷攀升,海量數(shù)據(jù)的存儲(chǔ)和處理需求不斷增長(zhǎng),對(duì)人工智能存儲(chǔ)的性能、擴(kuò)展性、數(shù)據(jù)韌性、數(shù)據(jù)范式等都提出更高要求。
為充分發(fā)揮新型AI存儲(chǔ)對(duì)大模型賦能作用,更好支撐大模型發(fā)展,推動(dòng)大模型應(yīng)用落地,中國(guó)信息通信研究院(簡(jiǎn)稱“中國(guó)信通院”)人工智能研究所特編制《新型人工智能存儲(chǔ)研究報(bào)告(2025年)》。2025年4月9日,在中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟第十四次全會(huì)上,中國(guó)信通院人工智能研究所發(fā)布此報(bào)告,中國(guó)信通院人工智能研究所平臺(tái)與工程化部主任曹峰對(duì)報(bào)告進(jìn)行了解讀。
報(bào)告重點(diǎn)對(duì)新型人工智能存儲(chǔ)的概念范圍、面臨挑戰(zhàn)、關(guān)鍵技術(shù)和最佳實(shí)踐進(jìn)行了梳理和分析。概念范圍上,梳理了新型人工智能存儲(chǔ)的基本概念,分析了全球人工智能存儲(chǔ)戰(zhàn)略和人工智能存儲(chǔ)現(xiàn)狀。面臨挑戰(zhàn)上,點(diǎn)明了新型人工智能存儲(chǔ)是發(fā)力大模型的基礎(chǔ),但同時(shí)在海量數(shù)據(jù)歸集、訓(xùn)練數(shù)據(jù)訪問效率、推理實(shí)時(shí)性等方面存在諸多挑戰(zhàn)。關(guān)鍵技術(shù)上,闡明了新型人工智能存儲(chǔ)需要從存儲(chǔ)介質(zhì)、架構(gòu)、系統(tǒng)、管理、編織和安全等方面發(fā)力。最佳實(shí)踐上,介紹了銀行、運(yùn)營(yíng)商、AI企業(yè)等在新型人工智能存儲(chǔ)的實(shí)踐案例。最后,報(bào)告針對(duì)當(dāng)前人工智能存儲(chǔ)發(fā)展的挑戰(zhàn),提出了未來我國(guó)新型人工智能存儲(chǔ)發(fā)展建議。
報(bào)告核心觀點(diǎn)
1. 新型AI存儲(chǔ)是指專為人工智能應(yīng)用和服務(wù)設(shè)計(jì)的數(shù)據(jù)存儲(chǔ)系統(tǒng),具備超高性能、超大容量、極致安全、數(shù)據(jù)編織等特征,可以有效支撐海量數(shù)據(jù)的分析和學(xué)習(xí),是AI基礎(chǔ)架構(gòu)不可或缺的組成部分。
2. 新型人工智能存儲(chǔ)具備極致性能、數(shù)據(jù)安全、大模型數(shù)據(jù)范式、高擴(kuò)展性、數(shù)據(jù)編織和綠色節(jié)能6大關(guān)鍵特征。極致性能密度加快數(shù)據(jù)供給,提升AI全流程效率;支持向量、KV Cache等數(shù)據(jù)范式,加速推理應(yīng)用;AI存儲(chǔ)高可靠性提升基礎(chǔ)設(shè)施持續(xù)服務(wù)時(shí)間,防勒索和加密保障數(shù)據(jù)安全;高擴(kuò)展的AI數(shù)據(jù)湖降低數(shù)據(jù)工程和應(yīng)用對(duì)接難度;數(shù)據(jù)編織實(shí)現(xiàn)全局?jǐn)?shù)據(jù)可視可管,通過數(shù)據(jù)版本和血緣管理,保障數(shù)據(jù)質(zhì)量不被破壞;綠色AI存儲(chǔ),降低每TB數(shù)據(jù)能耗和占用空間。
新型AI存儲(chǔ)特征
3. 長(zhǎng)記憶存儲(chǔ)范式為推理提質(zhì)增效。長(zhǎng)記憶存儲(chǔ)通過多級(jí)KV Cache機(jī)制,降低大模型推理的內(nèi)存占用和計(jì)算開銷。它以分級(jí)方式實(shí)現(xiàn)“終身記憶”能力,支持長(zhǎng)序列推理和動(dòng)態(tài)上下文建模。例如,在醫(yī)療領(lǐng)域,長(zhǎng)記憶存儲(chǔ)可緩存病理圖像的歷史計(jì)算結(jié)果,減少大部分冗余計(jì)算,提升推理速度數(shù)倍,同時(shí)支持多模態(tài)數(shù)據(jù)協(xié)同,增強(qiáng)模型對(duì)復(fù)雜場(chǎng)景的適應(yīng)性。
4. 數(shù)據(jù)編織加強(qiáng)數(shù)據(jù)跨域高效處理。數(shù)據(jù)編織通過構(gòu)建統(tǒng)一數(shù)據(jù)視圖,打破數(shù)據(jù)孤島,實(shí)現(xiàn)跨域數(shù)據(jù)整合與高效流動(dòng)。其技術(shù)包括數(shù)據(jù)版本管理、數(shù)據(jù)血緣管理和統(tǒng)一命名空間,確保數(shù)據(jù)質(zhì)量不下降,并通過兼容多種存儲(chǔ)協(xié)議實(shí)現(xiàn)AI全流程業(yè)務(wù)的無(wú)縫對(duì)接。例如,在AI企業(yè)實(shí)踐中,全局文件系統(tǒng)支持?jǐn)?shù)據(jù)零拷貝和端到端加速,跨域調(diào)度效率提升數(shù)倍,顯著降低數(shù)據(jù)治理成本,滿足大模型對(duì)場(chǎng)景化數(shù)據(jù)治理的需求。
5. 超節(jié)點(diǎn)存儲(chǔ)架構(gòu)持續(xù)支撐擴(kuò)展法則。超節(jié)點(diǎn)存儲(chǔ)架構(gòu)通過全對(duì)等、全直通設(shè)計(jì),實(shí)現(xiàn)存儲(chǔ)與計(jì)算之間高并行數(shù)據(jù)直通。例如,通過高通量數(shù)據(jù)總線互聯(lián),統(tǒng)一內(nèi)存語(yǔ)義訪問數(shù)據(jù),實(shí)現(xiàn)計(jì)算、存儲(chǔ)資源解耦靈活調(diào)度,資源利用率最大化;通過近存計(jì)算將數(shù)據(jù)預(yù)處理功能下沉至存儲(chǔ)層,減少數(shù)據(jù)搬運(yùn)開銷,支撐十萬(wàn)卡級(jí)算力集群擴(kuò)展,滿足大模型對(duì)高擴(kuò)展性和高并行數(shù)據(jù)流轉(zhuǎn)的需求。
6. 高性能并行文件系統(tǒng)以存強(qiáng)算。高性能并行文件系統(tǒng)通過高性能、高可靠、高擴(kuò)展和加速卡直通存儲(chǔ)技術(shù)特性,提升大模型訓(xùn)練推理效率。其四大能力包括:百PB/s級(jí)帶寬和億級(jí)IOPS能力支持超萬(wàn)卡集群無(wú)瓶頸擴(kuò)展;EB級(jí)擴(kuò)展能力適應(yīng)海量數(shù)據(jù);存儲(chǔ)系統(tǒng)高可用性達(dá)到六個(gè)九,實(shí)現(xiàn)軟硬件故障的自動(dòng)切換;加速卡直通技術(shù)實(shí)現(xiàn)數(shù)據(jù)從存儲(chǔ)到GPU的“一跳直達(dá)”。
版權(quán)與免責(zé)聲明:
凡本網(wǎng)注明“來源:智慧城市網(wǎng)”的所有作品,均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-智慧城市網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品,未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明“來源:智慧城市網(wǎng)”。違反上述聲明者,本網(wǎng)將追究其相關(guān)法律責(zé)任。
本網(wǎng)轉(zhuǎn)載并注明自其它來源(非智慧城市網(wǎng))的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)或和對(duì)其真實(shí)性負(fù)責(zé),不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí),必須保留本網(wǎng)注明的作品第一來源,并自負(fù)版權(quán)等法律責(zé)任。
如涉及作品內(nèi)容、版權(quán)等問題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。