在生成式AI重塑世界的進程中,數(shù)據(jù)存儲的一場深層次變革已全面啟動。
當(dāng)AI大模型參數(shù)超越萬億級,AI推理全面走向工業(yè)化,Manus、Dify等Agent全面爆發(fā)之際,高質(zhì)量的數(shù)據(jù)集、全新的接口協(xié)議和高效快速的數(shù)據(jù)綜合處理帶來一系列全新存儲挑戰(zhàn)。此刻,算力對于AI應(yīng)用與發(fā)展依然重要,但沒有與之匹配的存力進行高效協(xié)同,再強大的算力也無用武之地。
因此,統(tǒng)一的AI數(shù)據(jù)平臺迅速崛起,成為存力發(fā)展的重要趨勢和數(shù)據(jù)存儲產(chǎn)業(yè)的焦點。AI數(shù)據(jù)平臺將塊存儲、文件、對象、表格、向量乃至事件流整合到統(tǒng)一的存儲之中,既兼容傳統(tǒng)的通用應(yīng)用場景,又高效支撐起新型AI應(yīng)用場景,更徹底消除數(shù)據(jù)孤島,讓數(shù)據(jù)價值得以全面釋放。
毫無疑問,與算力一樣,存力也即國力。在中國市場全面受制于先進AI芯片的不爭事實面前,AI數(shù)據(jù)平臺極具市場價值,它不僅為存算協(xié)同、以存代算帶來更優(yōu)解,也有望成為中國數(shù)據(jù)存儲產(chǎn)業(yè)在AI時代走向輝煌的起點。
AI 數(shù)據(jù)平臺崛起
AI大模型的爆發(fā),讓VAST DATA這家公司頻繁進入大眾的視野。作為一家成立僅九年的公司,VAST DATA如今估值達到300億美元,超過絕大多數(shù)傳統(tǒng)存儲公司。
VAST DATA之所以能在產(chǎn)業(yè)格局早已固化的數(shù)據(jù)存儲領(lǐng)域脫穎而出,關(guān)鍵在于其面向AI時代構(gòu)建數(shù)據(jù)平臺的理念引發(fā)關(guān)注。眾所周知,隨著AI大模型的快速迭代與進化,數(shù)據(jù)存儲的核心需求發(fā)生根本性變化,存儲基座全面走向重構(gòu),AI 數(shù)據(jù)平臺的價值全面顯現(xiàn)。
其一、從 CPU 轉(zhuǎn)向 GPU的計算范式變化,推動GPU+NVMe 全閃+RDMA 網(wǎng)絡(luò)成為新的技術(shù)堆棧標(biāo)準(zhǔn)。而GPU集群規(guī)模的持續(xù)增加,也導(dǎo)致吞吐量、并行復(fù)雜性和延遲敏感度大幅提升,AI訓(xùn)練、推理等工作負載追求高并發(fā)、低延遲、高吞吐的極致性能。
例如,隨著大模型參數(shù)規(guī)模的不斷增加,模型訓(xùn)練多節(jié)點梯度同步GB/s級的并發(fā),導(dǎo)致整個AI集群的并發(fā)復(fù)雜性持續(xù)提升;同時,AI推理對于延遲極為敏感,推理更是延遲>1ms即觸發(fā)降級,這些都對數(shù)據(jù)存儲的極致性能提出極大挑戰(zhàn),也讓傳統(tǒng)存儲舉步維艱。
其二、AI進入到全新發(fā)展階段,多模態(tài)成為AI大模型重要趨勢,加上Agent應(yīng)用的大量涌現(xiàn),不僅釋放出大量的推理需求,更直接推動Agent生態(tài)初步形成,這直接誕生出多模態(tài)數(shù)據(jù)統(tǒng)一管理、中間結(jié)果緩存復(fù)用、長效記憶能力構(gòu)建等全新的存儲需求。
以推理為例,國內(nèi)先進算力稀缺的現(xiàn)實狀況不容忽視。因此,存儲層面的以存帶算意義重大。存儲需要肩負起記憶持久化,基于KV Cache來避免AI推理算力的重復(fù)運算,推動存算協(xié)同的高效運行。
其三、除興起的AI應(yīng)用場景之外,企業(yè)依然有著像數(shù)據(jù)庫、虛擬化、通用文件等大量傳統(tǒng)應(yīng)用場景,二者之間在IOPS、延遲、接口等存儲需求迥異,存儲基座需要減少數(shù)據(jù)存儲層的復(fù)雜性,兼容過去和支持未來,并進一步強化數(shù)據(jù)安全和徹底消除數(shù)據(jù)孤島。
顯然,面對數(shù)據(jù)存儲核心需求的根本性變化,軟硬件架構(gòu)設(shè)計陳舊的傳統(tǒng)存儲已無所適從,AI數(shù)據(jù)平臺則加速接過傳統(tǒng)存儲的接力棒,成為眾多企業(yè)在AI時代構(gòu)建存儲基座的首先。
“存儲的角色不再是傳統(tǒng)的數(shù)據(jù)持久化,而是支撐萬億參數(shù)大模型高效訓(xùn)推和 Agent行動閉環(huán)的智能樞紐。”華瑞指數(shù)云CTO 曹羽中指出。
與VAST DATA類似,華瑞指數(shù)云(ExponTech)也是一家致力于AI數(shù)據(jù)平臺創(chuàng)新的存儲公司。事實上,在傳統(tǒng)存儲軟硬件架構(gòu)缺陷持續(xù)放大的背景下,AI數(shù)據(jù)平臺已然成為中國發(fā)展先進存力最重要的創(chuàng)新方向之一。
那么,以華瑞指數(shù)云為代表的中國存儲公司能否為AI時代的存儲基座帶來更優(yōu)解?
中國或有更優(yōu)解
舊的范式走向終結(jié),新的力量也即破土而出。
相比于傳統(tǒng)存儲,AI數(shù)據(jù)平臺就像一個重新設(shè)計的六邊形戰(zhàn)士,真正在產(chǎn)品層面掀起變革浪潮,滿足用戶“既要、又要、也要和還要”的全面需求。
以華瑞指數(shù)云的AI原生智能數(shù)據(jù)平臺--WADP為例,其為Agent時代和多模態(tài)AI設(shè)計了多協(xié)議的融合,是全球唯一能同時覆蓋企業(yè)關(guān)鍵業(yè)務(wù)與AI工作負載的分布式存儲軟件,可以幫助企業(yè)構(gòu)建統(tǒng)一、智能、無限擴展的存儲基座,以一套存儲平臺滿足全場景數(shù)據(jù)存儲需求。
具體來看,WADP首先是一款A(yù)I Native Universal Storage,采用模塊化可組合式架構(gòu)設(shè)計理念,在WiDE分布式數(shù)據(jù)引擎和天樞元數(shù)據(jù)引擎基礎(chǔ)上,開發(fā)出WDS、WFS、WOS和WQS等一系列組合產(chǎn)品。這種架構(gòu)設(shè)計的好處就是WADP產(chǎn)品組合中任何一款產(chǎn)品均能夠單獨為企業(yè)所使用,又能夠通過組合式架構(gòu)以一套存儲平臺滿足全場景需求。
眾所周知,傳統(tǒng)存儲最大詬病就是不同場景的部署與使用往往需要不同的存儲方案,數(shù)據(jù)、協(xié)議、系統(tǒng)之間不互通和協(xié)同性差,導(dǎo)致基礎(chǔ)設(shè)施擴展性差、數(shù)據(jù)孤島林立和數(shù)據(jù)價值無法高效釋放。而WADP則采用多協(xié)議融合的設(shè)計理念,同一份數(shù)據(jù)基于豐富的協(xié)議接口,無需來回移動拷貝數(shù)據(jù),實現(xiàn)無縫互通。
其次,性能與效率仍然是當(dāng)下AI基礎(chǔ)設(shè)施的核心挑戰(zhàn)。WADP這位“六邊形戰(zhàn)士”在性能和效率上同樣不打折扣,關(guān)鍵業(yè)務(wù)與AI工作負載等場景下均表現(xiàn)出色,實現(xiàn)“全面”和“專精”二者兼得。
以面向企業(yè)關(guān)鍵業(yè)務(wù)場景為例,WADP在全球存儲性能委員會SPC-1 評測以SDS+普通服務(wù)器的方式勇奪全球第一,一舉打破高端存儲多年的壟斷,在性能、延遲和性價比上全面領(lǐng)先,徹底顛覆SDS性能羸弱的刻板形象。曹羽中透露,其WADP在現(xiàn)實中已經(jīng)完成多個高端存儲遷移項目,幫助企業(yè)承接OLTP等核心業(yè)務(wù)工作負載。
又如,在面向AI的訓(xùn)練與推理場景中,WADP在今年的MLPerf Storage v2.0測試結(jié)果表現(xiàn)優(yōu)異,Resnet50模型訓(xùn)練測試中單客戶端支持的GPU卡數(shù)和帶寬排世界第一;Llama3模型測試僅使用其他評測方案1/5的SSD,在Checkpoint寫入帶寬排世界第三,硬件利用效率極為高效。
“MLperf測試現(xiàn)階段更加鼓勵存儲廠商用各種創(chuàng)新方案去驗證如何滿足AI場景的需求。華瑞指數(shù)云WADP展示了軟件方案搭配極簡硬件(DPU+JBOF盤框)同樣能做到超級IO處理效率、超高的容量密度和性能密度,且總體擁有成本遠低于其他方案?!辈苡鹬薪榻B道。
第三,與大部分傳統(tǒng)存儲不同,WADP設(shè)計之初就是為AI-Ready而準(zhǔn)備,滿足訓(xùn)練推理、KVCache、RAG場景優(yōu)化、Agent等AI場景的全棧存儲需求;同時,WADP研發(fā)也著眼于未來在數(shù)據(jù)類型、接口協(xié)議等未來的演進,推動AI算力與存力的無縫協(xié)同,讓企業(yè)數(shù)據(jù)通過存儲基座源源不斷為AI提供“燃料”。
以KVCache為例,對于國內(nèi)眾多用戶而言,AI芯片、HBM等在AI場景中至關(guān)重要,但價格昂貴且受限;隨著DeepSeek等開源大模型的大幅進步,推理時代的全面到來,如何在有限的硬件條件下提升推理速度、降低推理成本就成為當(dāng)前所有用戶都需要面對的一道難題。
對此,WADP的WQS SSD KVCache Pool功能以原生KV接口實現(xiàn)與HBM或者RAM對接,支持遠端和本地SSD形成KVCache Pool,為HBM提供無限擴展的全局共享外部存儲空間,實現(xiàn)超高吞吐、極低時延的推理體驗,同時廣泛兼容國內(nèi)外主流推理框架,真正實現(xiàn)以存代算,大幅度降低推理場景的算力成本。
曹羽中強調(diào):“現(xiàn)在存儲業(yè)界都在卷IOPS、時延、帶寬等性能指標(biāo),這是一個誤區(qū)。性能固然是AI應(yīng)用以及企業(yè)核心應(yīng)用的剛性需求,不過達到一定指標(biāo)之后,存儲的核心價值一是更多在于對于通用和AI場景的高效支持;二則是擺脫傳統(tǒng)存儲協(xié)議和IO架構(gòu)的束縛,面向AI場景設(shè)計新的接口方式和新的IO路徑,更高效的與算力以及Agent協(xié)同,這兩點也是WADP一直在堅持的方向?!?/p>
產(chǎn)業(yè)拐點,讓未來更有數(shù)
不可否認,隨著VAST DATA、Hammerspace、WEKA等一批美國存儲初創(chuàng)公司全面崛起,全球數(shù)據(jù)存儲產(chǎn)業(yè)正因為AI而進入到一個重要拐點。
對于中國數(shù)據(jù)存儲產(chǎn)業(yè)而言,在經(jīng)歷了傳統(tǒng)存儲陣列時代的艱難追趕之后,隨著AI數(shù)據(jù)平臺崛起,真正迎來全新的產(chǎn)業(yè)契機。這一次,中國存儲公司與海外存儲先鋒站在同一起跑線,有望在未來廣闊的市場舞臺上全面施展。
其一,中國市場已具備良好的AI數(shù)據(jù)平臺土壤。IDC數(shù)據(jù)顯示,2024年國內(nèi)市場的傳統(tǒng)陣列占比開始下降到50%以下,分布式存儲、SDS等被越來越多用戶所接受和使用。在傳統(tǒng)存儲陣列市場逐步下滑和式微之際,華瑞指數(shù)云等多家國內(nèi)存儲公司持續(xù)的深耕,讓基于分布式存儲軟件的AI數(shù)據(jù)平臺成為中國存儲產(chǎn)業(yè)最重要的賽道之一。
其二,AI數(shù)據(jù)平臺尚處于發(fā)展的早期,路徑依賴和依托國外開源的“拿來主義”絕非長遠之計。華瑞指數(shù)云用WADP證明,全自研固然艱難,但絕非遙不可及。此外,AI數(shù)據(jù)平臺在AI DATA、接口協(xié)議等方面依然有著極大探索與創(chuàng)新空間,堅持自研必然會獲得市場、用戶更加廣泛的認可。
綜合觀察,一直以來,數(shù)據(jù)存儲都以技術(shù)難、研發(fā)投入大、市場門檻高著稱。當(dāng)算力在AI時代狂飆時,AI數(shù)據(jù)平臺崛起,存力作為基座與支柱的價值愈發(fā)被認同,數(shù)據(jù)存儲產(chǎn)業(yè)也開始走向蛻變。面向未來,隨著華瑞指數(shù)云這樣的探路者陸續(xù)涌現(xiàn),中國存儲產(chǎn)業(yè)走向輝煌指日可待。
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個人觀點,與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請自行核實相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- AI數(shù)據(jù)平臺,中國或有更優(yōu)解
- 三十載熱愛同行, vivo Vision發(fā)布會暨影像盛典盛大舉辦
- MLPerf揭榜:拆解“黃金標(biāo)準(zhǔn)”背后的AI存儲新姿勢
- 再次升級!你的瀏覽器正式進入超域時代
- 快手財報背后的AI革命:數(shù)字內(nèi)容生態(tài)迎來新范式
- “羽絨服一哥”波司登:價格飆升背后的價值空心化困局
- 耐用品質(zhì)實戰(zhàn)之王,REDMI Note 15 Pro+震撼發(fā)布,首銷 1899元起
- 耐用品質(zhì)實戰(zhàn)之王,REDMI Note 15 Pro+震撼發(fā)布,首銷 1899元起
- 京東服飾美妝攜開封干娘舉辦七夕交友專場 助單身青年尋覓良緣
- 三十載熱愛同行, vivo Vision發(fā)布會暨影像盛典盛大舉辦
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。