在華為開發(fā)者大會(HDC 2024)上,華為云CTO張宇昕正式發(fā)布了EMS彈性內(nèi)存存儲服務。這一服務主要為了解決當前大模型訓練與推理領域所面臨的“內(nèi)存墻”挑戰(zhàn),即單個神經(jīng)處理單元(NPU)的高帶寬內(nèi)存(HBM)容量限制,該問題長期制約著AI算力的高效利用。

華為云EMS的創(chuàng)新之處在于它在NPU卡與持久化存儲之間增設了一層彈性內(nèi)存存儲,運用Memory Pooling專利技術,綜合顯存擴展、算力卸載和以存代算三大策略,有效打破了內(nèi)存瓶頸。具體來說:

顯存擴展:大模型推理中,由于模型太大,通常需要使用大量的NPU卡才能將模型參數(shù)裝下來進行推理,但是NPU的算力往往利用率不高。EMS將模型參數(shù)分層存儲在顯存和EMS,只用了一半的卡,就可存下萬億參數(shù)的大模型,NPU部署數(shù)量減少50%。

算力卸載:大模型推理過程中包括模型計算和KV相關計算,其中KV相關計算的顯存占用很大。EMS將KV相關計算的步驟卸載到EMS,而模型計算仍在NPU中進行,將AI推理性能提升了100%。

以存代算:大模型推理中為了節(jié)省顯存,歷史對話的KV Cache都不會保存,后續(xù)推理都只能重新計算,導致新推理的首Token時延超過1秒?，F(xiàn)在可以將歷史KV Cache保存在EMS里,供后續(xù)推理直接調(diào)用。優(yōu)化后推理首Token時延降低到0.2秒以內(nèi),優(yōu)化了80%。

目前,EMS彈性內(nèi)存存儲服務已在華為云官網(wǎng)上線,面向開發(fā)者與客戶開放。

（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）