原標(biāo)題:華為計(jì)算戰(zhàn)略再出新措,全面啟動(dòng)數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略
不鳴則已一鳴驚人,這就是華為。
還記得兩個(gè)月前華為在全聯(lián)接大會(huì)上的一系列操作嗎?發(fā)布全新計(jì)算戰(zhàn)略,開放鯤鵬主板接口規(guī)范和設(shè)備管理規(guī)范、開源服務(wù)器操作系統(tǒng)、開源GaussDB OLTP單機(jī)版數(shù)據(jù)庫……那時(shí)我就說很快華為還會(huì)有更多后續(xù)動(dòng)作。今天,它來了。
11月19日,華為在深圳召開2019全球數(shù)據(jù)基礎(chǔ)設(shè)施論壇。會(huì)上,華為重磅宣布全面啟動(dòng)數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略,并開源數(shù)據(jù)虛擬化引擎HetuEngine (河圖引擎)。
繼計(jì)算戰(zhàn)略之后,又宣布數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略,華為是何用意?數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略什么內(nèi)涵,和計(jì)算戰(zhàn)略又是什么關(guān)系?數(shù)據(jù)虛擬化引擎能給用戶帶去什么?
01
計(jì)算的主體是數(shù)據(jù)
數(shù)據(jù)將成為未來世界的關(guān)鍵生產(chǎn)資料,這一點(diǎn)相信已經(jīng)沒有人再懷疑。
打開快手,會(huì)收到你感興趣的內(nèi)容推送,背后就是數(shù)據(jù)在驅(qū)動(dòng);大港油田發(fā)現(xiàn)新的油氣層,離不開大數(shù)據(jù)和AI技術(shù)的支撐;華為每年近300萬人次出差能做到“說走就走”,免去申請(qǐng)、報(bào)銷等復(fù)雜的流程,是因?yàn)橥ㄟ^數(shù)據(jù)更有效、更合理的方式流轉(zhuǎn)代替了員工的跑腿。
然而一個(gè)不得不承認(rèn)的現(xiàn)實(shí)是,像這樣被利用起來的數(shù)據(jù)太少了,一方面是數(shù)據(jù)生產(chǎn)的速度太快,另一方面則是因?yàn)榇鎯?chǔ)、計(jì)算資源是有限的。
不信?舉幾個(gè)例子,從1080P提升到4K、8K,視頻數(shù)據(jù)量將提升40倍,從4K到4k VR要增加6倍以上;未來每輛自動(dòng)駕駛汽車每天就會(huì)產(chǎn)生高達(dá)64TB的數(shù)據(jù);深圳一個(gè)城市有超過200萬攝像頭,每天將生產(chǎn)80PB數(shù)據(jù),平均保存30天,而且大家希望保存的時(shí)間還要更長。
華為GIV 2025預(yù)測(cè),全球數(shù)據(jù)量將從2018年的33ZB快速增長到2025年的180ZB。這其中,產(chǎn)生的數(shù)據(jù)中僅有不到2%被保存,而被保存的數(shù)據(jù)中僅有不到10%被應(yīng)用。
數(shù)據(jù)增長和存儲(chǔ)資源、計(jì)算資源有限之間的矛盾可以說愈演愈烈。解決這一問題唯一的辦法就是在存儲(chǔ)、計(jì)算等基礎(chǔ)設(shè)施上下功夫。
于是,華為宣布了數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略。未來,華為將圍繞數(shù)據(jù)“采-存-算-管-用”的全生命周期,通過提供融合、智能、開放的數(shù)據(jù)基礎(chǔ)設(shè)施,使能各行各業(yè)客戶釋放數(shù)據(jù)價(jià)值,讓智能無所不及。
02
換個(gè)角度理解計(jì)算戰(zhàn)略
該如何理解數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略?其實(shí)早在華為發(fā)布計(jì)算戰(zhàn)略時(shí),對(duì)于數(shù)據(jù)部分就已經(jīng)有相應(yīng)的描述,即在智能數(shù)據(jù)與存儲(chǔ)領(lǐng)域,通過融合存儲(chǔ)、大數(shù)據(jù)、數(shù)據(jù)庫、AI等技術(shù),圍繞數(shù)據(jù)的全生命周期,讓數(shù)據(jù)的每比特成本最優(yōu)、讓數(shù)據(jù)的每比特價(jià)值最大。
對(duì)比兩次表述來看,異曲同工。因此在我看來,數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略并不是又一個(gè)全新的概念,而是華為整體計(jì)算戰(zhàn)略的一部分,華為在以一個(gè)更具象、更小的切口來落地計(jì)算戰(zhàn)略,畢竟計(jì)算戰(zhàn)略非常宏大。有了數(shù)據(jù)這個(gè)抓手,能更好的發(fā)揮華為整體計(jì)算戰(zhàn)略的能力。
事實(shí)也確實(shí)如此,如華為Cloud & AI產(chǎn)品與服務(wù)總裁侯金龍?jiān)谘葜v中所說,數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略是從數(shù)據(jù)角度對(duì)計(jì)算戰(zhàn)略的再度思考。
當(dāng)然,除了戰(zhàn)略目標(biāo),此次華為帶來的還有實(shí)踐理念和落地工具。其中最核心的是依托鯤鵬計(jì)算產(chǎn)業(yè),打造“融合、智能、開放”的數(shù)據(jù)基礎(chǔ)設(shè)施,讓數(shù)據(jù)系統(tǒng)從孤立走向融合,從復(fù)雜走向智能,從封閉走向開放。這也是此次大會(huì)取名全球數(shù)據(jù)基礎(chǔ)設(shè)施論壇的出發(fā)點(diǎn)。
融合,顧名思義打破孤立,主要針對(duì)基礎(chǔ)設(shè)施層。數(shù)據(jù)應(yīng)用主要涉及兩個(gè)部分:存儲(chǔ)與分析。傳統(tǒng)煙囪式IT業(yè)務(wù)系統(tǒng)面臨兩個(gè)挑戰(zhàn):存的時(shí)候數(shù)據(jù)孤立,且多副本,成本高利用難;分析的時(shí)候需要大量數(shù)據(jù)搬遷,效率低。融合就是要打破這其中的墻。
總結(jié)起來,有4堵墻:
一、存儲(chǔ)內(nèi)部系統(tǒng)墻:通過一套架構(gòu)實(shí)現(xiàn)生產(chǎn)、分析、備份、歸檔統(tǒng)一管理,一份數(shù)據(jù)在各個(gè)系統(tǒng)中可以平滑流動(dòng),進(jìn)而減少拷貝,TCO可降低30%以上。
二、數(shù)據(jù)庫與存儲(chǔ)鏈路墻:通過算子下推實(shí)現(xiàn)近數(shù)據(jù)計(jì)算,減少存儲(chǔ)層與計(jì)算層之間的數(shù)據(jù)交換,數(shù)據(jù)訪問和處理性能提升2倍。
三、大數(shù)據(jù)與存儲(chǔ)配置墻:通過存算分離實(shí)現(xiàn)資源靈活配置,計(jì)算不足擴(kuò)計(jì)算,存儲(chǔ)不足擴(kuò)存儲(chǔ),并通過彈性EC、數(shù)據(jù)縮減技術(shù)減少冗余,整體TCO降低30%以上。
四、數(shù)據(jù)庫與大數(shù)據(jù)協(xié)同墻:通過協(xié)同分析實(shí)現(xiàn)數(shù)據(jù)0搬遷,數(shù)據(jù)庫和大數(shù)據(jù)共享一份數(shù)據(jù),分析效率提升100%。
智能,主要解決運(yùn)維難題。架構(gòu)正變得越來越復(fù)雜,靠人越來越捉襟見肘,即便是經(jīng)驗(yàn)豐富的老工程師也越來越感覺吃力,這是人工智能被廣泛提及的基礎(chǔ)。華為基于AI芯片、存儲(chǔ)和華為云的三層架構(gòu),通過云上訓(xùn)練和云下推理,能夠讓系統(tǒng)越用越快、越用越省。
具體體現(xiàn)在三個(gè)方面:
- 依托昇騰處理器的AI能力,自動(dòng)學(xué)習(xí)和識(shí)別IO流,提升Cache預(yù)取命中率,系統(tǒng)整體性能提升20%。
- 依托鯤鵬處理器的多核算力,根據(jù)不同的數(shù)據(jù)類型,實(shí)時(shí)優(yōu)化數(shù)據(jù)縮減算法,TCO降低25%。
- 結(jié)合華為云自身大規(guī)模運(yùn)維運(yùn)營經(jīng)驗(yàn),當(dāng)前可以實(shí)現(xiàn)提前14天預(yù)測(cè)硬盤故障,提前60天預(yù)測(cè)性能瓶頸,提前365天預(yù)測(cè)容量不足,其中30%的故障可以自我修復(fù)。
開放,解決數(shù)據(jù)應(yīng)用難題。業(yè)務(wù)類型日益增多,跨平臺(tái)、跨數(shù)據(jù)源協(xié)同分析場(chǎng)景增多,找數(shù)難、取數(shù)難、用數(shù)難日益突出。比如
找數(shù)難:傳統(tǒng)企業(yè)數(shù)據(jù)類型越來越多,結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)并存,缺少統(tǒng)一數(shù)據(jù)目錄和全局?jǐn)?shù)據(jù)視圖,要在眾多異構(gòu)數(shù)據(jù)源中找到特定數(shù)據(jù),就像大海撈針。
取數(shù)難:一個(gè)典型的分析業(yè)務(wù)通常依賴跨地域跨平臺(tái)數(shù)據(jù)協(xié)同,需要從多個(gè)業(yè)務(wù)系統(tǒng)獲取數(shù)據(jù),這要經(jīng)過多部門間協(xié)調(diào)、核實(shí)才能獲取。
用數(shù)難:多業(yè)務(wù)分析需要多引擎協(xié)同,這將依賴多種數(shù)據(jù)訪問技術(shù),需要開發(fā)人員掌握多種開發(fā)工具和語言,這導(dǎo)致開發(fā)門檻變高,開發(fā)周期變長。為了屏蔽數(shù)據(jù)類型差異、地域差異、語法差異,讓數(shù)據(jù)治理更簡單,華為推出了“河圖引擎”。
融合、智能、開放,基礎(chǔ)設(shè)施、運(yùn)維、數(shù)據(jù),數(shù)據(jù)應(yīng)用基礎(chǔ)設(shè)施的方方面面,華為此次都給出了自己的觀察,并提供了相應(yīng)的解決方案。
03
河圖治水,河圖引擎治數(shù)
這里重點(diǎn)講講河圖引擎(HetuEngine)。“大禹得河圖后始見清明”,大禹通過河圖掌握河流山川復(fù)雜的地形地貌,順利完成治水大業(yè)。華為取名河圖就是想數(shù)據(jù)治理簡單,使用簡單,讓開發(fā)者像使用數(shù)據(jù)庫一樣使用大數(shù)據(jù),復(fù)用現(xiàn)有的生態(tài)、工具和技能,進(jìn)而提升開發(fā)效率。
眾所周知,數(shù)據(jù)庫已經(jīng)是非常成熟的產(chǎn)品,標(biāo)準(zhǔn)化語言,目錄清晰、接口統(tǒng)一,使用便捷。這也是河圖致力實(shí)現(xiàn)的目標(biāo)。
目前,河圖引擎具備4個(gè)核心能力:
一個(gè)目錄:通過元數(shù)據(jù)在線感知,構(gòu)建超過1000個(gè)異地異構(gòu)數(shù)據(jù)源全局虛擬數(shù)據(jù)視圖,打破數(shù)據(jù)孤島。數(shù)據(jù)全局可視,解決企業(yè)找數(shù)難問題。
一個(gè)入口:通過開放的連接框架、5000節(jié)點(diǎn)SQL引擎,實(shí)現(xiàn)30種異地異構(gòu)數(shù)據(jù)源統(tǒng)一SQL訪問,秒級(jí)獲取。數(shù)據(jù)全局可得,解決企業(yè)取數(shù)難問題。
一份數(shù)據(jù):通過CarbonData技術(shù),實(shí)現(xiàn)一份數(shù)據(jù)多場(chǎng)景分析,多應(yīng)用共享,數(shù)據(jù)0搬遷。數(shù)據(jù)全局可用,解決企業(yè)用數(shù)難問題。
統(tǒng)一安全:對(duì)于用戶最重視的數(shù)據(jù)安全性問題,河圖引擎通過細(xì)粒度動(dòng)態(tài)授權(quán)、敏感數(shù)據(jù)自動(dòng)感知技術(shù),能夠?qū)崿F(xiàn)異地異構(gòu)數(shù)據(jù)源集中式安全配置與管控。數(shù)據(jù)全局可控,數(shù)據(jù)授權(quán)時(shí)間從天到秒,解決企業(yè)數(shù)據(jù)安全與合規(guī)問題。
據(jù)悉,開源版本的河圖引擎叫OpenHetu,并將于2020年6月上線。華為將開源內(nèi)核,開發(fā)者可以基于開源代碼進(jìn)行定制,包括數(shù)據(jù)源擴(kuò)展、SQL執(zhí)行策略等,實(shí)現(xiàn)應(yīng)用快速對(duì)接,提升開發(fā)效率。總的目標(biāo),讓合作伙伴用得好,用的放心。
回過頭再看華為計(jì)算戰(zhàn)略,毫無疑問,其正在快速、穩(wěn)步的推進(jìn)。還是之前的判斷,這還只是華為計(jì)算戰(zhàn)略的開始,未來還會(huì)有更多后續(xù)。但值得強(qiáng)調(diào)的是,相比之前,華為這次找到了一個(gè)更好的切入點(diǎn),它就是數(shù)據(jù)。所以,接下來華為計(jì)算戰(zhàn)略的落地進(jìn)程肯定會(huì)走的更實(shí)、更快,拭目以待。
- 世間將再無松下電視:松下官宣解散家電子公司并徹底放棄電視機(jī)業(yè)務(wù)
- 雅迪集團(tuán)與南都電源簽署協(xié)議:攜手共繪固態(tài)電池未來藍(lán)圖
- 美媒聚焦比亞迪“副業(yè)”:電子代工助力蘋果,下個(gè)大計(jì)劃瞄準(zhǔn)AI機(jī)器人
- 微信零錢通新政策:銀行卡轉(zhuǎn)入資金提現(xiàn)免手續(xù)費(fèi)引熱議
- 消息稱塔塔集團(tuán)將收購和碩印度iPhone代工廠60%股份 并接管日常運(yùn)營
- 蘋果揭秘自研芯片成功之道:領(lǐng)先技術(shù)與深度整合是關(guān)鍵
- 英偉達(dá)新一代Blackwell GPU面臨過熱挑戰(zhàn),交付延期引發(fā)市場(chǎng)關(guān)注
- 馬斯克能否成為 AI 部部長?硅谷與白宮的聯(lián)系日益緊密
- 余承東:Mate70將在26號(hào)發(fā)布,意外泄露引發(fā)關(guān)注
- 無人機(jī)“黑科技”亮相航展:全球首臺(tái)低空重力測(cè)量系統(tǒng)引關(guān)注
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。