當下,中國已經成為全球最大的數據生產國,其中物聯(lián)網的數據產生量備受關注。據前瞻產業(yè)研究院發(fā)布的《2019 年中國大數據產業(yè)全景圖譜》顯示,預計 2025 年,物聯(lián)網數據占比將增加到 21%,增速最快。而物聯(lián)網數據本身價值密度小、數據體量大、數據時效性高、數據質量低等特點,使得物聯(lián)網數據分析面臨著諸多的關鍵挑戰(zhàn),很難發(fā)揮其真正的效用。

7月18日,在【 DevRun 開發(fā)者沙龍——華為云深圳金蝶專場】上,華為云為開發(fā)者分享了“以孿生模型驅動的 IoT 數據分析如何使能行業(yè)”的相關技術原理、實踐經驗和對應方法論,為物聯(lián)網數據分析帶來新的機遇。

以下內容經由 InfoQ 編輯整理自【 DevRun 開發(fā)者沙龍——華為云深圳金蝶專場】中張少偉老師的分享。

1.如何做好 IoT 數據分析

物聯(lián)網數據主要是指傳感器和設備發(fā)過來的數據。這些數據一部分是對現(xiàn)實環(huán)境參數的采集值,一部分是設備的一些常規(guī)信息值,比如:狀態(tài)、故障信息、錯誤代碼、運行情況等。物聯(lián)網數據在任何情況下都會產生數據,無需人為參與就會不斷涌現(xiàn)出新的數據,其數據量遠遠大于傳統(tǒng)業(yè)務系統(tǒng)的業(yè)務數據。這就使得企業(yè)經常面臨高成本的數據存儲、數據處理環(huán)節(jié)低效、低質量的數據等問題,那么該如何對這些大量的、源源不斷的 IoT 數據做好分析呢?

華為云提出了四點解決方案:

構建資產模型是充分“理解”物聯(lián)網數據、構建數字孿生的基礎

數字孿生,是充分利用物理模型、傳感器更新、運行歷史等數據,集成多學科、多物理量、多尺度、多概率的仿真過程,在虛擬空間中完成映射,從而反映相對應的實體裝備的全生命周期過程。簡單來說,數字孿生就是對物理世界進行數字化的實時映射。

那么如何打通物理世界與數字世界的關聯(lián),如何更好地理解設備從而快捷高效地分析數據,成為物聯(lián)網企業(yè)急需的基礎業(yè)務。張少偉認為,構建資產模型是充分“理解”物聯(lián)網數據的基礎,現(xiàn)實世界的設備不是離散的,而是具有空間、組織、人等復雜關系與上下文存在的。

以智能樓宇的行業(yè)開發(fā)為例,在實際應用開發(fā)中,由于每個樓宇、樓層的設備為離散的物理設備,如果需要按照樓宇、樓層等為單位進行統(tǒng)計并監(jiān)控設備,就需要對樓宇、設備之間的關系進行標注關聯(lián)。于是可以將 IoT 數據放置于一個上下文關系中理解,將數據以下圖所示的層次結構管理再去做數據分析。這樣之前 ID 為 XXX 的溫度傳感器讀數多少,在建模后可以直接用“302 房間的溫度多少?”來表達。

物聯(lián)網數據處理的關鍵是對時序數據的處理

物聯(lián)網數據具備顯著的時序特征:按照時間維度上報、存儲、查詢數據。因此在做物聯(lián)網數據分析時,要對時序數據做充分的考慮,比如某些物聯(lián)網設備可能產生巨量數據,最大限度的壓縮是減少成本的直接手段;怎樣滿足海量設備高并發(fā),實時寫入的要求;面對長時間積累的物聯(lián)網數據,如何滿足高性能查詢,特別是經常做時間維度的聚合查詢;以及在時間的維度上對海量的物聯(lián)網產生的時序數據做時間維度的查詢計算等。

將數據時效性分層處理,獲得綜合處理效率最大化

在數據接入后,可以將物聯(lián)網數據總結為冷數據、熱數據、溫數據。冷數據是對于離線類不經常訪問的歸檔數據,在需要時對數據做批處理;熱數據是需要被計算節(jié)點實時處理和分析的數據,對時效性非常敏感;溫數據是近期需要頻繁處理的數據。將這些數據進行如下圖所示的分層處理,以實現(xiàn)綜合處理的效率最大化。

高效的數據清洗,為數據分析輸入高質量的數據

在做物聯(lián)網分析時,因為物聯(lián)網數據質量的問題,物聯(lián)網數據清洗是一項重要的環(huán)節(jié),如下圖所示。物聯(lián)網數據中,經常出現(xiàn)一些典型的問題,比如缺值、數據的異常跳變、重復數據、格式差異、噪音干擾等,數據清洗環(huán)節(jié)可以幫助數據分析的開發(fā)者改善數據質量。此外,在做數據清洗的過程中,有兩點非常重要,第一個是實時性,上文提到物聯(lián)網數據實時性要求比較高,這里同樣希望可以進行實時的數據清洗;另外數據清洗可以適應 IoT 非結構化或者半結構化的數據特征,通過清洗再提供相對高質量的數據。

2.華為云 IoT 一站式物聯(lián)網數據分析服務——IoTA

基于以上四點,華為云推出以資產模型為驅動的一站式物聯(lián)網數據分析服務——IoTA,基于物聯(lián)網資產模型,整合大數據分析領域的最佳實踐,實現(xiàn)物聯(lián)網數據集成、清洗、存儲、分析、可視化,為開發(fā)者打造一站式數據開發(fā)體驗,并與華為云物聯(lián)網相關云服務(比如設備接入)無縫對接,降低開發(fā)門檻,縮短開發(fā)周期,快速實現(xiàn)物聯(lián)網數據價值變現(xiàn)。結構如下圖所示。

左邊是兩種類型的數據源,一種是 IoT 設備實時采集的物聯(lián)網數據,實時數據源;另一種是 IoT 子系統(tǒng)中需要批量導入的數據。

中間是華為云的 IoT 數據分析服務 IoTA,大概分為幾個板塊:首先是數據清洗的功能板塊,通過 Data Pipeline 即數據管道實現(xiàn),能夠把數據從管道里面進行相應的處理,并提供了一些清洗算子,例如轉換、刪除、去重、插值、降噪等,將原始數據變?yōu)楦哔|量數據。為了降低數據清洗開發(fā)的難度,華為云 IoTA 提供圖形化的 IDE 環(huán)境,開發(fā)者通過簡單的拖拽即可完成。其次是溫冷分層存儲功能和資產模型。IoTA 的溫冷分層存儲集成了時序和對象存儲,幫助開發(fā)者以分層的方式管理數據。資產模型功能可以讓開發(fā)者快速地進行建模,描述物理空間中的對象,一旦模型構建起來,后面就可以基于該模型進行相應的數據分析。右邊是數據分析板塊,華為云 IoTA 集成了時序分析、流分析以及離線分析,提供相應的計算引擎,最后是提供面向特定行業(yè)的行業(yè)分析套件,提供面向行業(yè)場景化的分析能力封裝。

需要強調的是,華為云 IoTA 具備五個關鍵價值:

簡化數據開發(fā)過程,降低門檻,加速業(yè)務上線

之前,數據開發(fā)過程的技術門檻較高,很多物聯(lián)網領域的中小企業(yè)因為缺乏專業(yè)數據分析領域的人才,實施起來較為困難,比如應該選擇什么樣的數據平臺架構設計?Lamda or Kappa or 其他 ?公有云上的大數據 PaaS 服務琳瑯滿目,選擇哪些組件最適合我的 IoT 項目呢?在這個過程中,華為云 IoTA 提供了一站式的物聯(lián)網數據分析,讓開發(fā)者做到開箱即用,包括數據集成,數據清洗,數據存儲,數據建模,數據分析,數據可視化,整個過程縮短開發(fā)周期 40% 以上;在技術選型上,IoTA 充分考慮當前技術趨勢,利用比如存算分離,孿生建模,Serverless,實時清洗等技術,使用戶無需感知復雜技術,減少高端技術人員雇傭費用。

通過資產建模,將 IoT 數據轉化為有語義的數據

區(qū)別于公有云通用類大數據分析相關服務,華為云 IoT 物聯(lián)網數據分析服務與資產模型深度整合,以 Digital Twin 資產模型為中心驅動數據分析,開發(fā)者可以直接使用統(tǒng)一的物聯(lián)網模型數據,大大提升數據分析的效率。通過構建物與物,物與空間,物與人等復雜關系,將物聯(lián)網數據置于模型的“上下文”中去理解;通過“IoT+ 資產模型”,在數字世界中構建與物理世界準實時同步的數字孿生;基于模型抽象,為數據分析提供面向業(yè)務的接口封裝。

其具備四點核心功能:1. 利用樹狀層級結構描述復雜物理對象的內在關系,比如空間關系,組合關系,上下游關系等;2. 虛測點支持豐富的計算算子,比如四則運算,科學計數法,三角函數,滑窗,流計算等;3. 支持定義資產模板,快速復制;4. 所見即所得的圖形化編輯方式,簡化復雜資產開發(fā)難度。

實時數據清洗,改善物聯(lián)網數據質量

如下圖所示為華為云 IoTA 的數據管道,在這個數據管道中,主要包括五個功能。第一,提供圖形化的開發(fā)環(huán)境,拖拽即可完成數據清洗和預處理;第二,基于流計算引擎,滿足對 IoT 數據處理高實時性要求;第三,含有豐富的 IoT 清洗算子(10+),可以應對各種 IoT 數據問題;第四,具備 IoT 數據質量評估系統(tǒng),為數據質量打分;第五,靈活的數據流轉控制,滿足各種數據分析應用場景的需要。

分層的 IoT 數據存儲機制,降低數據存儲和管理成本

華為云 IoTA 將數據存儲分為溫數據存儲和冷數據存儲。溫數據存儲采用適用物聯(lián)網數據特征的時序數據庫技術,基于 SSD 存儲介質,滿足 ms 級數據查詢要求;冷數據存儲采用可靠安全的對象存儲,價格低廉,并結合 IoTA 離線分析,輕松處理 PB 級數據。另外,用戶在管理溫冷存儲時,可以結合自己的業(yè)務需要,只需設定老化周期,就可進行溫數據存儲到冷數據存儲的自動轉存,把數據管理好。

面向物聯(lián)網實時數據的全面優(yōu)化

針對實時數據,華為云 IoTA 服務對數據寫入、數據存儲、數據建模、數據洞察等模塊都做了優(yōu)化。在數據寫入模塊中,華為云 IoTA 支持海量時間線,并按時間線做 Hash Partition,所有 Shard 節(jié)點并行寫入,Shard 按照數據量自動分裂,同時單實例支持超 10 萬時間線,最大億級時間線。在數據存儲中,華為云 IoTA 提供列式存儲,不同數據類型(如時間類型,浮點型)采用不同壓縮算法,相比開源 OpenTSDB 壓縮率提升 10 倍。在數據建模模塊中,華為云 IoTA 支持按資產模型數據格式入庫存儲,并按模型層次快捷檢索測點時序數據。最后在數據洞察模塊中,華為云 IoTA 支持在線時序數據透視,支持折線圖、堆積圖、散點圖多種展現(xiàn)形式,時間軸、特定周期、定義功能齊全,便捷選擇時間段數據,還可進行多種數據聚合方式展示,如最大值、最小值、平均值等。

3.華為云 IoTA 應用實例

智慧倉儲實時分析

如下圖所示,在倉庫的進出庫管理中,基于數據分析服務的建模能力與實時分析,利用華為公有云 ModelArts 進行 AI 推理計算,并與 RFID 讀寫器設備配合,對 RFID 數據流進行識別檢測,可實現(xiàn)秒級判斷出貨物在進出庫過程中的進出方向,繼而可自動與貨單進行校對,實時告知倉庫管理人員進出貨物的情況。

產線數字化

下圖所示為我國某一鋼廠基于華為云的能力進行的產線數字化項目,即產線的數字孿生。通過 IoTA 服務對各個工藝環(huán)節(jié)建模,幫助其實現(xiàn)質量分析 。在該場景下做產品的質量分析面臨的一個關鍵環(huán)節(jié)就是時空對齊,該如何理解資產建模幫助構建時空關系的映射呢?想象一個軋件是一個很長的鋼板,而比如這個鋼板在偏移兩百米的空間位置上有質量缺陷,那么我們需要知道為什么該區(qū)域質量比較差,產線的各工藝環(huán)節(jié)在處理該區(qū)域的時刻,當時的工藝參數分別都是什么?這就是一個比較復雜的時空關系匹配問題。華為云 IoTA 對產線進行建模,描述產線這一復雜的物理對象,將物理空間中的時空關系在數字世界中進行建模,繼而給應用層開放具備語義的數據,幫助應用層進一步的數據分析。

4.最后

隨著 5G 應用的持續(xù)深化,物聯(lián)網之間的連接將變得更加緊密。然而物聯(lián)網數據本身價值密度小、數據體量大、數據時效性高、數據質量低等特點,使得物聯(lián)網數據分析面臨著諸多的關鍵挑戰(zhàn),很難真正為行業(yè)所用。而這,也一直正是華為云 IoT 所致力于解決的問題。

7月25日,DevRun 開發(fā)者沙龍華為云西安專場精彩繼續(xù),屆時華為云多位資深技術專家將就 GaussDB 企業(yè)數據庫、云端 IoT 應用、云平臺低代碼應用開發(fā)、云 API 助力生態(tài)建設和云端零代碼 AI 開發(fā)五個主題做深度分享。

（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）