當(dāng)我們?cè)诘罔F上習(xí)慣性地拿起手機(jī)發(fā)幾條微博的時(shí)候，當(dāng)我們被一張又一張的美圖迷亂了眼球的時(shí)候，當(dāng)各式各樣的網(wǎng)絡(luò)拍客忙得熱火朝天的時(shí)候……一個(gè)叫做“大數(shù)據(jù)(Big Data)”的名詞不經(jīng)意間在IT界走紅，“大數(shù)據(jù)”的時(shí)代正在朝我們走來。

所謂的“大數(shù)據(jù)”有兩個(gè)方面的內(nèi)涵——海量和非結(jié)構(gòu)化。這并非一個(gè)很突然的變化，更不是一個(gè)很新鮮的趨勢(shì)，那它究竟意味著什么?答案是——機(jī)遇。一方面，對(duì)于企業(yè)是一種機(jī)遇。企業(yè)可以基于現(xiàn)有的大量的數(shù)據(jù)、海量數(shù)據(jù)進(jìn)行分析，并利用這些數(shù)據(jù)產(chǎn)生效益。另一方面，對(duì)一些特定領(lǐng)域的發(fā)展來說也是機(jī)遇。如醫(yī)療等領(lǐng)域，有著大量的文獻(xiàn)、化驗(yàn)結(jié)果、病例等等，這些信息大部分以人類語(yǔ)言方式記錄下來，通過對(duì)這些信息的挖掘，可以輔助醫(yī)生作出正確的決策。

當(dāng)然，機(jī)遇與挑戰(zhàn)并存，“大數(shù)據(jù)”對(duì)于企業(yè)來說也是如此。在談Watson如何幫助企業(yè)應(yīng)戰(zhàn)“大數(shù)據(jù)”時(shí)代之前，首先需要了解“大數(shù)據(jù)”對(duì)于企業(yè)來說究竟意味著怎樣嚴(yán)峻的挑戰(zhàn)。

“大數(shù)據(jù)”時(shí)代企業(yè)面臨著三大嚴(yán)峻現(xiàn)實(shí)

現(xiàn)實(shí)之一：海量

IDC最新數(shù)字宇宙研究報(bào)告表明，到2020年，全球數(shù)據(jù)使用量預(yù)計(jì)暴增44倍，達(dá)到35.2ZB。35ZB是什么概念?(1ZB=1024EB=1048576PB=1073741824TB，1073741824TB*35=37580963840TB)，也就是說全球大概需要376億個(gè)1TB硬盤來存儲(chǔ)數(shù)據(jù)。

現(xiàn)實(shí)之二：非結(jié)構(gòu)化

相對(duì)于結(jié)構(gòu)化數(shù)據(jù)(即行數(shù)據(jù),存儲(chǔ)在數(shù)據(jù)庫(kù)里,可以用二維表結(jié)構(gòu)來實(shí)現(xiàn)的數(shù)據(jù))而言,不方便用數(shù)據(jù)庫(kù)二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù),包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報(bào)表、圖像和音頻/視頻信息等等。

據(jù)統(tǒng)計(jì)，企業(yè)中20%的數(shù)據(jù)是結(jié)構(gòu)化的，80%是非結(jié)構(gòu)化或半結(jié)構(gòu)化的。當(dāng)今世界結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)率大概是32%，而非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)則是63%，至2012年，非結(jié)構(gòu)化數(shù)據(jù)占有比例將達(dá)到互聯(lián)網(wǎng)整個(gè)數(shù)據(jù)量的75%以上。

現(xiàn)實(shí)之三：實(shí)時(shí)處理

一項(xiàng)對(duì)全球CIO調(diào)查得出的結(jié)論表明：“通過對(duì)企業(yè)界搜集的大量數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，并從中獲得啟示，進(jìn)而將這些啟示轉(zhuǎn)化為自身的競(jìng)爭(zhēng)優(yōu)勢(shì)，對(duì)當(dāng)今企業(yè)來說至關(guān)重要。”

某證券公司的CIO在介紹公司對(duì)于數(shù)據(jù)實(shí)時(shí)處理的需求時(shí)曾經(jīng)表示，上億條數(shù)據(jù)的分析要在5秒鐘內(nèi)完成。

 “大數(shù)據(jù)”來襲!人機(jī)大戰(zhàn)冠軍Watson如何應(yīng)戰(zhàn)?

作為IBM“智慧的運(yùn)算”理念的重要支柱，Watson以其海量數(shù)據(jù)實(shí)時(shí)分析、負(fù)載優(yōu)化系統(tǒng)方面的能力征服了全世界，下面將進(jìn)一步分析Waston將有哪些法寶來助力企業(yè)應(yīng)對(duì)“大數(shù)據(jù)”的挑戰(zhàn)，抓住大數(shù)據(jù)的機(jī)遇。

法寶之一：超強(qiáng)的自然語(yǔ)言理解能力。對(duì)于那些廣泛使用分析應(yīng)用的企業(yè)用戶來說很重要這這一點(diǎn)很重要，過去，那些企業(yè)用戶往往會(huì)被這類應(yīng)用的復(fù)雜的接口所嚇倒。Watson證明了通過自然語(yǔ)言與計(jì)算機(jī)的互交不再是科幻小說和好萊塢電影里的情節(jié)，其超強(qiáng)的自然語(yǔ)言理解技術(shù)完全可以根據(jù)自然語(yǔ)言上下文的內(nèi)容和語(yǔ)境來準(zhǔn)確理解詞義。

法寶之二：非結(jié)構(gòu)化數(shù)據(jù)的處理。Watson是根據(jù)一些文本形式知識(shí)庫(kù)來回答問題，這樣的文本庫(kù)是非結(jié)構(gòu)化的信息，而不是基于結(jié)構(gòu)化的知識(shí)庫(kù)，這樣的知識(shí)庫(kù)可以使用知識(shí)表示語(yǔ)言(如CYC)來表示。在這一方面，Watson與Wolfram|Alpha等其他的問答系統(tǒng)有很大的不同。

法寶之三：快速、高效地處理非結(jié)構(gòu)化數(shù)據(jù)。盡管Waston在《危險(xiǎn)邊緣》節(jié)目中所分析的數(shù)據(jù)集相對(duì)于“大數(shù)據(jù)”的標(biāo)準(zhǔn)來說微不足道，但是，能夠快速、高效地對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析是許多大數(shù)據(jù)分析情況中非常具有代表性的需求。很多時(shí)候，你不能確定需要對(duì)何種數(shù)據(jù)進(jìn)行分析，不知道數(shù)據(jù)從哪里來，每一個(gè)數(shù)據(jù)集將會(huì)有多大，它是否干凈，甚至不知道必須要在多久之內(nèi)提供一個(gè)答案。

法寶之四：基于文本的預(yù)測(cè)和分析算法。Waston目前使用了大量的預(yù)測(cè)模型來分析大數(shù)據(jù)，并且實(shí)時(shí)地得出結(jié)論。這是十分重要的一點(diǎn)，因?yàn)檫@為大數(shù)據(jù)的分析提供了另外一種很重要的方法。它與傳統(tǒng)的Hadoop/MapReduce實(shí)現(xiàn)方式不同，不是一個(gè)單一的分析算法然后用MapReduce來適應(yīng)一個(gè)大的數(shù)據(jù)集，而是使用了一些不同的預(yù)測(cè)和評(píng)估的算法。這些算法其中可能有一些是并行的，可以最大程度地發(fā)揮MapReduce的優(yōu)勢(shì)。這些基于文本的算法的應(yīng)用對(duì)于IBM來說十分重要，因?yàn)樗蟛糠值目蛻舳济媾R著這樣的數(shù)據(jù)(文本數(shù)據(jù))。

當(dāng)然，在比賽中，沃森分析的數(shù)據(jù)都是比較干凈的，現(xiàn)實(shí)生產(chǎn)中的“大數(shù)據(jù)”很少有這樣干凈的數(shù)據(jù)，IBM還需要用更加嘈雜的數(shù)據(jù)以及視頻和音頻數(shù)據(jù)來測(cè)試系統(tǒng)的性能。Watson未來將針對(duì)不同的行業(yè)應(yīng)用推出負(fù)載優(yōu)化的解決方案，如醫(yī)療、金融、呼叫中心等，屆時(shí)IBM Watson將會(huì)真正成為“大數(shù)據(jù)”時(shí)代的英雄。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。