大數(shù)據(jù)

20世紀(jì)90年代，大數(shù)據(jù)一詞開始被使用，人們普遍認(rèn)為：是John Mashey創(chuàng)造了這一詞匯，或者說是他讓這個(gè)詞流行起來。大數(shù)據(jù)通常包括一些大尺寸的數(shù)據(jù)集，其大小超出了在可接受時(shí)間內(nèi)使用常用軟件工具捕獲，查覺，管理和處理數(shù)據(jù)的能力。大數(shù)據(jù)哲學(xué)包含非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化的數(shù)據(jù)，但主要集中于非結(jié)構(gòu)化數(shù)據(jù)上。大數(shù)據(jù)的“大小”定義一直在不斷變化，從2012年十幾二十個(gè)萬億字節(jié)轉(zhuǎn)變?yōu)槿f萬億字節(jié)的數(shù)據(jù)。大數(shù)據(jù)需要一套新的技術(shù)以及新型態(tài)的技術(shù)集成來顯示數(shù)據(jù)集的多樣性、復(fù)雜性和海量性。

2016年的定義認(rèn)為，“大數(shù)據(jù)，即信息資產(chǎn)，其特點(diǎn)是：數(shù)量，速度和種類都很大，因此需要特定的技術(shù)和分析方法以實(shí)現(xiàn)其價(jià)值轉(zhuǎn)化。“ 此外，有組織還為其添加了一個(gè)新的特性——“準(zhǔn)確性”， 雖然一些行業(yè)權(quán)威對(duì)此表示質(zhì)疑。這三個(gè)特性（數(shù)量，速度和種類）已經(jīng)進(jìn)一步擴(kuò)展到大數(shù)據(jù)的其他互補(bǔ)特征。

l  機(jī)器學(xué)習(xí)：大數(shù)據(jù)無需追根溯源，即可簡單的發(fā)現(xiàn)行為模式

l  數(shù)位足跡：大數(shù)據(jù)通常為數(shù)字交互所產(chǎn)生的免費(fèi)副產(chǎn)品

2018年的定義認(rèn)為，“大數(shù)據(jù)需使用并行計(jì)算工具來處理數(shù)據(jù)”，并指出“這代表了在計(jì)算機(jī)科學(xué)使用中，通過并行編程理論產(chǎn)生了明確、明顯的定義變化，以及通過使用Codd關(guān)系模型產(chǎn)生的擔(dān)保和能力的損失”

l  隨著這一概念日漸成熟，更能明確“大數(shù)據(jù)”和“商業(yè)智能”之間的區(qū)別

l  商業(yè)智能使用具有高信息密度數(shù)據(jù)的描述統(tǒng)計(jì)來衡量事物，檢測趨勢等。

大數(shù)據(jù)使用非線性系統(tǒng)識(shí)別的歸納統(tǒng)計(jì)法及概念和低信息密度的大型數(shù)據(jù)集中推斷規(guī)律（回歸，非線性關(guān)系和因果效應(yīng)）以揭示關(guān)系和依賴關(guān)系，或執(zhí)行預(yù)測結(jié)果和行為。

特征

大數(shù)據(jù)擁有如下特征：

數(shù)量：

生成數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)的數(shù)量。數(shù)據(jù)的大小決定了其價(jià)值和潛在能力，以及它是否可以歸類為大數(shù)據(jù)。

種類：

數(shù)據(jù)的類型和性質(zhì)。這有助于幫助分析的人有效地利用數(shù)據(jù)。大數(shù)據(jù)是從文本、圖像、音頻、視頻中提取出來的，另外通過數(shù)據(jù)融合補(bǔ)全缺失的片段。

速度：

數(shù)據(jù)生成和處理的速度可以滿足發(fā)展道路上的各種需求和挑戰(zhàn)。 大數(shù)據(jù)通常是實(shí)時(shí)可用的。

準(zhǔn)確性

捕獲數(shù)據(jù)的數(shù)據(jù)質(zhì)量會(huì)有很大的差異，影響分析的準(zhǔn)確性。