大數(shù)據(jù)時代是什么?
2016-01-04 09:32:40分類:行業(yè)資訊5915
最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫,麥肯錫稱:“數(shù)據(jù),已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域,成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用,預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。” “大數(shù)據(jù)”在物理學、生物學、環(huán)境生態(tài)學等領域以及軍事、金融、通訊等行業(yè)存在已有時日,互聯(lián)網(wǎng)時代的大數(shù)據(jù)卻因為近年來互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關注。
一、大數(shù)據(jù)時代產(chǎn)生的背景
進入2012年,大數(shù)據(jù)(big data)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù),并命名與之相關的技術發(fā)展與創(chuàng)新。它已經(jīng)上過《紐約時報》《華爾街日報》的專欄封面,進入美國白宮官網(wǎng)的新聞,現(xiàn)身在國內(nèi)一些互聯(lián)網(wǎng)主題的講座沙龍中,甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。數(shù)據(jù)正在迅速膨脹并變大,云計算大數(shù)據(jù)潮起,運營商不進則退,大數(shù)據(jù)決定著企業(yè)的未來發(fā)展,雖然很多企業(yè)可能并沒有意識到數(shù)據(jù)爆炸性增長帶來問題的隱患,但是隨著時間的推移,人們將越來越多的意識到數(shù)據(jù)對企業(yè)的重要性。
二、大數(shù)據(jù)時代的特征
1、數(shù)據(jù)量大
第一個特征是數(shù)據(jù)量大。大數(shù)據(jù)的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T)。
2、類型繁多
第二個特征是數(shù)據(jù)類型繁多。包括網(wǎng)絡日志、音頻、視頻、圖片、地理位置信息等等,多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求。
3、價值密度低
第三個特征是數(shù)據(jù)價值密度相對較低。如隨著物聯(lián)網(wǎng)的廣泛應用,信息感知無處不在,信息海量,但價值密度較低,如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”,是大數(shù)據(jù)時代亟待解決的難題。
4、速度快、時效高
第四個特征是處理速度快,時效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。既有的技術架構(gòu)和路線,已經(jīng)無法高效處理如此海量的數(shù)據(jù),而對于相關組織來說,如果投入巨大采集的信息無法通過及時處理反饋有效信息,那將是得不償失的。
三、大數(shù)據(jù)時代的影響
隨著云時代的來臨,大數(shù)據(jù)(Big data)也吸引了越來越多的關注。著云臺的分析師團隊認為,大數(shù)據(jù)(Big data)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)在下載到關系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起,因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。“大數(shù)據(jù)”在互聯(lián)網(wǎng)行業(yè)指的是這樣一種現(xiàn)象:互聯(lián)網(wǎng)公司在日常運營中生成、累積的用戶網(wǎng)絡行為數(shù)據(jù)。這些數(shù)據(jù)的規(guī)模是如此龐大,以至于不能用G或T來衡量。
這樣的趨勢會持續(xù)下去。我們現(xiàn)在還處于所謂“物聯(lián)網(wǎng)”的最初級階段,而隨著技術成熟,大數(shù)據(jù)在可穿戴設備的應用越來越廣泛,我們的設備、交通工具和迅速發(fā)展的“可穿戴”科技將能互相連接與溝通??萍嫉倪M步已經(jīng)使創(chuàng)造、捕捉和管理信息的成本降至2005年的六分之一,而從2005年起,用在硬件、軟件、人才及服務之上的商業(yè)投資也增長了整整50%,達到了4000億美元。
四、大數(shù)據(jù)時代的前景
總的來說,大數(shù)據(jù)是對大量、動態(tài)、能持續(xù)的數(shù)據(jù),通過運用新系統(tǒng)、新工具、新模型的挖掘,從而獲得具有洞察力和新價值的東西。以前,面對龐大的數(shù)據(jù),我們可能會一葉障目、可見一斑,因此不能了解到事物的真正本質(zhì),從而在科學工作中得到錯誤的推斷,而大數(shù)據(jù)時代的來臨,我們會看到大數(shù)據(jù)將怎樣改變互聯(lián)網(wǎng)。一切真相將會展現(xiàn)在我們面前。
隨著物聯(lián)網(wǎng)的演變和發(fā)展,所有可以想象到的東西(或事物)和產(chǎn)業(yè)都將變得更加智能:智能家居和智慧城市、智能制造機械、智能汽車、智能健康等等。無數(shù)被授權收集和交換數(shù)據(jù)的東西正在形成一個全新的網(wǎng)絡——物聯(lián)網(wǎng)——一個可以在云中收集數(shù)據(jù)、傳輸數(shù)據(jù)和完成用戶任務的物理對象網(wǎng)絡。
2019-10-22
隨著物聯(lián)網(wǎng)的演變和發(fā)展,所有可以想象到的東西(或事物)和產(chǎn)業(yè)都將變得更加智能:智能家居和智慧城市、智能制造機械、智能汽車、智能健康等等。無數(shù)被授權收集和交換數(shù)據(jù)的東西正在形成一個全新的網(wǎng)絡——物聯(lián)網(wǎng)——一個可以在云中收集數(shù)據(jù)、傳輸數(shù)據(jù)和完成用戶任務的物理對象網(wǎng)絡。
2019-10-14
做區(qū)塊鏈技術的公司,不是因為區(qū)塊鏈技術而被抓,而是因數(shù)據(jù)非法使用而被抓 ,其中的邏輯不由得引起我們深思: 商業(yè)數(shù)據(jù)如何保護?商業(yè)數(shù)據(jù)如何使用?這便是本文的主旨所在——“探討如何用區(qū)塊鏈技術保護大數(shù)據(jù)。”
2019-09-21
物聯(lián)網(wǎng)是一個很寬泛的概念,是指各種設備、機器都通過互聯(lián)網(wǎng)連接起來,車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等都屬于物聯(lián)網(wǎng)范疇。根據(jù)Gartner報告,聯(lián)網(wǎng)的設備在2019年已經(jīng)超過142億,預計2021年將達到250億,這是一個巨大的數(shù)量。毫無疑問,我們需要一個物聯(lián)網(wǎng)大數(shù)據(jù)平臺來處理這些聯(lián)網(wǎng)設備產(chǎn)生的海量數(shù)據(jù)。
2019-08-03
大數(shù)據(jù)作為時下火熱的IT行業(yè)的詞匯,隨之而來的數(shù)據(jù)開發(fā)、數(shù)據(jù)倉庫、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等等圍繞大數(shù)據(jù)的商業(yè)價值的利用逐漸成為行業(yè)人士爭相追捧的利潤焦點。隨著大數(shù)據(jù)時代的來臨,大數(shù)據(jù)開發(fā)也應運而生。
2019-03-12
物聯(lián)網(wǎng)就是利用局部網(wǎng)絡或互聯(lián)網(wǎng)等通信技術把傳感器、控制器、機器、人員和物等通過新的方式聯(lián)在一起,形成人與物、物與物相聯(lián),實現(xiàn)信息化、遠程管理控制和智能化的網(wǎng)絡。物聯(lián)網(wǎng)其實就是互聯(lián)網(wǎng)的延伸,它包括互聯(lián)網(wǎng)及互聯(lián)網(wǎng)上所有的資源,兼容互聯(lián)網(wǎng)所有的應用,但物聯(lián)網(wǎng)中所有的元素都是個性化和私有化。
2018-08-30