成 功
案 例

解決方案

首頁->解決方案->大數據服務

大數據服務

要理解大數據這一概念,首先要從”大”入手,”大”是指數據規模,大數據一般指在10TB(1TB=1024GB)規模以上的數據量。大數據同過去的海量數據有所區別,其基本特征可以用4個V來總結(Vol-ume、Variety、Value和Veloc-ity),即體量大、多樣性、價值密度低、速度快。

大數據特點

第一,數據體量巨大。從TB級別,躍升到PB級別。

第二,數據類型繁多,如前文提到的網絡日志、視頻、圖片、地理位置信息,等等。

第三,價值密度低。以視頻為例,連續不間斷監控過程中,可能有用的數據僅僅有一兩秒。

第四,處理速度快。1秒定律。最后這一點也是和傳統的數據挖掘技術有著本質的不同。物聯網、云計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器,無一不是數據來源或者承載的方式。

大數據技術是指從各種各樣類型的巨量數據中,快速獲得有價值信息的技術。解決大數據問題的核心是大數據技術。目前所說的”大數據”不僅指數據本身的規模,也包括采集數據的工具、平臺和數據分析系統。大數據研發目的是發展大數據技術并將其應用到相關領域,通過解決巨量數據處理問題促進其突破性發展。因此,大數據時代帶來的挑戰不僅體現在如何處理巨量數據從中獲取有價值的信息,也體現在如何加強大數據技術研發,搶占時代發展的前沿。

大數據作用

大數據時代到來,認同這一判斷的人越來越多。那么大數據意味著什么,他到底會改變什么?僅僅從技術角度回答,已不足以解惑。大數據只是賓語,離開了人這個主語,它再大也沒有意義。我們需要把大數據放在人的背景中加以透視,理解它作為時代變革力量的所以然。

變革價值的力量

未來十年,決定中國是不是有大智慧的核心意義標準(那個”思想者”),就是國民幸福。一體現在民生上,通過大數據讓有意義的事變得澄明,看我們在人與人關系上,做得是否比以前更有意義;二體現在生態上,通過大數據讓有意義的事變得澄明,看我們在天與人關系上,做得是否比以前更有意義。總之,讓我們從前10年的意義混沌時代,進入未來10年意義澄明時代。

變革組織的力量

隨著具有語義網特征的數據基礎設施和數據資源發展起來,組織的變革就越來越顯得不可避免。大數據將推動網絡結構產生無組織的組織力量。最先反映這種結構特點的,是各種各樣去中心化的WEB2.0應用,如RSS、維基、博客等。 大數據之所以成為時代變革力量,在于它通過追隨意義而獲得智慧。

大數據處理

大數據處理數據時代理念的三大轉變:要全體不要抽樣,要效率不要絕對精確,要相關不要因果。

大數據處理的流程

具體的大數據處理方法確實有很多,但是根據筆者長時間的實踐,總結了一個普遍適用的大數據處理流程,并且這個流程應該能夠對大家理順大數據的處理有所幫助。整個處理流程可以概括為四步,分別是采集、導入和預處理、統計和分析,最后是數據挖掘。

大數據處理之一:采集

大數據的采集是指利用多個數據庫來接收發自客戶端(Web、App或者傳感器形式等)的數據,并且用戶可以通過這些數據庫來進行簡單的查詢和處理工作。比如,電商會使用傳統的關系型數據庫MySQL和Oracle等來存儲每一筆事務數據,除此之外,Redis和MongoDB這樣的NoSQL數據庫也常用于數據的采集。

在大數據的采集過程中,其主要特點和挑戰是并發數高,因為同時有可能會有成千上萬的用戶來進行訪問和操作,比如火車票售票網站和淘寶,它們并發的訪問量在峰值時達到上百萬,所以需要在采集端部署大量數據庫才能支撐。并且如何在這些數據庫之間進行負載均衡和分片的確是需要深入的思考和設計。

大數據處理之二:導入/預處理

雖然采集端本身會有很多數據庫,但是如果要對這些海量數據進行有效的分析,還是應該將這些來自前端的數據導入到一個集中的大型分布式數據庫,或者分布式存儲集群,并且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算,來滿足部分業務的實時計算需求。

導入與預處理過程的特點和挑戰主要是導入的數據量大,每秒鐘的導入量經常會達到百兆,甚至千兆級別。

大數據處理之三:統計/分析

統計與分析主要利用分布式數據庫,或者分布式計算集群來對存儲于其內的海量數據進行普通的分析和分類匯總等,以滿足大多數常見的分析需求,在這方面,一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata,以及基于MySQL的列式存儲Infobright等,而一些批處理,或者基于半結構化數據的需求可以使用Hadoop。

統計與分析這部分的主要特點和挑戰是分析涉及的數據量大,其對系統資源,特別是I/O會有極大的占用。

大數據處理之四:挖掘

與前面統計和分析過程不同的是,數據挖掘一般沒有什么預先設定好的主題,主要是在現有數據上面進行基于各種算法的計算,從而起到預測(Predict)的效果,從而實現一些高級別數據分析的需求。比較典型算法有用于聚類的Kmeans、用于統計學習的SVM和用于分類的NaiveBayes,主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用于挖掘的算法很復雜,并且計算涉及的數據量和計算量都很大,常用數據挖掘算法都以單線程為主。

整個大數據處理的普遍流程至少應該滿足這四個方面的步驟,才能算得上是一個比較完整的大數據處理。

内蒙古十一选五奖结果