大數據分析是指對規(guī)模巨大的數據進行分析，主要包括以下五個方面：

　　1. Analytic Visualizations（可視化分析）

　　不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求?？梢暬梢灾庇^的展示數據，讓數據自己說話，讓觀眾聽到結果。

　　2. Data Mining Algorithms（數據挖掘算法）

　　可視化是給人看的，數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的算法讓我們深入數據內部，挖掘價值。這些算法不僅要處理大數據的量，也要處理大數據的速度。

　　3. Predictive Analytic Capabilities（預測性分析能力）

　　數據挖掘可以讓分析員更好的理解數據，而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。

　　4. Semantic Engines（語義引擎）

　　我們知道由于非結構化數據的多樣性帶來了數據分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數據。語義引擎需要被設計成能夠從“文檔”中智能提取信息。?

　　5. Data Quality and Master Data Management（數據質量和數據管理）

　　數據質量和數據管理是一些管理方面的最佳實踐。通過標準化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。

　　大數據分析的工具主要包括數據倉庫、數據集市、前端展現等。目前開源工具中廣泛使用的是Hadoop，Hadoop是一個項目的總稱，主要是由HDFS和 MapReduce組成。其中HDFS是Google File System（GFS）的開源實現，MapReduce是Google MapReduce的開源實現。

　　Google最早建立了大數據分析工具體系，Google的數據中心使用廉價的Linux PC機組成集群，在上面運行各種應用。即使是分布式開發(fā)的新手也可以迅速使用Google的基礎設施。核心組件是3個：

　　⒈GFS（Google File System）。一個分布式文件系統(tǒng)，隱藏下層負載均衡，冗余復制等細節(jié)，對上層程序提供一個統(tǒng)一的文件系統(tǒng)API接口。Google根據自己的需求對它 進行了特別優(yōu)化，包括：超大文件的訪問，讀操作比例遠超過寫操作，PC機極易發(fā)生故障造成節(jié)點失效等。GFS把文件分成64MB的塊，分布在集群的機器 上，使用Linux的文件系統(tǒng)存放。同時每塊文件至少有3份以上的冗余。中心是一個Master節(jié)點，根據文件索引，找尋文件塊。詳見Google的工程 師發(fā)布的GFS論文。

　　⒉MapReduce。Google發(fā)現大多數分布式運算可以抽象為MapReduce操作。Map是把輸入Input分解成中間的Key/Value 對，Reduce把Key/Value合成最終輸出Output。這兩個函數由程序員提供給系統(tǒng)，下層設施把Map和Reduce操作分布在集群上運行， 并把結果存儲在GFS上。

　　⒊BigTable。一個大型的分布式數據庫，這個數據庫不是關系式的數據庫。像它的名字一樣，就是一個巨大的表格，用來存儲結構化的數據。

　　當前用于分析大數據的工具主要有開源與商用兩個生態(tài)圈。

　　開源大數據生態(tài)圈：

　　1、Hadoop HDFS、HadoopMapReduce, HBase、Hive 漸次誕生，早期Hadoop生態(tài)圈逐步形成。

　　2、. Hypertable是另類。它存在于Hadoop生態(tài)圈之外，但也曾經有一些用戶。

　　3、NoSQL，membase、MongoDb

　　商用大數據生態(tài)圈：

　　1、一體機數據庫/數據倉庫：IBM PureData(Netezza), OracleExadata, SAP Hana等等。

　　2、數據倉庫：TeradataAsterData, EMC GreenPlum, HPVertica 等等。

　　3、數據集市：QlikView、 Tableau 、 以及國內的Yonghong Data Mart 。