135
hadoop整體結構圖及服務組件詳解
hadoop服務組件簡單解釋
1、core 分布式係統和通用IO組件和接口（序列化、java遠程調用等等服務）
2、avro 支持跨語言過程調用，持久數據存儲的數據序列化係統
3、MapReduce 構建在廉價的pc機器上分布式數據處理模型和運行環境
4、hdfs 構建廉價的pc機器上分布式文件係統
5、pig 處理海量數據集的數據流語言和運行環境 ，pig運行在HDFS和MapReduce之上
6、HBase 分布式麵向列的數據庫 ，HBase使用HDFS作為底層存儲， 同時使用MapReduce支持批處理模式的計算機和隨機查詢
7、 Zookeeper 提供分布式、高效的協作服務以及分布式鎖這樣的原子操作、可以用來構建分布式應用
8、hive 分布式數據倉庫 、 Hive使用Hdfs存儲數據，提供類似sql的語句（轉換為MapReduce任務） 查詢數據
9、chukwa 分布式數據采集和分析係統 、 使用HDFS 存儲數據 、 使用MapReduce輸出分析報告
最後更新：2017-04-03 12:55:47