1. 日誌采集框架Flume

1.1 Flume介紹

1.1.1 概述

1.Flume是一個分布式、可靠、和高可用的海量日誌采集、聚合和傳輸的係統。
2.Flume可以采集文件，socket數據包等各種形式源數據，又可以將采集到的數據輸出到HDFS、hbase、hive、kafka等眾多外部存儲係統中
3.一般的采集需求，通過對flume的簡單配置即可實現
4.Flume針對特殊場景也具備良好的自定義擴展能力，因此，flume可以適用於大部分的日常數據采集場景

1.1.2 運行機製

1、 Flume分布式係統中最核心的角色是agent，flume采集係統就是由一個個agent所連接起來形成
2、 每一個agent相當於一個數據傳遞員，內部有三個組件：
a) Source：采集源，用於跟數據源對接，以獲取數據
b) Sink：下沉地，采集數據的傳送目的，用於往下一級agent傳遞數據或者往最終存儲係統傳遞數據
c) Channel：angent內部的數據傳輸通道，用於從source將數據傳遞到sink

1.1.3 Flume采集係統結構圖

1. 簡單結構
單個agent采集數據

2. 複雜結構
多級agent之間串聯