Flume安裝部署，采集方案配置文件編寫案例，啟動agent采集數據

1.2 Flume實戰案例

1.2.1 Flume的安裝部署

1、Flume的安裝非常簡單，隻需要解壓即可，當然，前提是已有hadoop環境
上傳安裝包到數據源所在節點上
然後解壓 tar -zxvf apache-flume-1.6.0-bin.tar.gz，最終解壓到的位置是：/home/tuzq/software/apache-flume-1.6.0-bin
然後進入flume的目錄，修改conf下的flume-env.sh，在裏麵配置JAVA_HOME

2、根據數據采集的需求配置采集方案，描述在配置文件中(文件名可任意自定義)
3、指定采集方案配置文件，在相應的節點上啟動flume agent

先用一個最簡單的例子來測試一下程序環境是否正常

1、先在flume的conf目錄下新建一個文件

vi netcat-logger.conf（這個是我們自己定義的采集方案的配置文件）

#定義這個agent中各組件的名字
##表示agent中的source組件
a1.sources = r1
##表示的是下沉組件sink
a1.sinks = k1
##agent內部的數據傳輸通道channel，用於從source將數據傳遞到sink
a1.channels = c1

#描述和配置source組件：r1
##netcat用於監聽一個端口的
a1.sources.r1.type = netcat
##配置的綁定地址,這個機器的hostname是hadoop1,所以下麵也可以配置成hadoop1
a1.sources.r1.bind = localhost
##配置的綁定端口
a1.sources.r1.port = 44444

#描述和配置sink組件：k1
a1.sinks.k1.type = logger

##描述和配置channel組件，此處使用時內存緩存的方式
#下麵表示的是緩存到內存中，如果是文件，可以使用file的那種類型
a1.channels.c1.type = memory
#表示用多大的空間
a1.channels.c1.capacity = 1000
#下麵表示用事務的空間是多大
a1.channels.c1.transactionCapacity = 100

# 描述和配置source channel sink之間的連接關係,因為source和sink依賴channel來傳遞數據，所以要分別指定用的是哪個channel。
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2、啟動agent去采集數據

bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
-c conf 指定flume自身的配置文件所在目錄
-f conf/netcat-logger.con 指定我們所描述的采集方案
-n a1 指定我們這個agent的名字（是配置文件中寫的那個agent）

3、測試

先要往agent采集監聽的端口上發送數據，讓agent有數據可采
隨便在一個能跟agent節點聯網的機器上
telnet anget-hostname port （telnet hadoop1 44444）

在telnet終端上輸入內容，最後回到打開的agent,發現有內容輸出，輸出的內容如下：

綜上所述：說明flume已經安裝配置成功！