閱讀888 返回首頁    go 阿裏雲 go 技術社區[雲棲]

Ubuntu上搭建Hadoop環境(偽分布式)

首先要了解一下Hadoop的運行模式：

單機模式（standalone）
       單機模式是Hadoop的默認模式。當首次解壓Hadoop的源碼包時，Hadoop無法了解硬件安裝環境，便保守地選擇了最小配置。在這種默認模式下所有3個XML文件均為空。當配置文件為空時，Hadoop會完全運行在本地。因為不需要與其他節點交互，單機模式就不使用HDFS，也不加載任何Hadoop的守護進程。該模式主要用於開發調試MapReduce程序的應用邏輯。
偽分布模式（Pseudo-Distributed Mode）
      偽分布模式在“單節點集群”上運行Hadoop，其中所有的守護進程都運行在同一台機器上。該模式在單機模式之上增加了代碼調試功能，允許你檢查內存使用情況，HDFS輸入輸出，以及其他的守護進程交互。
      全分布模式（Fully Distributed Mode）
     Hadoop守護進程運行在一個集群上。


版本：ubuntu 13.04，hadoop 1.2.0

1.添加hadoop用戶到係統用戶

安裝前要做一件事——添加一個名為hadoop到係統用戶，專門用來做Hadoop測試。

[html] view plaincopy
  1. ~$ sudo addgroup hadoop  
  2. ~$ sudo adduser --ingroup hadoop hadoop  

現在隻是添加了一個用戶hadoop，它並不具備管理員權限，因此我們需要將用戶hadoop添加到管理員組：

[html] view plaincopy
  1. ~$ sudo usermod -aG admin hadoop  

2、安裝JDK

這步網絡上很多教程。這裏不多說。我安裝的是JDK 1.7 64位版本


3.安裝ssh

由於Hadoop用ssh通信，先安裝ssh

[html] view plaincopy
  1. ~$ sudo apt-get install openssh-server  

ssh安裝完成以後，先啟動服務：

[html] view plaincopy
  1. ~$ sudo /etc/init.d/ssh start   
啟動後，可以通過如下命令查看服務是否正確啟動：
[html] view plainco
  1. ~$ ps -e | grep ssh  



建立ssh無密碼登錄本機.首先要轉換成hadoop用戶:

su - hadoop


作為一個安全通信協議，使用時需要密碼，因此我們要設置成免密碼登錄，生成私鑰和公鑰：

[html] view plaincopy
  1. hadoop@scgm-ProBook:~$ ssh-keygen -t rsa -P ""  


因為我已有私鑰，所以會提示是否覆蓋當前私鑰。第一次操作時會提示輸入密碼，按Enter直接過，這時會在～/home/{username}/.ssh下生成兩個文件：id_rsa和id_rsa.pub，前者為私鑰，後者為公鑰，現在我們將公鑰追加到authorized_keys中（authorized_keys用於保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容）：

[html] view plaincopy
  1. ~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  
現在可以登入ssh確認以後登錄時不用輸入密碼：
[html] view plaincopy
  1. ~$ ssh localhost  

登出：

[html] view plaincopy
  1. ~$ exit  
第二次登錄：
[html] view plaincopy
  1. ~$ ssh localhost  


登出：

[html] view plaincopy
  1. ~$ exit  
這樣以後登錄就不用輸入密碼了。



4.安裝hadoop 

到官網下載hadoop源文件，這裏選擇hadoop 1.2.0

解壓並放到你希望的目錄中。我是放到/usr/local/hadoop

[html] view plaincopy
  1. ~$ sudo tar xzf hadoop-1.2.0.tar.gz  
  2. ~$ sudo mv hadoop-1.2.0 /usr/local/hadoop  
要確保所有的操作都是在用戶hadoop下完成的：
[html] view plaincopy
  1. ~$ sudo chown -R hadoop:hadoop /usr/local/hadoop  


5.設定hadoop-env.sh(Java 安裝路徑)

進入hadoop目錄，打開conf目錄下到hadoop-env.sh，添加以下信息：
            

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 (視你機器的java安裝路徑而定)
            export HADOOP_HOME=/usr/local/hadoop
            export PATH=$PATH:/usr/local/hadoop/bin


並且，讓環境變量配置生效source

[html] view plaincopy
  1. ~$ source /usr/local/hadoop/conf/hadoop-env.sh  


6.設定*-site.xml
這裏需要設定3個文件：core-site.xml,hdfs-site.xml,mapred-site.xml，都在/usr/local/hadoop/conf目錄下
core-site.xml:  Hadoop Core的配置項，例如HDFS和MapReduce常用的I/O設置等。
hdfs-site.xml:  Hadoop 守護進程的配置項，包括namenode，輔助namenode和datanode等。
mapred-site.xml： MapReduce 守護進程的配置項，包括jobtracker和tasktracker。    

首先在hadoop目錄下新建幾個文件夾

[html] view plaincopy
  1. ~/hadoop$ mkdir tmp  
  2. ~/hadoop$ mkdir hdfs  
  3. ~/hadoop$ mkdir hdfs/name  
  4. ~/hadoop$ mkdir hdfs/data  


接下來編輯那三個文件：

core-site.xml:

[html] view plaincopy
  1. <configuration>  
  2.     <property>  
  3.         <name>fs.default.name</name>  
  4.         <value>hdfs://localhost:9000</value>  
  5.     </property>  
  6.     <property>  
  7.         <name>hadoop.tmp.dir</name>  
  8.         <value>/usr/local/hadoop/tmp</value>  
  9.     </property>  
  10. </configuration>  
hdfs-site.xml:

[html] view plaincopy
  1. <configuration>  
  2.     <property>  
  3.         <name>dfs.replication</name>  
  4.         <value>1</value>  
  5.     </property>  
  6.     <property>  
  7.         <name>dfs.name.dir</name>  
  8.         <value>/usr/local/hadoop/hdfs/name</value>  
  9.     </property>  
  10.     <property>  
  11.         <name>dfs.data.dir</name>  
  12.         <value>/usr/local/hadoop/hdfs/data</value>  
  13.     </property>  
  14. </configuration>  
mapred-site.xml:

[html] view plaincopy
  1. <configuration>  
  2.     <property>  
  3.         <name>mapred.job.tracker</name>  
  4.         <value>localhost:9001</value>  
  5.     </property>  
  6. </configuration>  


7.格式化HDFS

通過以上步驟，我們已經設定好Hadoop單機測試到環境，接著就是啟動Hadoop到相關服務，格式化namenode,secondarynamenode,tasktracker:

[html] view plaincopy
  1. ~$ source /usr/local/hadoop/conf/hadoop-env.sh  
  2. ~$ hadoop namenode -format  




8.啟動Hadoop

接著執行start-all.sh來啟動所有服務，包括namenode,datanode，start-all.sh腳本用來裝載守護進程。

[html] view plaincopy
  1. hadoop@ubuntu:/usr/local/hadoop$ cd bin  
  2. hadoop@ubuntu:/usr/local/hadoop/bin$ start-all.sh  


用Java的jps命令列出所有守護進程來驗證安裝成功

[html] view plaincopy
  1. hadoop@ubuntu:/usr/local/hadoop$ jps  
出現如下列表，表明成功


9.檢查運行狀態
所有的設置已完成，Hadoop也啟動了，現在可以通過下麵的操作來查看服務是否正常，在Hadoop中用於監控集群健康狀態的Web界麵：
https://localhost:50030/     - Hadoop 管理介麵
https://localhost:50060/     - Hadoop Task Tracker 狀態
https://localhost:50070/     - Hadoop DFS 狀態

Hadoop 管理介麵：


Hadoop Task Tracker 狀態：


Hadoop DFS 狀態：


至此，hadoop的偽分布模式已經安裝成功.


當Hadoop結束時，可以通過stop-all.sh腳本來關閉Hadoop的守護進程
[html] view plaincopy
  1. hadoop@ubuntu:/usr/local/hadoop$ bin/stop-all.sh   


10.結語

    單機模式和偽分布模式均用於開發和調試的目的。真實Hadoop集群的運行采用的是第三種模式，即全分布模式。



參考:

https://www.cnblogs.com/tippoint/archive/2012/10/23/2735532.html

https://res.3425.com.cn/aliyunqi/2jhrg4fpdo1quote

最後更新：2017-04-03 18:52:13

  上一篇：go C++內存管理學習筆記（4）
  下一篇：go android源碼地址