970 阿裏雲技術社區[雲棲]

大創1-Hadoop安裝筆記

最近老師叫做一個大數據的項目，雖然對大數據雲計算不是很了解，但好像很牛逼的樣子。本著學習的態度還是決定要好好坐下去。這個分類下的文章就作為項目的開發記錄吧。

第一周計劃：了解Hadoop和MapReduce

Hadoop安裝筆記（環境為Linux mint14）：

1.首先在網上找一篇博客，一不小心找到了Hadoop實戰，說的還真全麵！（也可參考官方文檔https://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html）

2.先安裝java JDK1.6或更高版本，因為Hadoop是基於java的，還要安裝ssh，因為Hadoop需要通過ssh來啟動salve列表中各台主機的守護進程。

安裝命令：sudo apt-get install XXX

用java -version和ssh -version來驗證是否安裝成功。

3.配置ssh免密碼登錄。在用戶文件夾下找到.ssh文件夾（用ls -a 查看，沒有就新建一個）輸入命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

sh-keygen代表生成密鑰；-t（注意區分大小寫）表示指定生成的密鑰類型；dsa是dsa密鑰認證的意思，即密鑰類型；-P用於提供密語；-f指定生成的密鑰文件。在Ubuntu中，~代表當前用戶文件夾

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

這段話的意思是把公鑰加到用於認證的公鑰文件中，這裏的authorized_keys是用於認證的公鑰文件。然後再輸入下列命令測試：

ssh localhost

輸入yes如果提示welcome則沒問題。

4.下載安裝Hadoop。地址 https://apache.claz.org/hadoop/common/，(注意要下那個100多M的，不要下src源文件)

網上有hadoop配置教程，都說要改conf文件夾下的東西，但是在新版本中路徑變了，沒有conf文件夾。便於學習我用的是1.12版本。詳細配置就不說了。

5.初始化

配置好後先格式化hadoop文件係統hdfs，進入hadoop/bin，執行

sudo ./hadoop namenode -format

如果找不到hadoop命令就給它加一個可執行權限（chmod 777 hadoop）。

啟動hadoop：sudo ./start-all.sh

要求輸入yes和係統密碼。

然後在瀏覽器輸入localhost:50030和localhost:50070分別驗證MapReduce頁麵和hdfs頁麵

錯誤記錄：

執行bin/hadoop namenode -format時有許多地方namenode寫成了NameNode，LZ報錯了，要用小寫，真尷尬

最後更新：2017-04-03 14:54:03