hadoop MapReduce示例

之前記錄了hadoop的安裝配置，今天記錄以下hadoop+eclipse集成環境的配置，流程就不寫了，主要記錄一些問題。

1.首先要編譯hadoop的eclipse插件，也可以直接到網上下hadoop-eclipse-plugin1.1.0.jar。然後將此包複製到eclipse的plugins文件夾下。

2.重啟eclipse，選擇Window->Preference->Hadoop Map/Reduce，填寫你的hadoop安裝目錄。

3.配置Map/Reduce Location，Window->show View打開Map/Reduce Location，配置Map/Reduce Master和DFS Master端口號（與hadoop配置中一致）。

4.新建Map/Reduce項目，可以參考hadoop安裝目錄/src/example/org/apache/hadoop/example/WordCount.java測試代碼。

然後我們需要輸入文件夾和輸出文件夾，hadoop文件係統跟你的係統文件係統是不一樣的，所以你需要在係統上建立一些輸入測試文本，然後在把他們上傳到hadoop文件係統中去上傳命令：hadoop fs -put （本機文件夾）（hadoop文件係統上的文件夾名字）。

5.運行項目時需要配置一下：run As->Run Counfigurations,點擊右邊的arguments，在Program arguments中輸入“你要傳給程序的輸入文件夾和你要求程序將計算結果保存的文件夾”，如：

6.查看運行結果：可以直接在命令行看，也可以在eclispse裏：

遇到的問題：

1.hadoop包導入問題，要先編譯好hadoop的eclipse插件包再導入進去；

2.運行程序時permisson denie權限錯誤：給你的分布式係統文件目錄添加權限：hadoop fs -chmod 777 /user/root

最後更新：2017-04-03 12:54:03