hadoop MapReduce示例

之前记录了hadoop的安装配置，今天记录以下hadoop+eclipse集成环境的配置，流程就不写了，主要记录一些问题。

1.首先要编译hadoop的eclipse插件，也可以直接到网上下hadoop-eclipse-plugin1.1.0.jar。然后将此包复制到eclipse的plugins文件夹下。

2.重启eclipse，选择Window->Preference->Hadoop Map/Reduce，填写你的hadoop安装目录。

3.配置Map/Reduce Location，Window->show View打开Map/Reduce Location，配置Map/Reduce Master和DFS Master端口号（与hadoop配置中一致）。

4.新建Map/Reduce项目，可以参考hadoop安装目录/src/example/org/apache/hadoop/example/WordCount.java测试代码。

然后我们需要输入文件夹和输出文件夹，hadoop文件系统跟你的系统文件系统是不一样的，所以你需要在系统上建立一些输入测试文本，然后在把他们上传到hadoop文件系统中去上传命令：hadoop fs -put （本机文件夹）（hadoop文件系统上的文件夹名字）。

5.运行项目时需要配置一下：run As->Run Counfigurations,点击右边的arguments，在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”，如：

6.查看运行结果：可以直接在命令行看，也可以在eclispse里：

遇到的问题：

1.hadoop包导入问题，要先编译好hadoop的eclipse插件包再导入进去；

2.运行程序时permisson denie权限错误：给你的分布式系统文件目录添加权限：hadoop fs -chmod 777 /user/root

最后更新：2017-04-03 12:54:03