480 阿里云技术社区[云栖]

《Hadoop与大数据挖掘》一2.3.5　动手实践：运行MapReduce任务

本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章，第2.3.5节，张良均　樊　哲　位文超　刘名军许国杰　周　龙　焦正升　着更多章节内容可以访问云栖社区“华章计算机”公众号查看。

实验步骤如下：
1）上传/root/anaconda-ks.cfg文件到HDFS文件系统/user/root目录；
2）使用yarn jar的方式提交任务，其中，

jar文件：$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar
主类为：wordcount
输入参数：/user/root/anaconda-ks.cfg
输出参数：/user/root/wc_00 3）查看输出运行结果； 4）使用mapred job命令查看任务状态及对应日志输出； 5）再次执行任务，查看输出信息； 6）产生一个大数据文件，上传到HDFS，使用该大数据文件执行单词计数MapReduce任务，在执行到一半后，使用mapred job的kill命令，杀死该任务，查看相关输出信息。思考： 1）执行第5步的时候会报错吗？报什么错？怎么解决？ 2）可以在Hadoop IDE中直接提交Job吗？如果可以怎么做？如果不可以，为什么？

最后更新：2017-06-26 10:02:19