480 阿裏雲技術社區[雲棲]

《Hadoop與大數據挖掘》一2.3.5　動手實踐：運行MapReduce任務

本節書摘來華章計算機《Hadoop與大數據挖掘》一書中的第2章，第2.3.5節，張良均　樊　哲　位文超　劉名軍許國傑　周　龍　焦正升　著更多章節內容可以訪問雲棲社區“華章計算機”公眾號查看。

實驗步驟如下：
1）上傳/root/anaconda-ks.cfg文件到HDFS文件係統/user/root目錄；
2）使用yarn jar的方式提交任務，其中，

jar文件：$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar
主類為：wordcount
輸入參數：/user/root/anaconda-ks.cfg
輸出參數：/user/root/wc_00 3）查看輸出運行結果； 4）使用mapred job命令查看任務狀態及對應日誌輸出； 5）再次執行任務，查看輸出信息； 6）產生一個大數據文件，上傳到HDFS，使用該大數據文件執行單詞計數MapReduce任務，在執行到一半後，使用mapred job的kill命令，殺死該任務，查看相關輸出信息。思考： 1）執行第5步的時候會報錯嗎？報什麼錯？怎麼解決？ 2）可以在Hadoop IDE中直接提交Job嗎？如果可以怎麼做？如果不可以，為什麼？

最後更新：2017-06-26 10:02:19