《Hadoop與大數據挖掘》一2.4.3 動手實踐:編寫Word Count程序並打包運行
本節書摘來華章計算機《Hadoop與大數據挖掘》一書中的第2章 ,第2.4.3節,張良均 樊 哲 位文超 劉名軍 許國傑 周 龍 焦正升 著 更多章節內容可以訪問雲棲社區“華章計算機”公眾號查看。
2.4.3 動手實踐:編寫Word Count程序並打包運行
1)打開Eclipse,新建MapReduce工程,如圖2-35、圖2-36所示。
需要配置Hadoop的安裝目錄,因為這裏的Eclipse安裝在Windows係統上,所以這裏的Hadoop安裝目錄就是指Hadoop安裝包的解壓目錄。
建好的工程如圖2-37所示(注意,這裏還有相關jar包沒有列出)。
2)參考上一節的代碼編寫單詞計數程序。
3)使用Eclipse的Export中的JAR file工具打包成jar包,如圖2-38、圖2-39所示。
4)獲取導出的jar包,通過Linux連接工具把該jar包上傳到Hadoop客戶端,並使用命令yarn jar的方式運行。
5)查看輸出結果信息及相關監控信息,並能進行簡要分析。
思考:
1)使用yarn jar的方式運行完程序後,終端輸出的信息怎麼解讀?
2)查看相關監控,除了使用瀏覽器,還可以使用什麼方式查詢?
最後更新:2017-06-26 10:32:23