閱讀266 返回首頁    go 小米 go 小米6


《Hadoop與大數據挖掘》一2.4.3 動手實踐:編寫Word Count程序並打包運行

本節書摘來華章計算機《Hadoop與大數據挖掘》一書中的第2章 ,第2.4.3節,張良均 樊 哲 位文超 劉名軍 許國傑 周 龍 焦正升 著 更多章節內容可以訪問雲棲社區“華章計算機”公眾號查看。

2.4.3 動手實踐:編寫Word Count程序並打包運行

1)打開Eclipse,新建MapReduce工程,如圖2-35、圖2-36所示。
需要配置Hadoop的安裝目錄,因為這裏的Eclipse安裝在Windows係統上,所以這裏的Hadoop安裝目錄就是指Hadoop安裝包的解壓目錄。
建好的工程如圖2-37所示(注意,這裏還有相關jar包沒有列出)。
2)參考上一節的代碼編寫單詞計數程序。


image

3)使用Eclipse的Export中的JAR file工具打包成jar包,如圖2-38、圖2-39所示。

image


4)獲取導出的jar包,通過Linux連接工具把該jar包上傳到Hadoop客戶端,並使用命令yarn jar的方式運行。


image


5)查看輸出結果信息及相關監控信息,並能進行簡要分析。
思考:
1)使用yarn jar的方式運行完程序後,終端輸出的信息怎麼解讀?
2)查看相關監控,除了使用瀏覽器,還可以使用什麼方式查詢?

最後更新:2017-06-26 10:32:23

  上一篇:go  當創始人之間意見不合時該怎麼辦?
  下一篇:go  成為一名Java高級工程師你需要學什麼