閱讀175 返回首頁    go 阿裏雲 go 技術社區[雲棲]


E-MapReduce上如何升級EMR-Core

本文檔將介紹如何將老集群的EMR-Core升級到最新版本

什麼是EMR-Core

EMR-Core是E-MapReduce集群上支持Hadoop生態組件讀寫OSS的依賴包。它提供一種高效地讀寫OSS數據的實現,並不斷地在優化中。所以,隨著E-MapReduce版本的不斷迭代,我們就有必要升級老集群上的EMR-Core以獲得更好的性能,當然也包括修複很多BUG。

使用說明

升級工具下載地址

注意:

  • 1. 本工具暫時隻支持EMR-3.x係列,即支持EMR-3.0.0以上版本升級到最新EMR-Core。EMR-2.x係列的工具近期也會上線。
  • 2. 本工具在升級過程中需要重啟相關服務,切記判斷服務重啟風險,選在升級窗口停服進行升級。需要重啟的服務包括Yarn和Hive。
1. SSH 登錄到集群emr-header-1節點
2. 切換到hadoop賬戶下:su hadoop; cd
3. 下載升級工具包:wget https://emr-agent-pack.oss-cn-hangzhou.aliyuncs.com/upgrade/upgrade.tgz
4. 解壓: tar zxvf upgrade.tgz
5. 開始升級,由於EMR集群分為HA和非HA集群兩種,所以在執行腳本時需要傳入集群類型參數,接受“ha”和“normal”兩個參數,例如./upgrade.sh normal
6. 等待腳本執行完,檢查相關服務是否正常,包括YARN和Hive服務

最後更新:2017-11-16 15:36:04

  上一篇:go  移動設備上的實時深度學習
  下一篇:go  設計事件驅動的微服務