E-MapReduce上如何升級EMR-Core
本文檔將介紹如何將老集群的EMR-Core升級到最新版本
什麼是EMR-Core
EMR-Core是E-MapReduce集群上支持Hadoop生態組件讀寫OSS的依賴包。它提供一種高效地讀寫OSS數據的實現,並不斷地在優化中。所以,隨著E-MapReduce版本的不斷迭代,我們就有必要升級老集群上的EMR-Core以獲得更好的性能,當然也包括修複很多BUG。
使用說明
升級工具下載地址
注意:
- 1. 本工具暫時隻支持EMR-3.x係列,即支持EMR-3.0.0以上版本升級到最新EMR-Core。EMR-2.x係列的工具近期也會上線。
- 2. 本工具在升級過程中需要重啟相關服務,切記判斷服務重啟風險,選在升級窗口停服進行升級。需要重啟的服務包括Yarn和Hive。
1. SSH 登錄到集群emr-header-1節點
2. 切換到hadoop賬戶下:su hadoop; cd
3. 下載升級工具包:wget https://emr-agent-pack.oss-cn-hangzhou.aliyuncs.com/upgrade/upgrade.tgz
4. 解壓: tar zxvf upgrade.tgz
5. 開始升級,由於EMR集群分為HA和非HA集群兩種,所以在執行腳本時需要傳入集群類型參數,接受“ha”和“normal”兩個參數,例如./upgrade.sh normal
6. 等待腳本執行完,檢查相關服務是否正常,包括YARN和Hive服務
最後更新:2017-11-16 15:36:04