阅读175 返回首页    go 阿里云 go 技术社区[云栖]


E-MapReduce上如何升级EMR-Core

本文档将介绍如何将老集群的EMR-Core升级到最新版本

什么是EMR-Core

EMR-Core是E-MapReduce集群上支持Hadoop生态组件读写OSS的依赖包。它提供一种高效地读写OSS数据的实现,并不断地在优化中。所以,随着E-MapReduce版本的不断迭代,我们就有必要升级老集群上的EMR-Core以获得更好的性能,当然也包括修复很多BUG。

使用说明

升级工具下载地址

注意:

  • 1. 本工具暂时只支持EMR-3.x系列,即支持EMR-3.0.0以上版本升级到最新EMR-Core。EMR-2.x系列的工具近期也会上线。
  • 2. 本工具在升级过程中需要重启相关服务,切记判断服务重启风险,选在升级窗口停服进行升级。需要重启的服务包括Yarn和Hive。
1. SSH 登录到集群emr-header-1节点
2. 切换到hadoop账户下:su hadoop; cd
3. 下载升级工具包:wget https://emr-agent-pack.oss-cn-hangzhou.aliyuncs.com/upgrade/upgrade.tgz
4. 解压: tar zxvf upgrade.tgz
5. 开始升级,由于EMR集群分为HA和非HA集群两种,所以在执行脚本时需要传入集群类型参数,接受“ha”和“normal”两个参数,例如./upgrade.sh normal
6. 等待脚本执行完,检查相关服务是否正常,包括YARN和Hive服务

最后更新:2017-11-16 15:36:04

  上一篇:go  移动设备上的实时深度学习
  下一篇:go  设计事件驱动的微服务