755      windows

使用Shell/MR时的常见问题___常见问题_大数据开发套件-阿里云

Q：怎么顺利执行Shell/MR类型任务

A：需要完成如下操作：

步骤1：购买ECS云服务器。

【说明】1、建议使用centos6、centos7，或者aliyunos，其他操作系统初始化脚本暂时不支持；2、如果您添加的ecs需要执行odps任务或者同步任务，需要检查当前ecs的python版本是否是python2.6.5以上的版本（centos5的版本为2.4的，其余os自带了2.6以上版本）；3、请确保ECS有公网IP；4、建议ECS的内存大小在8G以上；5、用户自定义添加的ECS只能支持执行ODPS_SQL、MR、SHELL、同步任务，其余任务类型不支持；6、您需要购买“华东区”经典网络ECS服务器，否则查询日志会出现网络不可达的问题；

步骤2：添加安全组规则。

导航至安全组点击配置规则，进入配置规则页面 ，如下：

• 添加内网入方向规则：

• 添加公网出方向规则：

【注意】ECS需开通8000端口，因为读取日志是通过IP+port方式获取的本地日志，如果不开通则无法查阅日志。若不开通公网出的80端口，则无法正常将该ECS注册到大数据开发套件中。

步骤3：查看ECS主机名和IP地址。

【说明】如果您在购买ecs的时候没有修改机器名称，那么主机名和IP如下截图所示； 如果修改过机器名称，请到ecs服务器上执行hostname，和hostname -i获取主机名称和IP。

步骤4：组织管理员进入数据开发套件，导航至组织管理>调度资源，点击增加调度资源，将购买的ECS云服务器添加到资源组。

点击新建调度资源操作栏中的配置服务器，进入服务器添加页面。

点击添加服务器，并在添加服务器弹出框中输入ECS主机名和IP地址，然后点击提交。

步骤5：经过上述步骤后，已经将新购买的ECS信息注册到了数据开发套件中，但是目前为止还不能服务。如果是新添加机器，请按照如下步骤操作：

【说明】如果执行install.sh过程中出错或需要重新执行，请先删除已经生成的文件，请在跟install.sh同一个目录下执行：rm –rf base-biz*；然后在去执行install.sh

步骤6：稍后（大约15秒后）在添加服务器页面，点击刷新按钮，观察服务状态是否转为“正常”状态，若显示正常则表示新建ECS服务注册成功。

【说明】步骤6.2和步骤6.3中的命名都可通过点击执行初始化按钮来直接查看与复制。

步骤7：导航至组织管理>项目管理，在项目空间列表中点击编辑，并在弹出框调度资源配置项中选择新建的资源组，然后点击提交。

Q：为什么按照流程部署完毕了ecs，但界面还是显示“终止”？

A：

（1）如果是经典网络，请确认您注册使用的机器名称是真实的机器名,请使用命令到ecs上执行：hostname，返回的结果即为机器名称；不支持自定义名称；

（2）如果是专有网络，请确认使用的是界面提供的命令查询到的uuid；

（3）如果注册信息都是正确的，而且也是按照“执行初始化”的命令复制粘贴部署的，但还是“终止”，请将ecs上的文件/home/admin/alisatasknode/logs/alisatasknode.log这份文件转为txt格式，提工单反馈给我们；

Q：为什么添加了调度资源，也安装ECS成功了，但是shell任务还是执行失败，报错“exec target was null”？

A：执行shell任务，需要将任务修改资源组，修改到自定义创建的调度资源中；（https://help.aliyun.com/document_detail/30272.html?spm=0.0.0.0.q7siAE ）

Q：如何使用shell执行MR任务？

A：shell执行mr任务的逻辑同您在本地使用odpscmd执行逻辑一样，案列：执行代码：

##@resource_reference{"aaa.jar"}
/opt/taobao/tbdpapp/odpswrapper/odpsconsole/bin/odpscmd   -u  testid  -p  testkey  --project=testproject --endpoint=https://service.odps.aliyun.com/api  -e "jar -resources aaa.jar -classpath ./aaa.jar com.XXX.A"

说明：

（1）##@resource_reference{“aaa.jar”}表示您上传到DataIDE中的资源jar包，您可以直接在编辑界面找到这个资源，然后点击引用即可；无需自己编写；

（2）aaa.jar: jar的名称；这个名称需要保证资源名称、classpath的名称、resource的名称都一致；不然会报找不到对应的jar；

（3）需要自己传accessid，accesskey，project，endpoint；其中endpoint固定为https://service.odps.aliyun.com/api ；

（4）-e后面就是需要执行的代码，需要用双引号括起来；执行不同的odps任务，只需要替换双引号内部的代码即可，其余为固定的执行命令；

Q：为什么我注册了ecs服务器，经常会出现自动的“暂停服务”的状态？

A：在注册ECS的时候，部署了一个agent，agent会有一个监听动作，发现当前ECS的内存、cpu、load较高的时候，不适合继续接收新的任务执行，会主动将agent服务暂停；待机器指标下降后会自动置为“正常”状态；

Q：为什么安装ECS的时候，部署完成了，但是启动失败？

A：请检查您的ECS系统是否有jdk1.6以上的环境；如果您是centos5.x的操作系统需要您自己安装jdk的版本以及python2.6.5以上的版本；

最后更新：2016-11-18 14:50:55

  上一篇： 权限相关常见问题__常见问题_大数据开发套件-阿里云

  下一篇： 如何跨项目配置任务依赖__用户常见问题反馈_常见问题_大数据开发套件-阿里云