206      微软  Office

准备工作常见问题__常见问题_大数据开发套件-阿里云

Q：大数据开发平台上的项目怎么绑原来已有的OPDS project？

A：组织管理员把已有的ODPS project添加为计算引擎，然后创建大数据平台的项目的时候绑定该计算引擎。

Q：我公司已经有创建组织了，怎么把我加为成员？

A：注册好云账号，线下找到组织管理员，把云账号发给管理员，让管理员加为组织成员后，再找到项目管理员加为项目成员。（组织管理员可以知道项目管理员是谁。）

Q：一个账号可以加入多个组织么？

A：一个云账号只能加入一个组织，但可以成为那个组织里多个项目的成员。

Q：怎么开通MR（MapReduce）类型任务？

A：通过工单提交申请，申请内容需要提供需要申请的ODPS project名称，并简单描述使用场景。

Q：怎么开通Shell类型任务

A：需要完成以下几个步骤。

步骤1：进入数加管控台，点击工单服务选择提交工单，并在工单中填写申请信息。

步骤2：购买ECS云服务器。

【说明】1、建议使用centos6、centos7，或者aliyunos；2、如果您添加的ecs需要执行odps任务或者同步任务，需要检查当前ecs的python版本是否是python2.6.5以上的版本（centos5的版本为2.4的，其余os自带了2.6以上版本）；3、请确保ECS有公网IP；4、建议ECS的内存大小在4G以上；5、用户自定义添加的ECS只能支持执行ODPS_SQL、MR、SHELL、同步任务，其余任务类型不支持；

步骤3：添加安全组规则。

导航至安全组点击配置规则，进入配置规则页面 ，如下：

• 添加内网入方向规则：

• 添加公网出方向规则：

【注意】ECS需开通8000端口，因为读取日志是通过IP+port方式获取的本地日志，如果不开通则无法查阅日志。若不开通公网出的80端口，则无法正常将该ECS注册到大数据开发套件中。

步骤4：查看ECS主机名和IP地址。

【说明】如果您在购买ecs的时候没有修改机器名称，那么主机名和IP如下截图所示； 如果修改过机器名称，请到ecs服务器上执行hostname，和hostname -i获取主机名称和IP。

步骤5：组织管理员进入数据开发套件，导航至组织管理>调度资源，点击增加调度资源，将购买的ECS云服务器添加到资源组。

点击新建调度资源操作栏中的配置服务器，进入服务器添加页面。

点击添加服务器，并在添加服务器弹出框中输入ECS主机名和IP地址，然后点击提交。

步骤6：经过上述步骤后，已经将新购买的ECS信息注册到了数据开发套件中，但是目前为止还不能服务。如果是新添加机器，请按照如下步骤操作：

【说明】如果执行install.sh过程中出错或需要重新执行，请先删除已经生成的文件，请在跟install.sh同一个目录下执行：rm –rf base-biz*；然后在去执行install.sh

• 步骤6.4：稍后（大约15秒后）在添加服务器页面，点击刷新按钮，观察服务状态是否转为“正常”状态，若显示正常则表示新建ECS服务注册成功。

【说明】步骤6.2和步骤6.3中的命名都可通过点击执行初始化按钮来直接查看与复制。

步骤7：导航至组织管理>项目管理，在项目空间列表中点击编辑，并在弹出框调度资源配置项中选择新建的资源组，然后点击提交。

Q：为什么按照流程部署完毕了ecs，但界面还是显示“终止”？

A：

（1）如果是经典网络，请确认您注册使用的机器名称是真实的机器名,请使用命令到ecs上执行：hostname，返回的结果即为机器名称；不支持自定义名称；

（2）如果是专有网络，请确认使用的是界面提供的命令查询到的uuid；

（3）如果注册信息都是正确的，而且也是按照“执行初始化”的命令复制粘贴部署的，但还是“终止”，请将ecs上的文件/home/admin/alisatasknode/logs/alisatasknode.log这份文件转为txt格式，提工单反馈给我们；

Q：为什么添加了调度资源，也安转ECS成功了，但是shell任务还是执行失败，报错“exec target was null”？

A：执行shell任务，需要将任务修改资源组，修改到自定义创建的调度资源中；（https://help.aliyun.com/document_detail/30272.html?spm=0.0.0.0.q7siAE ）

Q：如何使用shell执行MR任务？

A：shell执行mr任务的逻辑同您在本地使用odpscmd执行逻辑一样，案列：执行代码：

##@resource_reference{"aaa.jar"}
/opt/taobao/tbdpapp/odpswrapper/odpsconsole/bin/odpscmd   -u  testid  -p  testkey  --project=testproject --endpoint=https://service.odps.aliyun.com/api  -e "jar -resources aaa.jar -classpath ./aaa.jar com.XXX.A"

说明：

（1）##@resource_reference{“aaa.jar”}表示您上传到DataIDE中的资源jar包，您可以直接在编辑界面找到这个资源，然后点击引用即可；无需自己编写；

（2）aaa.jar: jar的名称；这个名称需要保证资源名称、classpath的名称、resource的名称都一致；不然会报找不到对应的jar；

（3）需要自己传accessid，accesskey，project，endpoint；其中endpoint固定为https://service.odps.aliyun.com/api ；

（4）-e后面就是需要执行的代码，需要用双引号括起来；执行不同的odps任务，只需要替换双引号内部的代码即可，其余为固定的执行命令；

Q：为什么我注册了ecs服务器，经常会出现自动的“暂停服务”的状态？

A：在注册ECS的时候，部署了一个agent，agent会有一个监听动作，发现当前ECS的内存、cpu、load较高的时候，不适合继续接收新的任务执行，会主动将agent服务暂停；待机器指标下降后会自动置为“正常”状态；

Q：为什么安装ECS的时候，部署完成了，但是启动失败？

A：请检查您的ECS系统是否有jdk1.6以上的环境；如果您是centos5.x的操作系统需要您自己安装jdk的版本以及python2.6.5以上的版本；

Q：如何修改自定义ECS的任务并发数？

A：在配置服务器的界面中，有个最大槽位数：说明：槽位数是定义一台机器并发任务的一个量化单位，一个shell任务或者odpssql任务占用一个槽位；一个datax任务（同步任务）可能会占用2-20个不等的槽位；可以修改该值增加您ecs并发的大小；目前默认是40个槽位

最后更新：2016-11-23 16:04:08

  上一篇： 补数据__基础示例—完整数据开发_场景教程_大数据开发套件-阿里云

  下一篇： 数据开发常见问题__常见问题_大数据开发套件-阿里云