阅读916 返回首页    go 微信


调度资源__组织管理手册_用户操作指南_大数据开发套件-阿里云

阿里云数加平台>数据开发套件>数据开发>组织管理>调度资源中,您可新建、配置、编辑调度资源。

调度资源属于组织范畴内的对象,一个专用的调度资源可以拥有若干台物理机或ECS虚机,用于运行指定的任务。组织管理员可在调度资源页面中新建、配置调度资源以完成专用调度资源的创建,也可对已有的调度资源进行编辑。

新建调度资源

组织管理员可以新建专用的调度资源,以便后续可将专用的调度资源分配给某些项目空间来执行特定的任务。指定的任务可以是数据同步任务、SHELL脚本、ODPS SQL脚本,也可以是OPEN MR和机器学习等任务。而在未指定专用调度资源的情况下,项目空间内的所有任务都将默认使用系统托管集群中的资源。

应用实例

新建调度资源可解决如下问题:

1)大量任务处于“等待资源状态”;当前项目的任务量达到一定的量值,已有gateway的资源已经不满足业务需求,需要扩大资源,申请添加gateway。

【注意】:数据同步任务一个任务会占用10个机器槽位(即10个并发数),默认资源组资源有限,所以在做数据生产过程中,数据同步任务一般都需要用自建资源组来运行以保证任务不会一直等待资源。

2)项目下有一些特殊的任务(比如某些shell脚本)需要在特定的机器上执行,需申请自己的gateway作为任务执行机器。

现假设由于具体的数据开发项目等因素,组织管理员需创建专用的调度资源以分配给特殊需求的项目空间来运行指定的数据同步任务。

实现过程

组织管理员新建调度资源的具体步骤如下:

步骤1:以组织管理员的身份登录阿里云数加平台,进入数据开发套件-数据开发。

步骤2:在顶部菜单栏中点击组织管理,导航至调度资源。

步骤3:点击增加调度资源。

步骤4:在新建调资源弹出框中配置资源名称和资源唯一标识。

group_SR_1.JPG

新建调度资源配置项,具体说明如下:

■ 资源名称:由中文、英文字母、下划线、数字组成,不超过60个字符。

■ 资源唯一标识:由字母、数字、下划线组成的资源名称的唯一标识符,需在组织内全局唯一,且创建后不支持修改。

步骤5:点击提交。

group_SR_2.JPG

配置服务器

组织管理员成功添加调度资源后,还需通过绑定服务器来完成专用调度资源的配置。专用调度资源绑定服务器不超过1000台,且只能从属于该组织范畴内的ECS机器列表中选取,同时一台ECS虚机只能属于一个自定义调度资源。

实现过程

组织管理员完成上述两种场景,需满足如下前提条件:

步骤1购买ECS云服务器

【说明】1、建议使用centos6、centos7,或者aliyunos;2、如果您添加的ecs需要执行odps任务或者同步任务,需要检查当前ecs的python版本是否是python2.6.5以上的版本(centos5的版本为2.4的,其余os自带了2.6以上版本);3、请确保ECS有公网IP;4、建议ECS的内存大小在4G以上;5、用户自定义添加的ECS只能支持执行ODPS_SQL、MR、SHELL、同步任务,其余任务类型不支持。

步骤2:查看ECS主机名和IP地址。

DM_5_12

【说明】如果您在购买ecs的时候没有修改机器名称,那么主机名和IP如下截图所示; 如果修改过机器名称,请到ecs服务器上执行hostname,和hostname -i获取主机名称和IP。

步骤3:组织管理员进入数据开发套件,导航至组织管理>调度资源,点击增加调度资源,将购买的ECS云服务器添加到资源组。

DM_5_12

DM_5_12

点击新建调度资源操作栏中的配置服务器,进入服务器添加页面。

DM_5_12

点击添加服务器,并在添加服务器弹出框中输入ECS主机名和IP地址,然后点击提交

添加服务器

步骤4:经过上述步骤后,已经将新购买的ECS信息注册到了数据开发套件中,但是目前为止还不能服务。如果是新添加机器,请按照如下步骤操作:

执行服务器初始化

【说明】如果执行install.sh过程中出错或需要重新执行,请先删除已经生成的文件,请在跟install.sh同一个目录下执行:rm –rf base-biz*;然后在去执行install.sh

DM_5_12

  • 步骤4.4:稍后(大约15秒后)在添加服务器页面,点击刷新按钮,观察服务状态是否转为“正常”状态,若显示正常则表示新建ECS服务注册成功。

DM_5_12

【说明】步骤5.2和步骤5.3中的命名都可通过点击执行初始化按钮来直接查看与复制。

DM_5_12

步骤5:导航至组织管理>项目管理,在项目空间列表中点击编辑,并在弹出框调度资源配置项中选择新建的资源组,然后点击提交。

DM_5_12

DM_5_12

步骤6:导航至运维中心>任务管理>节点定义,在节点列表中勾选需要配置的节点,并点击修改资源组,选择新建的资源组。

编辑调度资源

已新建、配置的专用调度资源也可修改其调度资源名称。

应用实例

为项目成员快速分辨与使用专用调度资源,组织管理需对已配置的调度资源进行编辑修改。

实现过程

组织管理员要修改已配置的专用调度资源需通过如下步骤来完成:

步骤1:以组织管理员身份登录阿里云数加平台,进入数据开发套件-数据开发。

步骤2:点击顶部菜单中的组织管理,导航至调度资源。

步骤3:在组织管理>调度资源列表搜索框中,输入调度资源名称来进行模糊匹配查找需要编辑的调度资源。

步骤4:点击编辑。

group_SR_7.JPG

步骤5:在编辑资源弹出框中编辑资源名称。

【注意】调度资源名称由中文、英文字母、下划线、数字组成,不能超过60个字符。

步骤6:点击提交。

最后更新:2016-11-23 16:04:07

  上一篇:go 项目管理__手册_用户操作指南_大数据开发套件-阿里云
  下一篇:go 数据同步简介__数据同步手册_用户操作指南_大数据开发套件-阿里云