阅读120 返回首页    go 微信

项目管理__手册_用户操作指南_大数据开发套件-阿里云

项目配置

项目配置表单功能

在项目管理的项目列表页中点击“项目配置”，进入大数据开发套件项目配置页面：

  1. 项目名称：大数据开发套件的项目名称，只支持27位字母或者数字（必须字母开头），不区分大小写。该作为项目的唯一标识，创建后无法修改；
  2. 项目显示名称：大数据开发套件的项目显示名称，用于标识项目，支持10位字母、数字或中文，可以修改；
  3. 管理员：项目的创建人，作为项目的创建者，拥有删除项目、禁用项目的权限，并且该身份无法变更；
  4. 创建日期：项目的创建日期，中国站以东八区为准，无法变更；
  5. 状态：项目状态有4种，分为正常、初始化中、禁用、初始化失败。其中，项目新建时状态为初始化中；新建失败时状态为初始化失败，可以重试；正常的项目可以被管理员禁用，禁用后项目所有功能无法使用，数据保留，已经提交的任务正常执行，且可以通过恢复的功能将项目重新置于正常状态；
  6. 发布目标：任务在同一个租户内跨项目迁移的时候需要通过发布的功能，该功能需要通过此处配置才可以激活使用。用户可以选择同一租户下的其他项目作为发布目标，并在数据开发界面中选择发布内容，将所选择的内容发布（迁移）至目标项目；
  7. 生产账号：大数据开发套件离线调度系统执行调度任务所使用的账号，在项目初始化时建立，无法变更；
  8. 启用调度周期：控制当前项目是否启用调度系统，如果关闭则无法周期性调起任务；
  9. 允许在本项目中直接编辑任务和代码：控制当前项目成员在本项目新建/编辑代码文件的权限，如果关闭则无法新建/编辑代码文件；
  10. 在本项目中能下载select结果：控制数据开发中select出的数据结果是否能够下载，如果关闭则无法下载select的数据查询结果；
  11. 描述：项目描述信息，用于备注项目相关信息，可以编辑变更，支持128位中文、字母、符号或数字；

注释：项目没有删除状态，所有删除的项目不会在界面中显示

项目成员管理

在大数据开发套件项目配置页面中点击项目成员管理，进入大数据开发套件项目成员管理页面：

  1. 列表项概念：
  2.     成员名称：成员显示昵称，默认为登录者云账号；
  3.     登录名：成员云账号；
  4.     成员角色：成员作为当前大数据开发套件项目成员，在项目中拥有的角色（项目管理员、开发、运维、部署、访客）；
  5.     操作类型：当前用户可以针对成员进行的操作，现为“移出本项目”（仅项目管理员角色拥有该权限），即将该成员移除出当前项目；
  6. 添加成员：系统可以为您全量同步主账号下全量子用户账号，并提供搜索筛选的功能。可以选中一个或多个搜索结果并批量设置角色。点击确定后成员添加至项目中，被添加的成员可以进入当前项目操作数据和项目中的其他功能；

注释：

  • 移出本项目的操作，无法针对本人。
  • 对应项目的角色，权限概述：
Data IDE角色 平台权限特征 MaxCompute角色 MaxCompute数据权限
组织管理员 指组织的管理者，可新建计算引擎、新建项目空间、新建调度资源、添加组织成员、为组织成员赋予组织管理员角色、配置数据类目等。 无 无
项目管理员 指项目空间的管理者，可针对项目空间基本属性、数据源、当前项目空间计算引擎配置和项目成员进行管理，并为组织成员赋予项目管理员、开发、运维、部署、访客角色。 role_project_admin project/table/fuction/resource/instance/job/volume/offlinemodel/package的所有权限
开发 开发角色用户能够创建工作流、脚本文件、资源和UDF，新建/删除表，同时可以创建发布包，但不能执行发布操作。 role_project_dev project/fuction/resource/instance/job/volume/offlinemodel/package/table的所有权限
运维 项目空间的运维人员，由项目管理员/项目所有者分配运维权限；拥有发布及线上运维的操作权限，无数据开发的操作权限。 role_project_pe project/fuction/resource/instance/job/offlinemodel的所有权限，拥有volume/package的read权限，拥有table的read和describe权限
部署 部署角色与运维角色相似，但是其没有线上运维操作权限。 role_project_deploy 默认无权限
访客 访客角色的用户只具备查看权限，而无权限进行编辑工作流和代码等。 role_project_guest 默认无权限

数据源管理

数据源作为数据同步任务链接数据源端和目标端的通路，在项目级别进行统一的管理和配置，由项目管理员对该部分进行配置操作。目前支持多种数据源类型，具体包括：MaxCompute、OCS、DRDS、ADS、RDS（MySQL、SQL Server、PostgreSQL）、OSS、Oracle、FTP、HDFS。

  1. 列表项概念：
  2.     数据源名称：数据源链接在建立时用于唯一标识的名称，用户可以通过搜索功能来快速定位数据源；
  3.     数据源类型：当前数据源链接作用的数据源类型；
  4.     链接信息：描述数据源链接的详细信息，如MaxCompute中的Endpoint、MaxCompute Project、Access Id；
  5.     数据源描述：描述当前数据源的信息，非必填信息；
  6.     操作：
  7.         删除：删除当前数据源，仅项目管理员可以操作；
  8.         编辑：编辑当前数据源，如修改数据源配置，仅项目管理员可以操作；
  9. 新增数据源：
  10.     数据源名称：
  11.     数据源描述：
  12.     数据源类型：
  13.     数据源标识（每种数据源该部分内容均有差异，下面以RDS的mysql实例为例）：
  14.         RDS实例名称：对应RDS实例的名称；
  15.         数据库名称：该实例中目标链接库名；
  16.         用户名：目标链接库的用户名；
  17.         密码：目标链接库的密码；

注释：

  • 数据源名称的odps_first作为默认数据源，无法被删除；
  • 更多数据源配置请参考大数据开发套件文档中心《数据源配置》章节；

调度资源管理

调度资源可以包括若干台物理机或ECS虚机，用于运行调度任务。项目管理员可以在“项目配置-调度资源管理页面”中新建、修改调度资源。用户在默认调度资源的响应性能无法满足业务需要时，可以自主购买ECS配置成为调度资源，以提升调度任务的执行效率。

  1. 列表项概念：
  2.     资源名称：调度资源组名称，由英文字母、下划线、数字组成，不超过60个字符，创建后不支持修改；
  3.     ID：调度资源在系统中的唯一标识，在任务执行日志定位中使用；
  4.     网络类型：调度资源添加的ECS服务器所使用的网络类型，分为专有网络和经典网络；
  5.     服务器：当前调度资源中所包含的的服务器名称；
  6.     默认调度资源：默认调度资源为标记位，标记当前调度资源是否为默认调度资源。调度任务默认向该资源组提交任务，一个项目内有且只有一个默认调度资源。
  7.     操作类型：
  8.         服务器初始化：配置的好的ECS服务器，需要以相应的ECS中admin角色，修改如界面提示中的配置，详细操作参考下文的“新增调度资源”；
  9.         修改服务器：修改当前调度资源中的服务器配置，可以新增/删除务器，以及修改服务器的最大并发任务数；
  10.         修改归属项目：分配当前调度资源可以被指定项目使用，该操作只能由开通服务的主账号进行；
  12. 修改默认资源：变更默认调度资源，可以指定当前项目下任何一个调度资源为默认调度资源。默认调度资源调整会影响全体任务，请慎重修改。
  13. 新增调度资源：新增调度资源组，详细操作参考下文的“新增调度资源”；

注释：

  • 经典网络：IP地址由阿里云统一分配，配置简便，使用方便，适合对操作易用性要求比较高、需要快速使用ECS的用户。
  • 专有网络：逻辑隔离的私有网络，用户可以自定义网络拓扑和IP地址，支持通过专线连接。适合对网络管理熟悉了解的用户。
  • 经典网络和专有网络相关问题请参考阿里云文档中心《经典网络和VPC常见问题FAQ》；

常见问题：如何新增调度资源？

  1. 步骤一：购买ECS云服务器；

    注释：

    • 建议使用centos6、centos7，或者aliyunos；
    • 如果您添加的ecs需要执行odps任务或者同步任务，需要检查当前ecs的python版本是否是python2.6.5以上的版本（centos5的版本为2.4的，其余os自带了2.6以上版本）；
    • 请确保ECS有公网IP；
    • 建议ECS的内存大小在4G以上；
    • 用户自定义添加的ECS只能支持执行ODPS_SQL、MR、SHELL、同步任务，其余任务类型不支持。

  2. 步骤二：查看ECS主机名和IP地址；

    注释：如果您在购买ecs的时候没有修改机器名称，那么主机名和IP如下截图所示； 如果修改过机器名称，请到ecs服务器上执行hostname和hostname -i，获取主机名称和IP。

  3. 步骤三：项目管理员，进入“项目配置-调度资源管理页面”，点击“新增调度资源”（或选择某一个调度资源，点击“修改服务器”），将购买的ECS云服务器作为服务器，添加到资源组中；

    注释：

    • 填写专有网络下的ECS作为服务器时，需要用户填写ECS的UUID作为服务器名称。获取方式：登陆到ECS机器执行命令：dmidecode | grep UUID；
    • 如执行dmidecode | grep UUID，返回结果是UUID: 713F4718-8446-4433-A8EC-6B5B62D75A24，则对应的uuid为713F4718-8446-4433-A8EC-6B5B62D75A24。

  4. 步骤四：项目管理员，进入“项目配置-调度资源管理页面”，选中某一台机器，点击“服务器初始化”，根据弹出窗内容进行操作：

  1. 用root权限，登录ECS服务器[服务器IP]（该服务器为您所需要操作的ECS），ssh root@[服务器IP]，如：ssh root@121.43.59.64；
  2. 执行命令（该行命令直接copy界面提示，并执行）：wget https://alisaproxy.shuju.aliyun.com/install.sh ；
  3. 执行命令（该行命令直接copy界面提示，并执行）：sh install.sh --user_name=zz_[调度资源唯一标识] --password=[AK密码] --enable_uuid=false；
  4. 稍后（大约15秒）在添加服务器页面，点击刷新按钮，观察服务状态是否转为“正常”状态，若显示正常则表示新建ECS服务器注册成功；

MaxCompute配置

基本设置

  1. 列表项概念：
  2.     MaxCompute基本配置：
  3.         MaxCompute项目名称：当前大数据开发套件项目，底层使用的MaxCompute Project名称（该MaxCompute Project作为计算和存储资源）；
  4.         MaxCompute访问身份：当前大数据开发套件项目，系统做计算及存储等相关操作时，使用的一个云账号，该账号默认为该项目的创建者使用的主账号，用于访问MaxCompute Project；
  5.         MaxCompute Owner账号：当前大数据开发套件项目，底层使用的MaxCompute Project的Owner账号，该账号可以在用户单独访问MaxCompute Console时使用（一般不推荐使用）；
  6.     MaxCompute安全设置：
  7.         使用ACL授权：默认激活，激活/冻结该开关，相当于Owner账号在MaxCompute Project中执行set CheckPermissionUsingACL=true/false操作；
  8.         允许对象创建者访问对象：默认激活，激活/冻结该开关，相当于Owner账号在MaxCompute Project中执行set ObjectCreatorHasAccessPermission=true/false；
  9.         允许对象创建者授权对象：默认激活，激活/冻结该开关，相当于Owner账号在MaxCompute Project中执行set ObjectCreatorHasGrantPermission=true/false；
  10.         项目空间数据保护：默认冻结，激活/冻结该开关，相当于Owner账号在MaxCompute Project中执行set ProjectProtection=true/false；
  11.         子账号服务：默认激活，激活/冻结该开关，控制子账号可以访问/禁止访问该MaxCompute Project；

自定义用户角色

  1. 列表项概念：
  2.     角色名称：MaxCompute Project中的Role名称；
  3.     操作：
  4.         查看详情：查看当前Role中包含的成员List，以及当前Role对表/项目的权限；
  5.         权限管理：设置并管理当前Role对表/项目的权限；
  6.         成员管理：添加/删除当前Role中的成员；
  7.         删除：删除当前Role；
  8. 新增角色：
  9.     角色名称：新增Role名称；
  10.     修改成员：添加/删除Role中的成员；

注释：此处自定义角色所设定权限，将与原有系统权限取并集；

计费转换

用户可以对任一项目进行计费转换的操作。目前MaxCompute支持两种计费方式：按CU预付费和按I/O后付费。

如果您选择从按CU预付费转换为按I/O后付费，在点击转换后会出现以下提示：

  1. 您正在将项目"****"的计费模式由按CU预付费转换为按I/O后付费。本次转换后，该项目中的计算任务将会按实际的计算消耗进行扣款；已购买的未到期CU预留资源仍可继续在其他项目中使用。

注释：

  • CU预付费与IO后付费的区别：区别只在于计算资源的收费及运行模式，存储和下载的收费对两种模式来说是一致的。CU预付费的计算任务独占购买的CU资源，且只享有这些购买的CU数量；IO后付费的计算任务共享公共计算资源，运行任务的快慢需要视当前运行任务总个数来定。
  • 计费互转生效的时间：项目的收费方式的互转，一般来说是立即生效，但有正在运行中的任务，需要等下次运行且一段时间后才会转换过来。
  • IO后付费转换为CU预付费项目时，需要您提前购买MaxCompute的CU资源，且只能在同一个区域中进行项目的计费模式互转。
  • CU预付费的项目转换为IO后付费时，已收取的包月费用不会退还，您仍然可以新建其他的项目来使用已购的CU资源。您购买了MaxCompute的CU资源，可以创建多个项目，共享这些CU资源。
  • 不建议您进行频繁的计费切换，可能会影响您计算任务运行的时间。
  • 需要特殊说明的是，MaxCompute 按CU的收费模式是按天计费、按月结算的。用户在使用过程中可以根据实际使用天数退还多余费用的等额代金券。例如：用户采购 100 CU，预支15000元。使用25天后，MaxCompute可以以代金券形式向用户退还其余5天的费用，即返还2500元代金券。

进入工作区

点击后，用户可以进入对应项目的工作区域。

删除

删除操作目前只允许大数据开发套件创建者（主账号）操作，系统将为您同步删除MaxCompute Project。此项操作为不可逆操作！

禁用/恢复

禁用/恢复操作目前只允许大数据开发套件创建者（主账号）操作，被禁用后的项目无法进行任何操作，直至恢复为止。

最后更新：2016-12-05 18:35:01

  上一篇：go 数据源配置__项目管理手册_用户操作指南_大数据开发套件-阿里云
  下一篇：go 调度资源__组织管理手册_用户操作指南_大数据开发套件-阿里云