阅读750 返回首页    go 群英


数据源配置__项目管理手册_用户操作指南_大数据开发套件-阿里云

数据源配置是数据集成的首要任务,在进行数据同步(数据导入或数据导出)任务开发时,项目管理员需配置可连通的数据源来支撑整个数据开发项目。

项目管理员可在当前项目空间下进行新建、编辑和删除数据源。目前支持多种数据源类型,具体包括:ODPS、OCS、DRDS、ADS、RDS(MySQL、SQL Server、PostgreSQL)、OSS、Oracle、FTP。

新增数据源

【场景一】新建ODPS数据源

项目管理员创建ODPS数据源,具体步骤如下:

步骤1:以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

步骤2:点击顶部菜单栏中项目管理,导航至数据源管理页面。

步骤3:点击新增数据源。

步骤4:在新建数据源话弹出框中,选择数据源类型为ODPS。

步骤5:配置ODPS数据源的各个信息项。

PM_1_2

针对ODPS数据源配置项的具体说明如下:

数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过30个字符。

数据源描述:对数据源的简单描述,不超过1024个字符。

数据源类型:当前选择的数据源类型。

ODPS Endpoint:默认只读。从系统配置中自动读取。

ODPS项目名称:对应的ODPS Project标识。

以登录用户身份连接:以当前用户的身份连接ODPS Project。若选择该选项,对应的AccessID和AccessKey选项将隐藏,无需配置。

以系统身份连接:以ODPS Project Owner身份连接该数据源。

  • AccessID:与ODPS Project Owner云账号对应的AccessID。
  • AccessKey:与ODPS Project Owner云账号对应的AccessKey,与AccessID成对使用。

步骤6:完成上述信息项的配置后,点击测试连通性。

步骤7:测试连通性通过后,点击确定。

【说明】每个项目空间系统都将生成一个默认的数据源(odps_first),对应的ODPS项目名称为当前项目空间对应的计算引擎ODPS项目名称。

【场景二】新建MySQL数据源

项目管理员创建MySQL数据源,具体步骤如下:

步骤1:以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

步骤2:点击顶部菜单栏中项目管理,导航至数据源管理页面。

步骤3:点击新增数据源。

步骤4:在新建数据源话弹出框中,选择数据源类型为RDSMySQL。

步骤5:选择以RDS实例形式或JDBC形式配置该MySQL数据源。

选择以RDS实例形式配置该MySQL数据源:

1

上图中的配置项具体说明如下:

数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过30个字符。

数据源描述:对数据源的简单描述,不超过1024个字符。

数据源类型:当前选择的数据源类型(RDS→MySQL→RDS实例形式)。

RDS实例ID:该MySQL数据源的实例ID。

RDS实例购买者ID:该MySQL数据源的实例购买者ID。

【备注】若选择JDBC形式来配置数据源,其JDBC连接信息,格式为:jdbc:mysql://IP:Port/database。

数据库名:该数据源对应的数据库名。

用户名/密码:数据库对应的用户名和密码。

步骤6:完成上述信息项的配置后,点击测试连通性。

步骤7:测试连通性通过后,点击确定。

【场景三】新建SQL Server数据源

项目管理员创建SQL Server数据源,具体步骤如下:

步骤1:以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

步骤2:点击顶部菜单栏中的项目管理,点击左侧导航数据源管理

步骤3:点击新增数据源。

步骤4:在新建数据源话弹出框中,选择数据源类型为RDS→SQL Server。

步骤5:选择以RDS实例形式或JDBC形式配置该SQL Server数据源。

选择以RDS实例形式配置该SQL Server数据源:

上图中的配置项具体说明如下:

数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过30个字符。

数据源描述:对数据源的简单描述,不超过1024个字符。

数据源类型:当前选择的数据源类型(RDS→SQL Server→RDS实例形式)。

RDS实例ID:该SQL Server数据源的RDS实例ID。

RDS实例购买者ID:该数据源对应的RDS实例购买者ID。

【备注】若选择JDBC形式来配置数据源,其JDBC连接信息,格式为:jdbc:mysql://IP:Port/database。

数据库名:该数据源对应的数据库名。

用户名/密码:数据库对应的用户名和密码。

步骤6:完成上述信息项的配置后,点击测试连通性。

步骤7:测试连通性通过后,点击确定。

【场景四】新建PostgreSQL数据源

项目管理员创建PostgreSQL数据源,具体步骤如下:

步骤1:以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

步骤2:点击顶部菜单栏中的项目管理,点击左侧导航数据源管理

步骤3:点击新增数据源。

步骤4:在新建数据源话弹出框中,选择数据源类型为RDS→PostgreSQL。

步骤5:选择以RDS实例形式或JDBC形式配置该PostgreSQL数据源。

选择以RDS实例形式配置该PostgreSQL数据源:

上图中的配置项具体说明如下:

数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过30个字符。

数据源描述:对数据源的简单描述,不超过1024个字符。

数据源类型:当前选择的数据源类型(RDS→PostgreSQL→RDS实例形式)。

RDS实例ID:该SQL Server数据源的RDS实例ID。

RDS实例购买者ID:该数据源对应的RDS实例购买者ID。

【备注】若选择JDBC形式来配置数据源,其JDBC连接信息,格式为:jdbc:mysql://IP:Port/database。

数据库名:该数据源对应的数据库名。

用户名/密码:数据库对应的用户名和密码。

步骤6:完成上述信息项的配置后,点击测试连通性。

步骤7:测试连通性通过后,点击确定。

【场景五】新建Oracle数据源

项目管理员创建Oracle数据源,具体步骤如下:

步骤1:以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

步骤2:点击顶部菜单栏中的项目管理,点击左侧导航数据源管理

步骤3:点击新增数据源。

步骤4:在新建数据源话弹出框中,选择数据源类型为Oracle。

步骤5:配置Oralce数据源的各个信息项。

针对Oralce数据源配置项的具体说明如下:

数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过30个字符。

数据源描述:对数据源的简单描述,不超过1024个字符。

数据源类型:当前选择的数据源类型。

网络类型:当前选择的网络类型。

JDBCUrl:JDBC连接信息,格式为:

jdbc:oracle:thin:@serverIP:Port:Database。

用户名/密码:对应的用户名和密码。

步骤6:完成上述信息项的配置后,点击测试连通性。

步骤7:测试连通性通过后,点击确定。

【场景六】新建ADS数据源

项目管理员创建ADS数据源,具体步骤如下:

步骤1:以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

步骤2:点击顶部菜单栏中的项目管理,点击左侧导航数据源管理

步骤3:点击新增数据源。

步骤4:在新建数据源话弹出框中,选择数据源类型为ADS。

步骤5:配置ADS数据源的各个信息项。

PM_1_10

针对ADS数据源配置项的具体说明如下:

数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过30个字符。

数据源描述:对数据源的简单描述,不超过1024个字符。

数据源类型:当前选择的数据源类型。

连接Url:ADS连接信息,格式为:serverIP:Port。

Schema:相应的ADS Schema信息。

AccessID/AceessKey:对应的用户名和密码,即AK对。

步骤6:完成上述信息项的配置后,点击测试连通性。

步骤7:测试连通性通过后,点击确定。

【场景七】新建OSS数据源

项目管理员创建OSS数据源,具体步骤如下:

步骤1:以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

步骤2:点击顶部菜单栏中的项目管理,点击左侧导航数据源管理

步骤3:点击新增数据源。

步骤4:在新建数据源话弹出框中,选择数据源类型为OSS。

步骤5:配置OSS数据源的各个信息项。

针对OSS数据源配置项的具体说明如下:

数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过30个字符。

数据源描述:对数据源的简单描述,不超过1024个字符。

数据源类型:当前选择的数据源类型。

网络类型:当前选择的网络类型。

Endpoint:OSS Endpoint信息,格式为:https://oss.aliyuncs.com。

Bucket:相应的OSS Bucket信息。

AccessID/AceessKey:对应的用户名和密码,即AK对。

步骤6:完成上述信息项的配置后,点击测试连通性。

步骤7:测试连通性通过后,点击确定

【场景八】新建OCS数据源

项目管理员创建OCS数据源,具体步骤如下:

步骤1:以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

步骤2:点击顶部菜单栏中的项目管理,点击左侧导航数据源管理

步骤3:点击新增数据源。

步骤4:在新建数据源话弹出框中,选择数据源类型为OCS。

步骤5:配置OCS数据源的各个信息项。

针对OCS数据源配置项的具体说明如下:

数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过30个字符。

数据源描述:对数据源的简单描述,不超过1024个字符。

数据源类型:当前选择的数据源类型。

网络类型:当前选择的网络类型。

PROXY:相应的OCS Proxy。

Port:相应的OCS 端口。

用户名/密码:对应的用户名和密码。

步骤6:完成上述信息项的配置后,点击测试连通性。

步骤7:测试连通性通过后,点击确定。

【场景九】新建DRDS数据源

项目管理员创建DRDS数据源,具体步骤如下:

步骤1:以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

步骤2:点击顶部菜单栏中的项目管理,点击左侧导航数据源管理

步骤3:点击新增数据源。

步骤4:在新建数据源话弹出框中,选择数据源类型为DRDS。

步骤5:配置DRDS数据源的各个信息项。

针对DRDS数据源配置项的具体说明如下:

数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过30个字符。

数据源描述:对数据源的简单描述,不超过1024个字符。

数据源类型:当前选择的数据源类型。

网络类型:当前选择的网络类型。

JDBCUrl:JDBC连接信息,格式为:jdbc://mysql://serverIP:Port/database。

用户名/密码:对应的用户名和密码。

步骤6:完成上述信息项的配置后,点击测试连通性。

步骤7:测试连通性通过后,点击确定。

【场景十】新建FTP数据源

项目管理员创建FTP数据源,具体步骤如下:

步骤1:以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

步骤2:点击顶部菜单栏中的项目管理,点击左侧导航数据源管理

步骤3:点击新增数据源。

步骤4:在新建数据源话弹出框中,选择数据源类型为FTP。

步骤5:配置FTP数据源的各个信息项。

针对FTP数据源配置项的具体说明如下:

数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过30个字符。

数据源描述:对数据源的简单描述,不超过1024个字符。

数据源类型:当前选择的数据源类型。

网络类型:当前选择的网络类型。

Portocol:目前仅支持FTP和SFTP协议。

Host:对应FTP主机的IP地址。

Port:若选择的是FTP协议则端口默认为21,若选择的是SFTP协议则端口默认为22。

用户名/密码:访问该FTP服务的账号密码。

编辑数据源

项目管理员需要更改已有数据源的配置信息,具体步骤如下:

步骤1:以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

步骤2:点击顶部菜单栏中的项目管理,点击左侧导航数据源管理

步骤3:在数据源列表搜索框中输入数据源名称模糊匹配查找需要编辑的数据源。

步骤4:点击操作栏中的编辑。

步骤5:配置数据源的信息项(具体参见“章节5.1.2.2 新增数据源”)。

步骤6:完成信息项的编辑后,点击测试连通性。

步骤7:测试连通性通过后,点击确定。

删除数据源

项目管理员需要删除已有数据源配置,具体步骤如下:

步骤1:以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

步骤2:点击顶部菜单栏中的项目管理,点击左侧导航数据源管理

步骤3:在数据源列表搜索框中输入数据源名称模糊匹配查找需要删除的数据源。

步骤4:点击操作栏中的删除。

【注意】项目管理员在编辑、删除已有数据源配置时需谨慎操作,以免影响引用该数据源配置的工作流、代码等正常执行,而造成生产故障。

最后更新:2016-12-19 19:37:51

  上一篇:go 管理配置__数据管理手册_用户操作指南_大数据开发套件-阿里云
  下一篇:go 项目管理__手册_用户操作指南_大数据开发套件-阿里云