阅读164 返回首页    go 魔兽

数据开发常见问题__常见问题_大数据开发套件-阿里云

Q：如何创建ODPS表？

A：大数据平台上有两种方式建表：

一种是在数据开发模块通过脚本文件或者工作流任务执行建表语句，详情请看快速开始-创建表。这个方式建表owner为项目管理中项目计算引擎设置的‘ODPS访问身份’账号，无类目管理。

一种是在数据管理模块可视化方式建表，详情请看数据管理-创建表。这个方式建表owner为当前登录账号，有类目管理。

Q：怎么把数据导入到odps上？

A：数据导入到ODPS有基本归类为3种情况：-数据开发套件-快速开始

1）本地数据文件一次性导入到odps某个表。解决方案：直接在数据开发面板右边工作区域右上角“新建-导入本地数据”，详细请参考文档数据导入。

2）离线数据库单表导入。解决方案：开发面板建工作流（按需建一次性或者周期调度工作流），创建‘数据同步’任务，具体可以参考创建数据同步任务

Q：RDS数据源连通测试不通过怎么办？

A:目前RDS数据源仅支持杭州地域的RDS，北京地域暂时不支持。另外当杭州地域的RDS也遇到数据源测试不连通的时候，需要到自己RDS上添加数据同步机器ip白名单：

10.152.69.0/24,10.153.136.0/24,10.143.32.0/24,120.27.160.26,10.46.67.156,120.27.160.81,10.46.64.81,121.43.110.160,10.117.39.238,121.43.112.137,10.117.28.203,118.178.84.74,10.27.63.41,118.178.56.228,10.27.63.60,118.178.59.233,10.27.63.38,118.178.142.154,10.27.63.15

Q：调度参数怎么用？

A：目前系统参数有两个，这两个系统参数只要代码里用到，不需要做额外的赋值动作，节点自动调度的时候就会自动替换。系统参数分别为：

  • ${bdp.system.bizdate}格式yyyymmdd，日常调度实例定时时间的前一天（年月日）。节点每天自动调度实例定时时间年月日减1天。

  • ${bdp.system.cyctime}格式yyyymmddhh24miss，日常调度实例定时时间（年月日时分秒）。 yyyy表示4位数年份，mm表示2位数月份，dd表示2位数天，hh24表示24小时制的时，mi表示2位数分钟，ss表示2位数秒。

使用方式：节点代码里编辑如pt=${bdp.system.bizdate}，然后节点在调度上运行即可自动替换值。

若节点每天调度时代码里有变量需要赋当天减2的日期，即业务日期减1天，格式为yyyymmdd，需要系统参数和ODPS内建函数一起使用，如下：

节点代码dt=to_char(dateadd(TO_DATE(‘${bdp.system.bizdate}’, ‘yyyymmdd’), -1, ‘dd’), ‘yyyymmdd’)

ODPS内建日期函数具体可查看帮助文档：大数据计算服务 ODPS > SQL > 内建函数定位到“日期函数”

Q：本地文件数据上传功能有没有文件大小限制？

A：一次性上传文件大小上限为10M。

Q：我在“数据开发”模块通过脚本写建表语句建成功建表，但是为什么在“数据管理”模块“数据表管理-我拥有的表”列表里没看到？**

A：遇到此问题，首先要查看当前项目的“项目管理-MaxCompute基本配置”，MaxCompute访问身份配置应该是选择了“系统账号”，通过数据开发脚本提交的建表语句都是用该账号创建的表即表owner为该账号，而“数据管理-我拥有的表”是指当前登录账号为owner的表。

Q：一个工作流里的节点可以不彼此依赖吗？

A：

  • 一个工作流里没有业务关系的节点可以不用彼此依赖；
  • 一个工作流里只能有一个根节点，即没有父节点的节点；
  • 一个工作流里某个节点可以依赖多个节点，也可以被多个节点依赖；
  • 一个工作流里可以有多个节点没有被其他节点依赖。

Q：如何将rds里的数据表链接到Data IDE中？

A：大数据开发套件（Data IDE）只能查看MaxCompute的数据，RDS的数据表需要同步到MaxCompute的表才可以在Data IDE中操作。数据同步可以参考：https://help.aliyun.com/document_detail/30269.html

Q：数加平台能不能从RDS的只读实例同步数据？

A：支持从只读RDS读出数据，然后导到其他的地方。实际上，为了减少对业务库的压力，我们也建议做etl的时候，从只读库上导。具体数据同步配置可参考：https://help.aliyun.com/document_detail/30269.html

最后更新：2016-12-20 17:43:22

  上一篇：go 准备工作常见问题__常见问题_大数据开发套件-阿里云
  下一篇：go 数据管理常见问题__常见问题_大数据开发套件-阿里云