阅读71 返回首页    go 阿里云 go 技术社区[云栖]


MaxCompute SQL中的更新和删除如何实现

由于 MaxCompute是针对数据仓库应用设计的,而数据仓库的内容是读多写少的。因此,MaxCompute不支持对数据的UpdateDelete,所有的数据都是在加载的时候中确定好的。而中的数据通常是需要经常进行修改的,因此可以使用 INSERT INTO ...  VALUES 添加数据,使用 UPDATE ... SET 修改数据。但是随着云计算和大数据的发展越来越多的传统系统需要云化,这其中必然涉及到数据的增删改查,如何根据MaxCompute的特点实现相应的功能是不能回避的,以下就是本人在上云实践中的一些解决办法。

先创建一张测试数据表ODS_A


CREATE TABLE ODS_A   (
 id string,
 name string
)
PARTITIONED BY (
    ds STRING
);


分别插入数据idname ds


insert into table ODS_A partition (ds='20170621') select '1','aaa' from (select count(1) from ODS_A) t;

1                       aaa           20170621

2                       bbb           20170621

3                       ccc            20170621

Update语法:

要求更新2       bbb      2         ddd


create table TMP_A like ODS_A;
insert overwrite table TMP_A partition (ds='one') select id,"ddd" from ODS_A  where id = 2;
insert overwrite table TMP_A partition (ds='two') select a.id,a.name from ODS_A a left outer join (select id from TMP_A where name='ddd') b on (a.id=b.id) where b.id is NULL;
insert overwrite table ODS_A partition (ds='20170621') select id,name from TMP_A where ds='one' or ds='two';

Delete语法:


例如:ODS_A表数据如下

1                       aaa           20170621

2                       bbb           20170621

3                       ccc            20170621

要求删除分区表ds=20170621中的bbb数据

MaxCompute SQL脚本如下:


insert overwrite table ODS_A partition (ds='20170621') select id,name from ODS_A where id !=2;

 

例如:ODS_A表数据如下

1                       aaa           20170621

2                       bbb           20170621

3                       bbb           20170621

4                       bbb           20170621

5                       ccc            20170621

要求删除分区表ds=20170621中的重复多余的bbb数据

MaxCompute SQL脚本如下:


insert overwrite table ODS_A partition (ds='20170621')  select id,name from ODS_A group by id,name;

最后更新:2017-06-22 15:01:49

  上一篇:go  《软件工艺师:专业、务实、自豪》一导读
  下一篇:go  Dubbo 的商业化解决方案----EDAS 轻松管理分布式应用、定位故障、排查问题、自动化测试