閱讀71 返回首頁    go 阿裏雲 go 技術社區[雲棲]


MaxCompute SQL中的更新和刪除如何實現

由於 MaxCompute是針對數據倉庫應用設計的,而數據倉庫的內容是讀多寫少的。因此,MaxCompute不支持對數據的UpdateDelete,所有的數據都是在加載的時候中確定好的。而中的數據通常是需要經常進行修改的,因此可以使用 INSERT INTO ...  VALUES 添加數據,使用 UPDATE ... SET 修改數據。但是隨著雲計算和大數據的發展越來越多的傳統係統需要雲化,這其中必然涉及到數據的增刪改查,如何根據MaxCompute的特點實現相應的功能是不能回避的,以下就是本人在上雲實踐中的一些解決辦法。

先創建一張測試數據表ODS_A


CREATE TABLE ODS_A   (
 id string,
 name string
)
PARTITIONED BY (
    ds STRING
);


分別插入數據idname ds


insert into table ODS_A partition (ds='20170621') select '1','aaa' from (select count(1) from ODS_A) t;

1                       aaa           20170621

2                       bbb           20170621

3                       ccc            20170621

Update語法:

要求更新2       bbb      2         ddd


create table TMP_A like ODS_A;
insert overwrite table TMP_A partition (ds='one') select id,"ddd" from ODS_A  where id = 2;
insert overwrite table TMP_A partition (ds='two') select a.id,a.name from ODS_A a left outer join (select id from TMP_A where name='ddd') b on (a.id=b.id) where b.id is NULL;
insert overwrite table ODS_A partition (ds='20170621') select id,name from TMP_A where ds='one' or ds='two';

Delete語法:


例如:ODS_A表數據如下

1                       aaa           20170621

2                       bbb           20170621

3                       ccc            20170621

要求刪除分區表ds=20170621中的bbb數據

MaxCompute SQL腳本如下:


insert overwrite table ODS_A partition (ds='20170621') select id,name from ODS_A where id !=2;

 

例如:ODS_A表數據如下

1                       aaa           20170621

2                       bbb           20170621

3                       bbb           20170621

4                       bbb           20170621

5                       ccc            20170621

要求刪除分區表ds=20170621中的重複多餘的bbb數據

MaxCompute SQL腳本如下:


insert overwrite table ODS_A partition (ds='20170621')  select id,name from ODS_A group by id,name;

最後更新:2017-06-22 15:01:49

  上一篇:go  《軟件工藝師:專業、務實、自豪》一導讀
  下一篇:go  Dubbo 的商業化解決方案----EDAS 輕鬆管理分布式應用、定位故障、排查問題、自動化測試