MaxCompute SQL中的更新和刪除如何實現
由於 MaxCompute是針對數據倉庫應用設計的,而數據倉庫的內容是讀多寫少的。因此,MaxCompute不支持對數據的Update和Delete,所有的數據都是在加載的時候中確定好的。而中的數據通常是需要經常進行修改的,因此可以使用 INSERT INTO ... VALUES 添加數據,使用 UPDATE ... SET 修改數據。但是隨著雲計算和大數據的發展越來越多的傳統係統需要雲化,這其中必然涉及到數據的增刪改查,如何根據MaxCompute的特點實現相應的功能是不能回避的,以下就是本人在上雲實踐中的一些解決辦法。
先創建一張測試數據表ODS_A;
CREATE TABLE ODS_A (
id string,
name string
)
PARTITIONED BY (
ds STRING
);
分別插入數據id、name 、ds
insert into table ODS_A partition (ds='20170621') select '1','aaa' from (select count(1) from ODS_A) t;
1 aaa 20170621
2 bbb 20170621
3 ccc 20170621
Update語法:
要求更新2 bbb 為 2 ddd
create table TMP_A like ODS_A;
insert overwrite table TMP_A partition (ds='one') select id,"ddd" from ODS_A where id = 2;
insert overwrite table TMP_A partition (ds='two') select a.id,a.name from ODS_A a left outer join (select id from TMP_A where name='ddd') b on (a.id=b.id) where b.id is NULL;
insert overwrite table ODS_A partition (ds='20170621') select id,name from TMP_A where ds='one' or ds='two';
Delete語法:
例如:ODS_A表數據如下
1 aaa 20170621
2 bbb 20170621
3 ccc 20170621
要求刪除分區表ds=20170621中的bbb數據
MaxCompute SQL腳本如下:
insert overwrite table ODS_A partition (ds='20170621') select id,name from ODS_A where id !=2;
例如:ODS_A表數據如下
1 aaa 20170621
2 bbb 20170621
3 bbb 20170621
4 bbb 20170621
5 ccc 20170621
要求刪除分區表ds=20170621中的重複多餘的bbb數據
MaxCompute SQL腳本如下:
insert overwrite table ODS_A partition (ds='20170621') select id,name from ODS_A group by id,name;
最後更新:2017-06-22 15:01:49