閱讀556 返回首頁    go iPhone_iPad_Mac_apple

HTAP數據庫 PostgreSQL 場景與性能測試之 27 - (OLTP) 物聯網 - FEED日誌, 流式處理 與 閱後即焚 (CTE)

標簽

PostgreSQL , HTAP , OLTP , OLAP , 場景與性能測試

背景

PostgreSQL是一個曆史悠久的數據庫，曆史可以追溯到1973年，最早由2014計算機圖靈獎得主，關係數據庫的鼻祖Michael_Stonebraker 操刀設計，PostgreSQL具備與Oracle類似的功能、性能、架構以及穩定性。

pic

PostgreSQL社區的貢獻者眾多，來自全球各個行業，曆經數年，PostgreSQL 每年發布一個大版本，以持久的生命力和穩定性著稱。

2017年10月，PostgreSQL 推出10 版本，攜帶諸多驚天特性，目標是勝任OLAP和OLTP的HTAP混合場景的需求：

《最受開發者歡迎的HTAP數據庫PostgreSQL 10特性》

1、多核並行增強

2、fdw 聚合下推

3、邏輯訂閱

4、分區

5、金融級多副本

6、json、jsonb全文檢索

7、還有插件化形式存在的特性，如 向量計算、JIT、SQL圖計算、SQL流計算、分布式並行計算、時序處理、基因測序、化學分析、圖像分析 等。

pic

在各種應用場景中都可以看到PostgreSQL的應用：

pic

PostgreSQL近年來的發展非常迅勐，從知名數據庫評測網站dbranking的數據庫評分趨勢，可以看到PostgreSQL向上發展的趨勢：

pic

從每年PostgreSQL中國召開的社區會議，也能看到同樣的趨勢，參與的公司越來越多，分享的公司越來越多，分享的主題越來越豐富，橫跨了 傳統企業、互聯網、醫療、金融、國企、物流、電商、社交、車聯網、共享XX、雲、遊戲、公共交通、航空、鐵路、軍工、培訓、谘詢服務等 行業。

接下來的一係列文章，將給大家介紹PostgreSQL的各種應用場景以及對應的性能指標。

環境

環境部署方法參考：

《PostgreSQL 10 + PostGIS + Sharding(pg_pathman) + MySQL(fdw外部表) on ECS 部署指南(適合新用戶)》

阿裏雲 ECS：56核，224G，1.5TB*2 SSD雲盤。

操作係統：CentOS 7.4 x64

數據庫版本：PostgreSQL 10

PS：ECS的CPU和IO性能相比物理機會打一定的折扣，可以按下降1倍性能來估算。跑物理主機可以按這裏測試的性能乘以2來估算。

場景 - 物聯網 - FEED日誌, 流式處理 與 閱後即焚 (CTE) (OLTP)

1、背景

在幾乎所有的行業中，例如物聯網、互聯網、金融等的業務係統中，都會包括FEED數據，即軌跡，包括用戶行為軌跡，業務係統產生的日誌等。

這些數據通常被用於流式處理，曆史可以被保留用於分析，也可以不保留（視業務需要）。

如果FEED數據不需要被保留，僅需要流式處理的話，那麼就涉及兩個問題：

1、高速寫入(insert)

《HTAP數據庫 PostgreSQL 場景與性能測試之 24 - (OLTP) 物聯網 - 時序數據並發寫入(含時序索引BRIN)》

阿裏雲ECS，56核的機器，寫入速度約 313.7 萬行/s。

2、高速消費(delete and compute)

本文測的是高速消費。

pic

我在幾年前給某個核電和火電監測項目設計過一個這樣的架構，可以滿足數據的高速寫入，以及數據的高速消費，不留痕跡。

最近雙十一的某個實時處理業務，也可以使用這種架構。

《PostgreSQL 異步消息實踐 - Feed係統實時監測與響應(如 電商主動服務) - 分鍾級到毫秒級的跨域》

2、設計

100萬個傳感器，2048個分區，總共20億條已寫入的傳感器上報數據。

並行、批量的消費。

3、準備測試表

create table t_sensor (sid int, info text, crt_time timestamp);  
create index idx_t_sensor on t_sensor (crt_time) tablespace tbs1;

使用2048個分表。

do language plpgsql $$  
declare  
begin  
  for i in 0..2047 loop  
    execute 'create table t_sensor'||i||'(like t_sensor including all) inherits(t_sensor)';  
  end loop;  
end;  
$$;

4、準備測試函數(可選)

1、批量生成傳感器測試數據的函數

CREATE OR REPLACE FUNCTION public.ins_batch(integer,integer)  
 RETURNS void  
 LANGUAGE plpgsql  
 STRICT  
AS $function$  
declare  
  suffix int := mod($1, 2048);  
begin  
  execute 'insert into t_sensor'||suffix||' select '||$1||', 0.1, now() from generate_series(1,'||$2||')';  
end;  
$function$;

2、批量消費傳感器數據的函數，按時間，從最早開始消費。

處理邏輯也可以放到裏麵，例如預警邏輯(采用PostgreSQL異步消息、CTE語法)。

《PostgreSQL 異步消息實踐 - Feed係統實時監測與響應(如 電商主動服務) - 分鍾級到毫秒級的跨域》

《PostgreSQL 內存表》

CREATE OR REPLACE FUNCTION public.consume_batch(integer,integer)  
 RETURNS void  
 LANGUAGE plpgsql  
 STRICT  
AS $function$  
declare  
  suffix int := mod($1, 2048);  
begin  
  -- 帶流式處理業務邏輯的例句(采用CTE語法)：  
  -- with t1 as (delete from t_sensor$suffix where ctid = any(array(select ctid from t_sensor$suffix order by crt_time limit 1000)) returning *)  
  --   select pg_notify('channel_name', 'reason:xxx::::'||row_to_json(t1)) from t1 where ......;  
  --  
  -- 如果有多個判斷基準，可以先存入TMP TABLE，再到TMP TABLE處理。  
  -- 使用普通的TMP table或者使用內存TMP TABLE。  
  -- [《PostgreSQL 內存表》](../201608/20160818_01.md)  
  
  -- 本例僅測試不帶處理邏輯，隻消費的情況，關注消費速度。  
  execute format('delete from t_sensor%s where ctid = any(array(select ctid from t_sensor%s order by crt_time limit %s))', suffix, suffix, $2);  
end;  
$function$;

5、準備測試數據

100萬個傳感器，準備20億條傳感器上報的數據。

vi test.sql  
  
\set sid random(1,1000000)  
select ins_batch(:sid, 1000);  

pgbench -M prepared -n -r -P 5 -f ./test.sql -c 50 -j 50 -t 40000

6、準備測試腳本

vi test.sql  
  
\set sid random(1,1000000)  
select consume_batch(:sid, 1000);

壓測

CONNECTS=56  
TIMES=300  
export PGHOST=$PGDATA  
export PGPORT=1999  
export PGUSER=postgres  
export PGPASSWORD=postgres  
export PGDATABASE=postgres  
  
pgbench -M prepared -n -r -f ./test.sql -P 5 -c $CONNECTS -j $CONNECTS -T $TIMES

7、測試

平均每秒消費 條，閱後即焚。

transaction type: ./test.sql
scaling factor: 1
query mode: prepared
number of clients: 56
number of threads: 56
duration: 300 s
number of transactions actually processed: 1186351
latency average = 14.160 ms
latency stddev = 7.224 ms
tps = 3951.962388 (including connections establishing)
tps = 3952.325191 (excluding connections establishing)
script statistics:
 - statement latencies in milliseconds:
         0.002  \set sid random(1,1000000)  
        14.159  select consume_batch(:sid, 1000);

TPS： 3952

相當於消費 395.2 萬行/s。

平均響應時間： 14.1 毫秒

參考

《PostgreSQL、Greenplum 應用案例寶典《如來神掌》 - 目錄》

《數據庫選型之 - 大象十八摸 - 致 架構師、開發者》

《PostgreSQL 使用 pgbench 測試 sysbench 相關case》

《數據庫界的華山論劍 tpc.org》

https://www.postgresql.org/docs/10/static/pgbench.html

最後更新：2017-11-14 15:34:24

  上一篇：go  阿裏雲CDN的雙11再進化
  下一篇：go  當我們在討論奢侈品行業時，人工智能可以做什麼？