HTAP數據庫 PostgreSQL 場景與性能測試之 32 - (OLTP) 高吞吐數據進出(堆存、行掃、無需索引) - 閱後即焚(JSON + 函數流式計算)

標簽

PostgreSQL , HTAP , OLTP , OLAP , 場景與性能測試

背景

PostgreSQL是一個曆史悠久的數據庫，曆史可以追溯到1973年，最早由2014計算機圖靈獎得主，關係數據庫的鼻祖Michael_Stonebraker 操刀設計，PostgreSQL具備與Oracle類似的功能、性能、架構以及穩定性。

PostgreSQL社區的貢獻者眾多，來自全球各個行業，曆經數年，PostgreSQL 每年發布一個大版本，以持久的生命力和穩定性著稱。

2017年10月，PostgreSQL 推出10 版本，攜帶諸多驚天特性，目標是勝任OLAP和OLTP的HTAP混合場景的需求：

《最受開發者歡迎的HTAP數據庫PostgreSQL 10特性》

1、多核並行增強

2、fdw 聚合下推

3、邏輯訂閱

4、分區

5、金融級多副本

6、json、jsonb全文檢索

7、還有插件化形式存在的特性，如向量計算、JIT、SQL圖計算、SQL流計算、分布式並行計算、時序處理、基因測序、化學分析、圖像分析等。

在各種應用場景中都可以看到PostgreSQL的應用：

PostgreSQL近年來的發展非常迅勐，從知名數據庫評測網站dbranking的數據庫評分趨勢，可以看到PostgreSQL向上發展的趨勢：

從每年PostgreSQL中國召開的社區會議，也能看到同樣的趨勢，參與的公司越來越多，分享的公司越來越多，分享的主題越來越豐富，橫跨了傳統企業、互聯網、醫療、金融、國企、物流、電商、社交、車聯網、共享XX、雲、遊戲、公共交通、航空、鐵路、軍工、培訓、谘詢服務等行業。

接下來的一係列文章，將給大家介紹PostgreSQL的各種應用場景以及對應的性能指標。

環境

環境部署方法參考：

《PostgreSQL 10 + PostGIS + Sharding(pg_pathman) + MySQL(fdw外部表) on ECS 部署指南(適合新用戶)》

阿裏雲 ECS：56核，224G，1.5TB*2 SSD雲盤。

操作係統：CentOS 7.4 x64

數據庫版本：PostgreSQL 10

PS：ECS的CPU和IO性能相比物理機會打一定的折扣，可以按下降1倍性能來估算。跑物理主機可以按這裏測試的性能乘以2來估算。

場景 - 秒殺 - 高並發單點更新 (OLTP)

1、背景

高吞吐的數據寫入，消費，通常是MQ的強項和功能點，但是MQ沒有數據存儲的能力，也沒有計算能力。

而PostgreSQL具備了存儲、計算能力，同時PG還提供了高吞吐，可靠性。

在需要高吞吐計算的環境，PG是非常不錯的選擇。

如果業務上需要先進先出的模式，可以加一個時間索引，即可達到這樣的效率，寫入和消費都在300萬行/s以上：

詳見：

《HTAP數據庫 PostgreSQL 場景與性能測試之 27 - (OLTP) 物聯網 - FEED日誌, 流式處理與閱後即焚 (CTE)》

如果業務上不要求強烈的先進先出，並且處理吞吐足夠強悍的話，實際上PG可以不需要索引，因為是堆表，沒有索引，寫和消費的吞吐可以做到更大。

上文測試的是不需要索引的裸寫入和消費吞吐能力(消費、不計算)。

《HTAP數據庫 PostgreSQL 場景與性能測試之 31 - (OLTP) 高吞吐數據進出(堆存、行掃、無需索引) - 閱後即焚(讀寫大吞吐並測)》

本文壓測大吞吐下，結合函數計算和JSON的能力。

2、設計

1、堆表、多表、大吞吐寫入

2、堆表、多表、大吞吐消費

同時壓測寫入和消費。

3、準備測試表

1、使用jsonb作為內容字段

create table t_sensor (sid int, info jsonb, crt_time timestamp) ;

使用2048個分表。

do language plpgsql $$  
declare  
begin  
  for i in 0..2047 loop  
    execute 'create table t_sensor'||i||'(like t_sensor including all) inherits(t_sensor) '||case when mod(i,2)=0 then ' ' else ' tablespace tbs1' end;  
  end loop;  
end;  
$$;

4、準備測試函數(可選)

1、批量生成傳感器測試數據的函數

CREATE OR REPLACE FUNCTION public.ins_batch(integer,integer)  
 RETURNS void  
 LANGUAGE plpgsql  
 STRICT  
AS $function$  
declare  
  suffix int := mod($1, 2048);  
begin  
  execute 'insert into t_sensor'||suffix||' select '||$1||', ''{"k":"abc", "v":'||10000*random()||'}'', now() from generate_series(1,'||$2||')';  
end;  
$function$;

2、批量消費傳感器數據的函數，按時間，從最早開始消費。

處理邏輯也可以放到裏麵，例如預警邏輯(采用PostgreSQL異步消息、CTE語法)。

《PostgreSQL 異步消息實踐 - Feed係統實時監測與響應(如電商主動服務) - 分鍾級到毫秒級的跨域》

《PostgreSQL 內存表》

CREATE OR REPLACE FUNCTION public.consume_batch(integer,integer)  
 RETURNS void  
 LANGUAGE plpgsql  
 STRICT  
AS $function$  
declare  
  suffix int := mod($1, 2048);  
begin  
  -- 帶流式處理業務邏輯的例句(采用CTE語法)：  
  -- v > 9999時，往通道channel_1發送異步消息  
  execute format('with t1 as (delete from t_sensor%s where ctid = any(array(select ctid from t_sensor%s limit %s)) returning *)  
                       select pg_notify(''channel_1'', ''reason:xxx::::''||row_to_json(t1)) from t1 where (t1.info->>''v'')::float8 > 9999',  
		 suffix, suffix, $2);  
  --  
  -- 如果有多個判斷基準，可以先存入TMP TABLE，再到TMP TABLE處理。  
  -- 使用普通的TMP table或者使用內存TMP TABLE。  
  -- [《PostgreSQL 內存表》](../201608/20160818_01.md)  
  
  -- 本例僅測試不帶處理邏輯，隻消費的情況，關注消費速度。  
  -- execute format('delete from t_sensor%s where ctid = any(array(select ctid from t_sensor%s limit %s))', suffix, suffix, $2);  
end;  
$function$;

5、準備測試數據

6、準備測試腳本

同時壓測寫入和消費。

1、高吞吐寫入測試，100萬個傳感器，每批1000條。

vi test.sql  
  
\set sid random(1,1000000)  
select ins_batch(:sid, 1000);

壓測

CONNECTS=28  
TIMES=300  
export PGHOST=$PGDATA  
export PGPORT=1999  
export PGUSER=postgres  
export PGPASSWORD=postgres  
export PGDATABASE=postgres  
  
pgbench -M prepared -n -r -f ./test.sql -P 5 -c $CONNECTS -j $CONNECTS -T $TIMES

2、高吞吐消費測試，100萬個傳感器，每批1000條。

vi test.sql  
  
\set sid random(1,1000000)  
select consume_batch(:sid, 1000);

壓測

CONNECTS=28  
TIMES=300  
export PGHOST=$PGDATA  
export PGPORT=1999  
export PGUSER=postgres  
export PGPASSWORD=postgres  
export PGDATABASE=postgres  
  
pgbench -M prepared -n -r -f ./test1.sql -P 5 -c $CONNECTS -j $CONNECTS -T $TIMES

7、測試

1、高吞吐寫入測試，100萬個傳感器，每批1000條。

transaction type: ./test.sql  
scaling factor: 1  
query mode: prepared  
number of clients: 28  
number of threads: 28  
duration: 300 s  
number of transactions actually processed: 540118  
latency average = 15.552 ms  
latency stddev = 6.859 ms  
tps = 1800.096277 (including connections establishing)  
tps = 1800.211896 (excluding connections establishing)  
script statistics:  
 - statement latencies in milliseconds:  
         0.002  \set sid random(1,1000000)  
        15.550  select ins_batch(:sid, 1000);

2、高吞吐消費測試，100萬個傳感器，每批1000條。

transaction type: ./test1.sql  
scaling factor: 1  
query mode: prepared  
number of clients: 28  
number of threads: 28  
duration: 300 s  
number of transactions actually processed: 437481  
latency average = 19.200 ms  
latency stddev = 8.386 ms  
tps = 1458.154052 (including connections establishing)  
tps = 1458.224625 (excluding connections establishing)  
script statistics:  
 - statement latencies in milliseconds:  
         0.002  \set sid random(1,1000000)  
        19.201  select consume_batch(:sid, 1000);

3、壓測過程中，收到一些函數式處理的異步消息：

LISTEN  
Asynchronous notification "channel_1" with payload "reason:xxx::::{"sid":462454,"info":{"k": "abc", "v": 9999.96403697878},"crt_time":"2017-11-16T19:36:56.164613"}" received from server process with PID 31075.  
postgres=# listen channel_1;  
LISTEN  
Asynchronous notification "channel_1" with payload "reason:xxx::::{"sid":462454,"info":{"k": "abc", "v": 9999.96403697878},"crt_time":"2017-11-16T19:36:56.164613"}" received from server process with PID 31083.  
postgres=# listen channel_1;  
LISTEN  
postgres=# listen channel_1;  
LISTEN  
Asynchronous notification "channel_1" with payload "reason:xxx::::{"sid":252209,"info":{"k": "abc", "v": 9999.39551576972},"crt_time":"2017-11-16T19:36:53.424862"}" received from server process with PID 31081.

一、 TPS

同時壓測寫入和消費，使用JSONB作為內容輸入，消費時加上處理函數，吞吐如下：

1、數據寫入速度： 180萬行/s。

2、數據消費速度： 145.8萬行/s。

二、平均響應時間

同時壓測寫入和消費，使用JSONB作為內容輸入，消費時加上處理函數，吞吐如下：

1、數據寫入速度： 15.5 毫秒。

2、數據消費速度： 19 毫秒。

加入函數式計算後，消費速度會有所下降，在權重上，可以分配多一些資源給消費。不過即便如此，消費速度也有145.9萬行每秒。

參考

《PostgreSQL、Greenplum 應用案例寶典《如來神掌》 - 目錄》

《數據庫選型之 - 大象十八摸 - 致架構師、開發者》

《PostgreSQL 使用 pgbench 測試 sysbench 相關case》

《數據庫界的華山論劍 tpc.org》

https://www.postgresql.org/docs/10/static/pgbench.html

最後更新：2017-11-16 20:04:20

HTAP數據庫 PostgreSQL 場景與性能測試之 32 - (OLTP) 高吞吐數據進出(堆存、行掃、無需索引) - 閱後即焚(JSON + 函數流式計算)

標簽

背景

環境

場景 - 秒殺 - 高並發單點更新 (OLTP)

1、背景

2、設計

3、準備測試表

4、準備測試函數(可選)

5、準備測試數據

6、準備測試腳本

7、測試

一、 TPS

1、數據寫入速度： 180萬行/s。

2、數據消費速度： 145.8萬行/s。

二、平均響應時間

1、數據寫入速度： 15.5 毫秒。

2、數據消費速度： 19 毫秒。

參考

上一篇：學習雲技術參與雲社會享受雲生活

下一篇： HTAP數據庫 PostgreSQL 場景與性能測試之 31 - (OLTP) 高吞吐數據進出(堆存、行掃、無需索引) - 閱後即焚(讀寫大吞吐並測)

相關內容

熱門內容

最新內容

HTAP數據庫 PostgreSQL 場景與性能測試之 32 - (OLTP) 高吞吐數據進出(堆存、行掃、無需索引) - 閱後即焚(JSON + 函數流式計算)

標簽

背景

環境

場景 - 秒殺 - 高並發單點更新 (OLTP)

1、背景

2、設計

3、準備測試表

4、準備測試函數(可選)

5、準備測試數據

6、準備測試腳本

7、測試

一、 TPS

1、數據寫入速度： 180萬 行/s。

2、數據消費速度： 145.8萬 行/s。

二、 平均響應時間

1、數據寫入速度： 15.5 毫秒。

2、數據消費速度： 19 毫秒。

參考

上一篇： 學習雲技術 參與雲社會 享受雲生活

下一篇： HTAP數據庫 PostgreSQL 場景與性能測試之 31 - (OLTP) 高吞吐數據進出(堆存、行掃、無需索引) - 閱後即焚(讀寫大吞吐並測)

相關內容

熱門內容

最新內容

1、數據寫入速度： 180萬行/s。

2、數據消費速度： 145.8萬行/s。

二、平均響應時間

上一篇：學習雲技術參與雲社會享受雲生活