閱讀24 返回首頁    go 阿裏雲 go 技術社區[雲棲]

HTAP數據庫 PostgreSQL 場景與性能測試之 31 - (OLTP) 高吞吐數據進出(堆存、行掃、無需索引) - 閱後即焚(讀寫大吞吐並測)

標簽

PostgreSQL , HTAP , OLTP , OLAP , 場景與性能測試

背景

PostgreSQL是一個曆史悠久的數據庫，曆史可以追溯到1973年，最早由2014計算機圖靈獎得主，關係數據庫的鼻祖Michael_Stonebraker 操刀設計，PostgreSQL具備與Oracle類似的功能、性能、架構以及穩定性。

pic

PostgreSQL社區的貢獻者眾多，來自全球各個行業，曆經數年，PostgreSQL 每年發布一個大版本，以持久的生命力和穩定性著稱。

2017年10月，PostgreSQL 推出10 版本，攜帶諸多驚天特性，目標是勝任OLAP和OLTP的HTAP混合場景的需求：

《最受開發者歡迎的HTAP數據庫PostgreSQL 10特性》

1、多核並行增強

2、fdw 聚合下推

3、邏輯訂閱

4、分區

5、金融級多副本

6、json、jsonb全文檢索

7、還有插件化形式存在的特性，如 向量計算、JIT、SQL圖計算、SQL流計算、分布式並行計算、時序處理、基因測序、化學分析、圖像分析 等。

pic

在各種應用場景中都可以看到PostgreSQL的應用：

pic

PostgreSQL近年來的發展非常迅勐，從知名數據庫評測網站dbranking的數據庫評分趨勢，可以看到PostgreSQL向上發展的趨勢：

pic

從每年PostgreSQL中國召開的社區會議，也能看到同樣的趨勢，參與的公司越來越多，分享的公司越來越多，分享的主題越來越豐富，橫跨了 傳統企業、互聯網、醫療、金融、國企、物流、電商、社交、車聯網、共享XX、雲、遊戲、公共交通、航空、鐵路、軍工、培訓、谘詢服務等 行業。

接下來的一係列文章，將給大家介紹PostgreSQL的各種應用場景以及對應的性能指標。

環境

環境部署方法參考：

《PostgreSQL 10 + PostGIS + Sharding(pg_pathman) + MySQL(fdw外部表) on ECS 部署指南(適合新用戶)》

阿裏雲 ECS：56核，224G，1.5TB*2 SSD雲盤。

操作係統：CentOS 7.4 x64

數據庫版本：PostgreSQL 10

PS：ECS的CPU和IO性能相比物理機會打一定的折扣，可以按下降1倍性能來估算。跑物理主機可以按這裏測試的性能乘以2來估算。

場景 - 秒殺 - 高並發單點更新 (OLTP)

1、背景

高吞吐的數據寫入，消費，通常是MQ的強項和功能點，但是MQ沒有數據存儲的能力，也沒有計算能力。

而PostgreSQL具備了存儲、計算能力，同時PG還提供了高吞吐，可靠性。

在需要高吞吐計算的環境，PG是非常不錯的選擇。

如果業務上需要先進先出的模式，可以加一個時間索引，即可達到這樣的效率，寫入和消費都在300萬行/s以上：

pic

詳見：

《HTAP數據庫 PostgreSQL 場景與性能測試之 27 - (OLTP) 物聯網 - FEED日誌, 流式處理 與 閱後即焚 (CTE)》

如果業務上不要求強烈的先進先出，並且處理吞吐足夠強悍的話，實際上PG可以不需要索引，因為是堆表，沒有索引，寫和消費的吞吐可以做到更大。

本文測試的是不需要索引的裸寫入和消費吞吐能力(消費、不計算)。

下一篇壓測大吞吐下，結合 函數計算和JSON的能力。

2、設計

1、堆表、多表、大吞吐寫入

2、堆表、多表、大吞吐消費

同時壓測寫入和消費。

3、準備測試表

create table t_sensor (sid int, info text, crt_time timestamp) ;

使用2048個分表。

do language plpgsql $$  
declare  
begin  
  for i in 0..2047 loop  
    execute 'create table t_sensor'||i||'(like t_sensor including all) inherits(t_sensor) '||case when mod(i,2)=0 then ' ' else ' tablespace tbs1' end;  
  end loop;  
end;  
$$;

4、準備測試函數(可選)

1、批量生成傳感器測試數據的函數

CREATE OR REPLACE FUNCTION public.ins_batch(integer,integer)  
 RETURNS void  
 LANGUAGE plpgsql  
 STRICT  
AS $function$  
declare  
  suffix int := mod($1, 2048);  
begin  
  execute 'insert into t_sensor'||suffix||' select '||$1||', 0.1, now() from generate_series(1,'||$2||')';  
end;  
$function$;

2、批量消費傳感器數據的函數，按時間，從最早開始消費。

處理邏輯也可以放到裏麵，例如預警邏輯(采用PostgreSQL異步消息、CTE語法)。

《PostgreSQL 異步消息實踐 - Feed係統實時監測與響應(如 電商主動服務) - 分鍾級到毫秒級的跨域》

《PostgreSQL 內存表》

CREATE OR REPLACE FUNCTION public.consume_batch(integer,integer)  
 RETURNS void  
 LANGUAGE plpgsql  
 STRICT  
AS $function$  
declare  
  suffix int := mod($1, 2048);  
begin  
  -- 帶流式處理業務邏輯的例句(采用CTE語法)：  
  -- with t1 as (delete from t_sensor$suffix where ctid = any(array(select ctid from t_sensor$suffix limit 1000)) returning *)  
  --   select pg_notify('channel_name', 'reason:xxx::::'||row_to_json(t1)) from t1 where ......;  
  --  
  -- 如果有多個判斷基準，可以先存入TMP TABLE，再到TMP TABLE處理。  
  -- 使用普通的TMP table或者使用內存TMP TABLE。  
  -- [《PostgreSQL 內存表》](../201608/20160818_01.md)  
  
  -- 本例僅測試不帶處理邏輯，隻消費的情況，關注消費速度。  
  execute format('delete from t_sensor%s where ctid = any(array(select ctid from t_sensor%s limit %s))', suffix, suffix, $2);  
end;  
$function$;

5、準備測試數據

6、準備測試腳本

同時壓測寫入和消費。

1、高吞吐寫入測試，100萬個傳感器，每批1000條。

vi test.sql  
  
\set sid random(1,1000000)  
select ins_batch(:sid, 1000);

壓測

CONNECTS=28  
TIMES=300  
export PGHOST=$PGDATA  
export PGPORT=1999  
export PGUSER=postgres  
export PGPASSWORD=postgres  
export PGDATABASE=postgres  
  
pgbench -M prepared -n -r -f ./test.sql -P 5 -c $CONNECTS -j $CONNECTS -T $TIMES

2、高吞吐消費測試，100萬個傳感器，每批1000條。

vi test.sql  
  
\set sid random(1,1000000)  
select consume_batch(:sid, 1000);

壓測

CONNECTS=28  
TIMES=300  
export PGHOST=$PGDATA  
export PGPORT=1999  
export PGUSER=postgres  
export PGPASSWORD=postgres  
export PGDATABASE=postgres  
  
pgbench -M prepared -n -r -f ./test1.sql -P 5 -c $CONNECTS -j $CONNECTS -T $TIMES

7、測試

1、高吞吐寫入測試，100萬個傳感器，每批1000條。

transaction type: ./test.sql  
scaling factor: 1  
query mode: prepared  
number of clients: 28  
number of threads: 28  
duration: 300 s  
number of transactions actually processed: 581437  
latency average = 14.446 ms  
latency stddev = 12.231 ms  
tps = 1937.869058 (including connections establishing)  
tps = 1937.999398 (excluding connections establishing)  
script statistics:  
 - statement latencies in milliseconds:  
         0.002  \set sid random(1,1000000)  
        14.445  select ins_batch(:sid, 1000);

2、高吞吐消費測試，100萬個傳感器，每批1000條。

transaction type: ./test1.sql  
scaling factor: 1  
query mode: prepared  
number of clients: 28  
number of threads: 28  
duration: 300 s  
number of transactions actually processed: 1254322  
latency average = 6.697 ms  
latency stddev = 10.925 ms  
tps = 4180.897450 (including connections establishing)  
tps = 4181.104213 (excluding connections establishing)  
script statistics:  
 - statement latencies in milliseconds:  
         0.002  \set sid random(1,1000000)  
         6.696  select consume_batch(:sid, 1000);

一、 TPS

同時壓測寫入和消費的吞吐如下：

1、數據寫入速度： 193萬 行/s。
2、數據消費速度： 418萬 行/s。

二、 平均響應時間

同時壓測寫入和消費的吞吐如下：

1、數據寫入速度： 14.4 毫秒
2、數據消費速度： 6.7 毫秒

參考

《PostgreSQL、Greenplum 應用案例寶典《如來神掌》 - 目錄》

《數據庫選型之 - 大象十八摸 - 致 架構師、開發者》

《PostgreSQL 使用 pgbench 測試 sysbench 相關case》

《數據庫界的華山論劍 tpc.org》

https://www.postgresql.org/docs/10/static/pgbench.html

最後更新：2017-11-16 20:04:12

  上一篇：go  HTAP數據庫 PostgreSQL 場景與性能測試之 32 - (OLTP) 高吞吐數據進出(堆存、行掃、無需索引) - 閱後即焚(JSON + 函數流式計算)
  下一篇：go  Greenplum insert的性能(單步\批量\copy) - 暨推薦使用gpfdist、阿裏雲oss外部表並行導入