949
Deepgreen與Greenplum TPC-H性能測試對比（使用VitesseData腳本）
前兩天發了一篇基於[德哥測試腳本]的測試對比文章《Deepgreen與Greenplum TPC-H性能測試對比（使用德哥腳本）》，由於測試數據量少，兩個數據庫有幾輪測試都是1秒持平，但是大多數測試Deepgreen均優於Greenplum，有的甚至快至百倍，感興趣的朋友可以再回頭看看。
今天分享一下Deepgreen提供的TPC-H測試腳本，這個腳本分為浮點類型、數值類型兩類進行22輪測試，更加細化，並且結果值更加中肯。
一、測試環境
服務器 IP 節點
Master 192.168.100.107 1 Master
Segment1 192.168.100.107 3 instance
Segment2 192.168.100.106 3 instance
軟件版本：
Greenplum 4.3.12
Deepgreen 16.17腳本放在github上，有3種方式可以下載，為方便大家，分別介紹一下：
1. 如果已經與github主機建立ssh互信（點此訪問建立方法）：
# 使用語句克隆repo：
git clone git@github.com:cktan/bench.git
# 初始化子模塊（tpch-dbgen）：
cd bench;
git submodule init
git submodule update
2.如果懶得建立ssh互信，但是本機裝有git工具：
# 克隆bench：
git clone https://github.com/vitessedata/bench
# 切換目錄：
cd bench
# 克隆tpch-dbgen模塊：
git clone https://github.com/electrum/tpch-dbgen 3. 如果你機器上什麼都沒有，或者不能直接訪問外網：
訪問 - https://github.com/vitessedata/bench，點擊右側clone or download按鈕
，下載zip包
訪問 - https://github.com/electrum/tpch-dbgen，點擊右側clone or download按鈕，下載zip包
將兩個壓縮包整合上傳到服務器解壓縮，並把tpch-dbgen文件夾放到bench下麵
訪問 - https://github.com/vitessedata/bench，點擊右側clone or download按鈕
，下載zip包
訪問 - https://github.com/electrum/tpch-dbgen，點擊右側clone or download按鈕，下載zip包
將兩個壓縮包整合上傳到服務器解壓縮，並把tpch-dbgen文件夾放到bench下麵三、執行測試
1. 登錄服務器重新編譯：
cd bench/tpch-dbgen
make clean
rm *.tbl
make2. 生成測試文件、初始化數據庫、加載數據：
[dgadmin@linux1 bench]$ python create.py 10f
dbgen 10
TPC-H Population Generator (Version 2.14.0)
Copyright Transaction Processing Performance Council 1994 - 2010
TPC-H Population Generator (Version 2.14.0)
Copyright Transaction Processing Performance Council 1994 - 2010
TPC-H Population Generator (Version 2.14.0)
Copyright Transaction Processing Performance Council 1994 - 2010
TPC-H Population Generator (Version 2.14.0)
Copyright Transaction Processing Performance Council 1994 - 2010
TPC-H Population Generator (Version 2.14.0)
Copyright Transaction Processing Performance Council 1994 - 2010
createdb tpch10f
mktab
mkview
load
customer
lineitem
nation
orders
part
partsupp
region
supplier
analyze
WARNING: skipping "__gp_localid" --- cannot analyze indexes, views, external tables or special system tables
WARNING: skipping "__gp_masterid" --- cannot analyze indexes, views, external tables or special system tables
WARNING: skipping "__gp_log_segment_ext" --- cannot analyze indexes, views, external tables or special system tables
WARNING: skipping "__gp_log_master_ext" --- cannot analyze indexes, views, external tables or special system tables
WARNING: skipping "gp_disk_free" --- cannot analyze indexes, views, external tables or special system tables備注：create.py腳本解讀：
- 該腳本用於創建測試數據文件、創建數據庫、初始化表、初始化試圖、加載數據文件到數據庫表、Analyze數據庫。
- 它接受一個參數，用於指定測試的數據類型及數據量，具體如下：
- 1f: scale 1 with float8 type
- 1n: scale 1 with numeric type
- 10f: scale 10 with float8 type
- 10n: scale 10 with numeric type
3. 執行測試：
[dgadmin@linux1 bench]$ python run.py 10f
WARNING: "work_mem": setting is deprecated, and may be removed in a future release.
ERROR: unrecognized configuration parameter "vitesse.thread"
WARNING: "work_mem": setting is deprecated, and may be removed in a future release.
ERROR: unrecognized configuration parameter "vitesse.thread"備注：run.py腳本解讀：該腳本用於執行測試，腳本接受一個參數，指定測試類型及數據量，與create.py腳本參數一致。
四、對比結果
最終結果分四列展示，分別為：查詢編號、Greenplum查詢耗時、Deepgreen查詢耗時、加速倍數。下麵為10G數據量解釋結論：
1. float8:
1 13514 2399 5.63
2 1850 616 3.00
3 6011 1930 3.11
4 5647 1566 3.61
5 5688 1711 3.32
6 3432 859 4.00
7 5651 1803 3.13
8 5357 1773 3.02
9 12323 4253 2.90
10 7532 3818 1.97
11 1933 1343 1.44
12 5605 1727 3.25
13 5422 3337 1.62
14 3433 999 3.44
15 7222 1970 3.67
16 1969 761 2.59
17 22211 7526 2.95
18 15879 4745 3.35
19 4274 1842 2.32
20 6826 2915 2.34
21 18977 4274 4.44
22 6388 2493 2.56
tot: 167144 54660 3.06
2. numeric:
[dgadmin@linux1 bench]$ python run.py 10n
WARNING: "work_mem": setting is deprecated, and may be removed in a future release.
ERROR: unrecognized configuration parameter "vitesse.thread"
WARNING: "work_mem": setting is deprecated, and may be removed in a future release.
ERROR: unrecognized configuration parameter "vitesse.thread"
1 32405 21151 1.53
2 2303 702 3.28
3 5934 1969 3.01
4 5653 1766 3.20
5 5471 1673 3.27
6 4307 1264 3.41
7 5396 1889 2.86
8 6055 1913 3.17
9 11853 4544 2.61
10 6006 2696 2.23
11 2153 1299 1.66
12 5619 2284 2.46
13 5417 3429 1.58
14 3526 1136 3.10
15 8265 2910 2.84
16 1768 808 2.19
17 23811 14610 1.63
18 40284 28665 1.41
19 4321 2359 1.83
20 7177 4440 1.62
21 16938 5039 3.36
22 6439 2685 2.40
tot: 211101 109231 1.93l
End~
最後更新：2017-06-14 01:32:09