HybridDB for PostgreSQL有哪些內核擴展
HybridDB for PostgreSQL 是基於 Greenplum Database 開源數據庫項目開發,由阿裏雲數據庫內核團隊深度擴展及優化,到目前為止,我們已經增加了許多功能性能,許多功能走在了社區的前麵。
OSS_EXT
OSS是阿裏雲對象存儲產品,OSS_EXT功能打通了HybridDB for PostgreSQL和OSS數據通道,極大地方便用戶將數據並行從OSS導入或導出到OSS,降低了上雲門檻,並支持通過gzip進行OSS外部表文件壓縮,大量節省存儲空間及成本。我們測試的一個導入性能結果: 157G數據,16個節點,510秒導入完成,平均每個節點20M/s,節點數越多,導入越快 詳細使用鏈接
列存優化
Greenplum的列存儲功能不僅可以節約表存儲空間,而且基於一列或比較少的列計算時性能很好。當然也有不足,當含有條件查詢時,如果不使用索引每次都會全表掃描,使用索引又會降低導入性能以及索引查詢消耗大量IO。HybridDB for PostgreSQL列存優化的實現使列存儲功能優勢更加突出,主要優化在列存儲數據中收集min、max元信息,並在查詢中使用元信息過濾大量的數據塊,沒有索引的缺點,卻能達到索引的性能,大部分場景可以用來替代索引。
Sortkey
Sortkey(排序鍵)可以讓用戶將數據按照順序存儲在磁盤文件中,排序鍵主要有兩大優勢,(1) 加速列存優化,收集的min、max元信息很少重疊,過濾性很好 (2) 對於含有order by和group by等需要排序的SQL可以避免再次排序,直接從磁盤中讀取出來就是滿足條件的有序數據。合理的使用分區鍵和排序鍵對於性能提升是非常有效的。
JSONB
json類型幾乎已成為互聯網及物聯網的基礎數據類型,越來越多的應用對json類型依賴,HybridDB for PostgreSQL除了支持json類型和json操作符外,即將推出jsonb功能,直接兼容PG 10.0 jsonb功能,豐富的操作符及函數,性能高於json。
Hyperloglog
HyperLogLog為互聯網廣告分析及有類似預估分析計算需求的行業提供解決方案,以便於快速預估 PV、UV 等業務指標。HybridDB for PostgreSQL深度融合Hyperloglog功能,兩段式聚合實現,使Hyperloglog在用戶的OLAP係統分析中發揮其強大的功能。詳細使用鏈接
Library
對於複雜的分析係統,一條或者幾條SQL難以滿足用戶的需求,Greenplum原生支持plpgsql實現UDF(用戶自定義函數),用戶可以可以通過plpgsql存儲過程實現複雜的SQL邏輯,然而對於學java或者python的程序猿簡直要命,plpgsql太難寫了。。怎麼辦?HybridDB for PostgreSQL支持Java UDF,用戶隻需要把本地實現的jar包通過create library命令就可以導入到HybridDB中,import一下就可以享用了。Library詳細使用鏈接
JAVA UDF詳細使用鏈接
其他
MADLIB,POSTGIS,穩定性增強、BUG修複等,歡迎使用HybridDB for PostgreSQL
最後更新:2017-08-29 10:03:09