292      技術社區[雲棲]

《Greenplum5.0 最佳實踐》 係統監控與維護 (五)

常規的係統維護是為了我們的Greenplum數據庫具有更高的穩定性和更優化的性能體現

1. 使用 ANALYZE 更新係統的統計信息
2. 數據庫的數據膨脹管理 (需要仔細點延伸下去)
3. 監控Greenplum的日誌文件

Monitoring （監控）

Greenplum 數據庫係統提供了非常使用的監控工具。
gp_toolkit 模式包含多種視圖，可以通過SQL命令去查詢Greenplum數據庫係統的 system catalogs , log files 和 對當前操作環境下係統的狀態信息。
對於更多的 gpstate 和 gpcheckperf 涉及在 《Greenplum Database Utility Guide》中。對於 gp_toolkit 的信息， 可以參考 《Greenplum Database Reference Guide》

gpstate

使用 gpstate 實用程序是用來查看Greenplum 整個係統狀態的。 通常，我們執行 gpstate 命令會獲得如下信息，這些信息包裹當前有多少個段數據庫在運行，多少個段數據掛掉了，如果存在數據庫掛掉了，這就需要我們注意解決問題了，因為掛點的點很容易引起計算傾斜等問題。
執行 gpstate -Q 可以獲取在 master 節點的 system catalog 中有多少個段數據庫 DOWN （宕機了）。
如果想獲得更詳細的信息需要執行的命令為 gpstate -s

gpcheckperf

gpcheckperf 時用用來檢測硬件的性能的，所有的節點。可以用來確定硬件故障，它的性能檢查涉及到如下幾條：

1. 磁盤 I/O檢測 -- 使用的是 linux 係統命令 dd 讀寫大的日誌文件，來獲得磁盤的性能。 他返回結果為 讀寫 MB/sec
2. 內存帶寬測試 -- 是使用的是 STREAM benchmark 來測試，其單位為 MB/sec
   計算公式為 帶寬=內存核心頻率×內存總線位數×倍增係數
3. 網絡性能測試 -- 運行的是 gpnetbench 網絡測試的 benchmark （可以選擇為 netperf） 來測試集群的網絡性能。 這個benchmark 運行在三種模式下，分別是 並行對測試 (-r N)， 串口對測試 ( -r n)， 全矩陣測試 ( -r M)。這裏會獲得 最小 最大 平均 和 中值 的轉換率 單位是 MB/sec

為了使用 gpcheckperf 獲得有用的數據， 數據庫係統必須 停機 才可以。如果不停機的話，很多獲得數據根本不可靠。
使用 gpcheckperf 要求在測試的主機之間建立可靠的主機設置機製。他將會調用 gpssh 和 gpscp 命令， 所以必須確保這些命令完全在你的係統 PATH 中。 可以使用如下命令檢查是否可以使用 ( -h host1 -h host2) 等。或者使用 (-f host_file) 這是一個 text 文件。裏麵的內容就是各個主機名。

通常情況下， gpcheckperf 運行的測試為 I/O 測試， 內存測試， 串口測試 網絡測試。 在磁盤 I/O 測試的時候，我們需要的是 使用 -d 參數來選擇具體的係統上的文件路徑。 如下例子

$gpcheckperf -f subnet_1_hosts   -d  /data1 -d /data2 -r ds

## 監控操作係統
通常使用如下命令來監控操作係統
1. iostat 允許可以監控每個段節點磁盤的使用情況
2. top 動態視圖的形式顯示操作係統的進程情況
3. vmstate 展示內存使用情況

通常是使用 gpssh 切換到不同的節點上去查看檢測信息

最佳實踐

1. 參看 《Greenplum Database Administrator Guide》 完成監控任務的部署和實現。
2. 在安裝Greenplum 數據庫之前先執行一次 gpfcheckperf ， 保存輸出結果，此後不定期的執行測試
3. 使用你能找到的所有工具來了解在不同負載的情況下，係統的狀態
4. 檢查任何異常事件以確保原因
5. 通過定期運行 explain 命令來獲得查詢的解釋計劃， 監控係統上的查詢活動， 以確保運行最佳。
6. 審視執行計劃，以確保是否使用了索引，並按照預期完成分區的選擇

附加信息

gpcheckperf 參看手冊 《Greenplum Database Utility Guide》
維護係統的搭建 參考手冊 《Greenplum Database Administrator Guide》
Sustainable Memory Bandwidth in Current High Performance Computers. John D. McCalpin. Oct 12, 1995.https://www.cs.virginia.edu/~mccalpin/papers/bandwidth/bandwidth.html
www.netperf.org to use netperf, netperf must be installed on each host you test. See gpcheckperf reference for more information.

最後更新：2017-11-03 10:03:32

  上一篇：  Spring AOP從入門到放棄之概念以及Spring Boot AOP demo

  下一篇：  25G/100G-PON 進展和演進趨勢分析