541
加速Oracle RAC性能 軟件定義存儲的數據庫雲化實踐
編輯手記：軟件定義存儲是行業發展的趨勢，可以保證係統的存儲訪問在精準的水平上更靈活地管理，本文分享軟件定義存儲的數據庫雲化實踐，來自上周四大講堂分享整理。
作者簡介：
劉振宇
雲和恩墨基礎架構軟件研發負責人。 擁有10年以上電信、金融、保險、政府機關以及製造業等多個行業的架構和管理經驗。現在負責雲和恩墨軟件定義存儲zData及私有雲產品的研發工作，跟雲和恩墨專家一道共同致力於推動行業信息化建設的發展與進步
什麼是軟件定義存儲（SDS）
軟件定義存儲(Software-defined storage，SDS)是一種數據存儲方式，所有存儲相關的控製工作都放置在相對於物理存儲硬件的外部軟件中。這個軟件不是作為存儲設備中的固件，而是在一個服務器上或者作為操作係統(OS)或hypervisor的一部分。
軟件定義存儲是行業發展的趨勢，可以保證係統的存儲訪問在精準的水平上更靈活地管理，將軟件從硬件存儲中抽象，這意味著它可以變成一個不受物理係統限製的共享池，以便更有效地利用資源。存儲也可以通過軟件和管理進行部署和供應，其管理程序可以通過基於策略的自動化管理來進一步簡化。
軟件定義存儲有什麼特點
-
可擴展。軟件定義存儲係統可以擴展到幾百台甚至幾千台的集群規模，而且，隨著集群規模的增長，係統整體性能表現為線性增長。
-
低成本。軟件定義存儲係統的自動容錯、自動負載均衡機製使其可以構建在普通X86服務器之上。另外，線性擴展能力也使得增加、減少機器非常方便，可以實現自動運維。
-
高性能。無論是針對整個集群還是單台服務器，分布式存儲係統具備高性能。
傳統的IT架構模式：
一直以來，傳統架構的數據庫運行在小型機和集中式SAN存儲上。隨著業務的高速發展，業務係統的交易量及數據量越來越大，對業務係統的處理能力及存儲能力要求越來越高。而傳統的架構擴展性差，計算能力有限，IO能力嚴重不足，如需達到相應的處理能力，則需要用更高配置的小型機和更高端存儲來代替現有的小型機和存儲，技術複雜，代價昂貴。同時，隨著設備的老化，設備性能越來越不足以支撐業務需要，業務係統的架構改造和升級勢在必行。
傳統架構的一些劣勢：
數據量：M級-->G級-->T級->海量已在眼前
數據量*用戶量-->關係用戶量：幾萬-->幾十萬-->幾百萬-->互聯網全開放
關係型數據庫之痛
中心化的存儲係統成為 I/O 存取的瓶頸:
1、傳統架構的數據庫節點需要高性能主機，成本高。對於多節點 RAC 數據庫，由於節點間的通信帶 寬通常為 1Gb s，較高的為 10Gb s，這個數量級的帶寬使得節點間 的並發處理能力沒有充分利用。同時，傳統的磁盤陣列受限於控製器的處理能力和 FC 端口帶寬，IO 吞吐量通常隻能幾百MB/s，在數據庫要求大量的磁盤讀寫時，IO 消耗的時間過長。
2、小型機配高端存儲，成本高昂，相對比較封閉，擴展能力差:傳統架構的存儲擴展能力較差，在容量增加時，性能沒有相應提高。同時擴容成本高，擴容周期長。
3、複雜的係統帶來部署及操作、運維和管理的複雜性:在傳統架構下，需要了解多維度的運維知識和技能，如:數據庫、U ix、存儲等，對運維人員要求極高，部署及操作、運維和管理異常複雜。
IT基礎架構發展趨勢
IT架構的演變-煙囪狀到雲化
兩層的計算-存儲架構有以下缺陷：
中心化的存儲係統
IO存取邊界，擴展成本高昂
部署與運維複雜
不能快速應對IT人員資源需求
基於雲化的高性能高可用架構的優勢：
-
高性能
-
彈性,可靈活多維動態擴展
-
統一運維管理，完善數據容災及保護
將帶來IT基礎設施性能的提升，x86平台CPU性能提升。過去的10 年， CPU 處理速度提升8-10倍；DRAM 處理速度提升7-9倍。
存儲和網絡的發展
針對IT基礎架構的發展和IT基礎設施的發展，以x86服務器為基礎、使用閃存卡、Infiniband交換機可以使Oracle RAC達到很高的處理能力和IO吞吐量的分布式存儲方案zData應運而生。
zData軟件定義存儲基於x86的PC服務器，在大幅度提升係統性能，保持係統的擴展性和敏捷響應能力的情況下，成本相對於傳統架構還大大降低。zData Light Storage分布式存儲軟件可支持上千個節點，存儲池容量可以達到32PB。支持不同存儲介質構成的存儲資源池。在基礎配置（3個存儲節點）下，高達數百萬IOPS，吞吐量超過20GB/s 。
實施方式：
1.用戶可以自購硬件或利舊。
2.雲和恩墨提供zData軟件及服務，包括性能及容量規劃，zData最佳實踐，數據庫遷移及優化，整體維保。
方案價值：
1.標準的x86開放架構，方案靈活方便。
2.無需采用高端小型機及高端存儲，建設及擴容性價比極高。
產品構造：
zData Light Storage存儲管理軟件
zData Light Storage是雲和恩墨自主研發的分布式存儲管理軟件，是一套靈活的軟件定義存儲軟件，它充分利用基於PC服務器的內部直連式存儲來創建一個虛擬的、可擴展的存儲池，性能大大優於外部傳統光纖通道SAN，而成本和複雜性成倍降低。在zData中，通過zData Light Storage存儲管理軟件可以將高性能的x86服務器作為存儲節點, 從而可以將多個存儲節點的內部磁盤資源整合起來形成虛擬的SAN存儲資源池，在數據庫節點（計算節點）上安裝zData Light Storage客戶端就可以使用其中虛擬SAN。zData Light Storage支持Infiniband網絡下的RDMA協議,大幅減少CPU占用的同時能夠顯著降低IO訪問延遲,具有無可比擬的性能優勢 zData Light Storage支持主流存儲介質，包括PCIe、NVMe、SAS、SATA等接口的SSD盤和卡以及SAS、SATA接口的傳統機械硬盤。
Infiniband網絡
zData基於40~100GbInfiniband高速網絡，采用全冗餘網絡架構，一方麵可以提供足夠的帶寬承載 zData LightStorage存儲管理軟件的數據傳輸，使其性能大幅優於外部傳統FC SAN,且成本和複雜性成倍降低;另一方麵為Oracle RAC集群的高性能讀寫提供了保障。
zData智能管理工具zMan
根據雲和恩墨在Oracle數據庫領域的專業知識和強大團隊，研發了人性化的管理和運維工具zMan(zData Manager),zMan為zData提供智能方便一鍵化的安裝，部署，管理功能，極大的降低了管理和運維的成本並在管理功能上為用戶提供更簡單便利友好的操作體驗。
雲和恩墨zData軟件定義存儲有以下的特點：
-
高性能
存儲節點和計算節點通過高速40~100Gb的Infiniband網絡互聯，每個連接的鏈路均可進行存儲數據傳輸。通過zDataLight Storage存儲管理軟件，在使用閃存卡的情況下，可以使單存儲節點提供IO吞吐量達到12GB/s以上，IOPS（每秒磁盤IO請求次數）可以達到40萬以上，磁盤訪問延遲在0.6ms以內。單計算節點上的IO吞吐量達到12GB/s以上，IOPS（每秒磁盤IO請求次數）可以達到100萬以上，磁盤訪問延遲在0.6ms以內。存儲的三項關鍵能力是傳統陣列的10倍以上。
-
多維動態擴展
在zData軟件定義存儲架構中，可以根據業務和應用的需求動態擴展計算節點和存儲節點，容量和性能線性增長。同樣，也可以根據業務和應用的需求動態減少計算和存儲節點，保證資源的最大可用度
-
資源的池化&雲化
在zData軟件定義存儲架構中，計算資源和存儲資源池化，統一管理,按需分配擴展。
-
架構和軟件的安全性和可靠性
在zData軟件定義存儲中，服務器，Infiniband交換機，Infiniband HCA卡及PCIe閃存卡等均冗餘，任何一個設備和節點出現故障，均不影響在線業務的可用性，無單點故障。同時，zData存儲管理軟件自動管理和維護存儲資源，當分布式存儲網絡中有節點損壞，或移動增加存儲節點，zData存儲管理軟件會在已有的或完好的節點上重構完好的存儲“塊”，使得每一份存儲“塊”仍然有鏡像，保證數據的安全性，重構速度每小時可達2TB，可在線自動操作，無需人工幹預和不影響在線業務。
-
統一運維管理，提高資源利用率
整個zData的資源通過zdata管理平台統一管理，自動化運維，大大降低對IT管理人員技能要求。
-
zData zCache
雲和恩墨zData軟件定義存儲獨有的智能緩存工具zCache，提供以下功能：
• 支持writeback和直通模式
• 支持在線啟動和關閉cache
• 支持自動/手動刷新髒數據
• 支持髒塊的刷新頻率和速度動態的控製
zdata軟件定義存儲的應用場景及優勢：
1、數據倉庫和報表（OLAP）類係統：這類係統的數據庫對IO性能要求非常高，存儲容量擴容需求大，但是對可用性、容災要求不高。這類係統在企業應用中屬於核心係統之外的次重要係統，如果購買最高端的大容量集中存儲，成本很高。這類係統是zData軟件定義存儲解決方案的最佳使用場景。
2、聯機事務處理（OLTP）類係統：這類係統對實時性，並發性要求很高，對數據操作頻繁，相應對CPU及IO要求很高。由於zData軟件定義存儲解決方案能提供充足的計算能力及顯著降低IO延遲，這類係統也是zData軟件定義存儲解決方案的最佳使用場景。
3、數據庫雲化和整合：一些大型企業，數據庫數量多，需要將很多不重要的數據庫整合起來，減少運維複雜度和減少成本。使用zData軟件定義分布式存儲解決方案構建數據庫雲化和整合平台，提高係統整合後的性能，增加係統的彈性（便於擴容），並且使用zMan軟件定義存儲管理工具，讓用戶易於維護整合後的係統。zData支持OpenStack和VMware平台的雲化和管理。
4、X86架構下的數據庫備份容災：適用於很多傳統X86架構的數據庫係統建立以zData軟件定義分布式存儲為核心的低成本，高效率的備份及容災平台。
下麵，我分享以下目前一些zdata軟件定義存儲的成功案例
zData方案在多個企業和單位有過最佳實踐,以其高計算能力、高 I/O 能力、高可用能力、高可伸縮能力且極具穩健性的分布式存儲架構，是具有高並發高IO需求的係統的最佳選擇。在過去的實踐中也得到證實和認可。
貴州交警貴州交警某業務係統隨著係統應用的深入和廣泛，原有基礎架構、數據架構規劃和設計上的問題逐漸凸現出來，主要表現為業務數據爆炸增長、業務應用增多、係統響應緩慢、物理擴容達到瓶頸、設備達到服務年限。在經過zData一體機整合之後，整體用戶體驗得到了大幅改善，業務受理和辦理效率均得到了用戶讚譽。
性能提升效果：
1、整體性能提升18倍：重構前核心指標DBTIME每日最高單小時為3563.15，重構後每日最高單個小時指標為199.68，性能效果提升17.8倍。
2、I/O響應提升1000倍：重構前平均單次I/O請求時間為10.07毫秒，重構後平均I/O的請求時間縮短為0.01毫秒，I/O效率提升1007倍。
3、SQL性能提升117倍：考察違法審批報表SQL執行效率，重構前SQL執行需10206.1秒，重構後SQL執行完成隻需87.07秒，執行效率提升117倍。
天安人壽天安人壽隨著公司業務的迅勐發展，其核心係統和報表係統的業務支撐壓力也越來越大，高峰期每秒的吞吐量超過 1G，原有的係統架構已經無法滿足快速發展的業務增長勢頭。
麵對這種現狀，天安決定采取高性能存儲優先解決 I/O 問題。雲和恩墨憑借具備高計算能力、高 I/O 能力和高可用能力的 zData 架構，輕鬆提供超過百萬級的 IOPS，超過 10GB/s 的吞吐能力，全麵支撐起了有著巨量 IOPS 需求的高並發交易，以及海量數據吞吐需求的報表、數據倉庫等係統的高效運行，為天安人壽實現高性能需求的同時，也大幅縮減了整個係統的時間成本與資源成本，成為保險行業業務係統一體機化的典範。
本文出自數據和雲公眾號，原文鏈接
最後更新：2017-07-17 17:33:36