702
技術社區[雲棲]
HybridDB for MySQL 實現在線與離線數據分離的實踐
本文將重點介紹HybridDB for MySQL 實現在線與離線數據分離的實踐，特別推薦！
核心業務簡介
任務中心匯聚了集團的所有工作流任務，並提供統一的入口給用戶處理集團的工作任務。
麵臨主要問題
1、單表存儲量超高目前已有4千萬的數據，並且在急速的增長。預計年增長在200%以上。
2、業務需要大範圍的查詢由於業務需要查詢多張表，比如查詢在線，再查離線表。而且頻率和複雜度在提升。會導致慢sql的出現。
如何架構改造
在線數據與離線數據隔離，在數據訪問層麵不相互影響
在線數據到離線數據必須實時同步，保障高穩定性
定時清理在線表的離線數據。保證在線存儲的合理使用，保證數據從產生到移除的閉環過程。
保證離線存儲容量問題，離線數據不會清除，所以需要有合理的機製或充足的空間來保證離線數據的存儲。
離線數據太多的情況下，要保證數據查詢的效率，不能太慢。
這個過程進行了多種技術方案的調研。最終選擇了基於 HybridDB for MySQL 的在線離線數據分離。
選型產品優點
- 1、能解決在線數據過多的問題
- 2、能解決在線與離線同一個庫離線影響在線的問題
- 3、在阿裏雲上使用比較多，方案成熟
- 4、基本完全兼容mysql
- 5、通過DTS同步，保證數據的可靠性、實時性
- 6、存儲是線性擴展，不用擔心存儲容量問題
- 7、hybridDB是新型的HTAP（事務與分析一體）關係數據庫，適合日誌、消息軌跡、曆史等數據的存儲
對比性能
參考數據量查詢掃描行數的對比
從上圖來看，小數據量的SQL，MySQL響應快於HybridDB，隨著數據量的增加，MySQL的性能遠不如HybridDB。
所以，在小數據量的SQL推薦MySQL，超過千萬的數據量查詢，推薦使用HybridDB for MySQL。
HybridDB for MySQL
她是同時支持在線事務(OLTP)和在線分析(OLAP)的關係型 HTAP 類數據庫。
HTAP是Hybrid Transaction/Analytical Processing的簡寫，意為將數據的事務處理（TP）與分析（AP）混合處理，從而實現對數據的實時處理分析。
1、HybridDB for MySQL采用一份數據存儲來進行OLTP和OLAP處理，解決了以往需要把一份數據進行多次複製來分別進行業務交易和數據分析的問題，極大的降低了數據存儲的成本。
2、因為采用一份數據，HybridDB for MySQL免去了以往在線數據庫（Operational Database）和數據倉庫（Data Warehouse）之間的海量數據加載過程，極大的縮短了數據分析的延遲，使得實時分析決策係統成為可能。
2、HybridDB for MySQL兼容MySQL的語法及函數，並且增加了對Oracle常用分析函數的支持，100%完全兼容TPC-H和TPC-DS測試標準，從而降低了用戶的開發、遷移和維護成本。
主要使用場景
1、大數據存儲與分析：可以基於一份數據進行事務（OLTP）與分析（OLAP）混合處理，免去了在線數據庫和離線數據倉庫之間海量數據的複製、傳輸、加載和存儲。
2、物聯網：物聯網有著數據采集點多、數據總量大、並發高的應用特點，往往需要使用分庫分表和相應的數據分發技術才能承擔業務流量。他分布式架構屏蔽了分庫分表的細節，隻對用戶提供一個數據庫連接地址和相應的邏輯庫表，讓用戶的開發和運維成本降低到最低。
3、曆史數據： HybridDB for MySQL可存儲海量的曆史數據（最高可達到PB級），並且可以通過數據壓縮來進一步節省存儲空間，另有價格低廉的普通HDD硬盤存儲供用戶選擇，極大減少了數據存儲的成本。
最後更新：2017-06-20 11:31:53