988
汽車大全
基於HybridDB for MySQL實現企業級市場的ODS方案
隨著DT時代的到來，數據的價值日益凸顯。企業積累的數據越來越多，數據庫的規模也達到成百上千個實例，數據的規模更可能達到上百TB甚至PB級。如何以合理的成本管理並維護海量實例，利用盡可能短的時間窗口進行挖掘分析，成為各個企業IT管理中的核心問題。
當前方案，在線處理和離線分離，係統架構詳見下圖 
| ||
| 常見業務場景 | ||
| 1、為了滿足分析需要，ETL策略為ELT（Extraction-Loading-Transformation），將全量數據同步到大數據平台中（MaxCompute、EMR、或自建Hadoop）中進行離線運算，定期完成數據整合後供如決策支持類分析型應用使用。 2、自建或者雲上的大數據平台拉取生產數據： a）不允許入侵到生產庫，以免引起生產庫的性能波動。 b）生產數據庫申請隻讀實例，並設定相關權限。 c）大數據平台可通過同步工具（DTS、CDP等）訪問隻讀實例，也可寫相應調度任務和程序訪問。 d）根據訪問要求設置隻讀實例相關訪問權限。 | ||
| 業務痛點 | ||
|
1、數據分析類 a）需要數據搬運，所以分析以T+1為主，很難做到實時分析。 b）即席查詢隻能基於各個隻讀實例，需要配置多個數據源，增加開發難度。 c）自助式查詢，在執行SQL驗證正確性時的時執行時間較長，影響開發效率。 a）除了日常維護外，還需要維護隻讀實例，包括白名單、訪問控製、日誌同步等。 b）自建數據庫需要在自行搭建和維護隻讀實例，和雲環境整體對接運維成本開銷巨大。 c）當實例量超過100+後，運維難度成倍數增長。 解決之道：引入HTAP數據庫HybridDB for MySQL數據庫充當ODS層。查看詳情 1、實時推送：使用非入侵的數據同步方案，替換原隻讀實例。將所有MySQL的生產數據實時同步推送到HybridDB for MySQL中，按需生成一份涵蓋當前決策需求的鏡像。 2、T+0分析支持：數據實時同步到HybridDB for MySQL中，可支撐T+0分析的查詢場景。 3、數據回流加速查詢：將離線計算後的結果回流HybridDB for MySQL，加速查詢性能。和業務數據提供更好的交互式查詢。 5、降低運維成本：幹隻讀實例的運維成本下降為一個HybridDB for MySQL實例，幫助DBA可以從繁瑣的運維事務中抽身出來，將精力投入更有意義的事情中，從數據架構本身出發更好地指導業務發展。 
| ||
| 關於HybridDB for MySQL | ||
| 是同時支持在線事務(OLTP)和在線分析(OLAP)的關係型 HTAP 類數據庫。 HTAP是Hybrid Transaction/Analytical Processing的簡寫，意為將數據的事務處理（TP）與分析（AP）混合處理，從而實現對數據的實時處理分析。<<查看詳情 >> |
最後更新：2017-07-18 12:32:20