216
報表幾種常用數據方案
背景
最近做了比較多的報表需求，在這裏小結一下,希望對後續工作有幫助。報表是數據分析的形象化展示，目前有比較多好用的產品，比如QuickBI，Tableau等，讓報表頁麵的工作能夠方便的所見即所得；我們也可以做最核心的事情：數據處理和加工。從數據流向的技術方案來看，主要有這幾種：
1. 直接從業務庫數據取數據
優點：
- 不用數據導來導去，節約時間
缺點：
- 可能對業務庫性能有影響；
- 無法做複雜的數據加工,不同數據庫源之間的連接運算等
- 某些曆史查看需求無法實現
2. 業務數據導入到MaxCompute（原名odps），經過加工後，再導入到mysql等實時庫
優點：
- 可進行複雜數據加工;
缺點：
- 數據導來導去，各個地方建表非常耗時。
- 如果每天的分區都導入而不刪除，長期需考慮mysql的性能問題
3. 業務數據導入到MaxCompute，經過加工後，直接報表展示(利用QuickBI等工具的加速緩存功能)
優點：
- 可進行複雜數據加工
- 節省了從MaxCompute導入到mysql等實時庫的時間和存儲成本
缺點：
- 如果數據量大於20萬，不支持加速（每個工具可能有不一樣，但是肯定都有上限）
- 分頁無法顯示所有頁數
4. 業務庫備份庫,直接業務庫同步到mysql等實時庫
優點
- 節約時間成本;
缺點:
- 無法複雜數據加工,增加存儲成本
目前主要這幾種技術方案，在實際使用中，我們可以結合各個業務項特點，靈活使用，不一定要局限於某一種，2應該是最常用的數據鏈路，但比較耗時，個人比較傾向於3 ，利用MaxCompute強大的數據加工能力，而且節省一步導數的操作。
最後更新：2017-08-17 16:02:18