初創企業的選擇——MaxCompute

       前不久剛加入了一家初創公司，公司立足於已有數據資產，計劃全力打造自有數據平台。對於剛起步的初創企業，節省的一分鍾，無疑都能提高企業在眾多競爭對手中的存活率。而自建大數據計算平台對於一個初創團隊無論實在時間，人手，技術上無疑是難以實現的，而團隊應該專注於業務邏輯的開發。上雲成了創業團隊踏入大數據大門的唯一選擇。

       在選擇產品之前，我們先對自己的需求進行了梳理。

       首先，日常的業務數據需要存儲在關係型數據庫中，用以保證事務的一致性。然後，需要在業務數據的基礎上，周期性計算指標值，周期一般為日、周、每月。此外，為了實現數字化營銷，還需要做大量的數據分析和部分數據挖掘。通過預估發現，業務數據中將有超過3張以上的核心表數據量達到千萬以上，當需要進行指標計算時，無法在關係型數據庫中完成關聯查詢。為了得到結果，必須選擇另外一種數據計算和存儲方式來完成清洗轉換以及邏輯處理。同時要滿足從關係型數據庫到數據倉庫的快速數據同步。
       經過多番對比選擇，發現阿裏的MaxCompute是一個具有良好生態，以及周邊服務套件的大數據開發平台。從數據的采集，清洗到數據的處理，數據挖掘，數據的應用展現，數據流轉的生命周期中，MaxCompute都有很好的周邊產品。而MaxCompute也能無縫對接在ec2，存儲等其他服務的數據。因此我們決定使用阿裏雲MaxCompute作為我們的大數據開發平台。
        係統中每天都有大量的運行結果從用戶的iot設備中返回，進入Datahub中暫存，然後統一歸檔到MaxCompute等待處理。而有些返回的數據是錯誤的，或者是重複的，需要編寫SQL計算任務來清洗與轉換。

        數據倉庫經過處理的數據，不單為業務數據庫提供支持，另一個十分重要的進入Quick Bi。Qucik Bi為我們的運營人員提供了可量化的運營分析指導。對公司的運營方向，以及決策指導，都提供了意義巨大的作用。
        另一個作用巨大的套件則是推薦引擎。一部分數據通過在APP進行客戶端埋點，另一部分則是數據倉庫中的身體運動數據。和MaxCompute對接後，產出API接口供業務服務器調用。我們的業務主要是一些運動建議，以及周邊產品的一些推薦。在推薦引擎控製台中，通過對指標的定義，來修正推薦效果。
       上雲的好處是顯而易見的。大大減少了無用的技術資源投入，盡可能的專注於業務開發。無需在基礎設施中投入，為平台的部署，運維，穩定性投入大量的精力。另外MaxCompute圖形化的任務界麵，也讓開發人員輕鬆的了解任務的運行狀態，數據的流轉流程。