64
技術社區[雲棲]
曾經踩坑黨，如今護航忙 | 袋鼠雲的雙11故事之一
普通人提起雙11，談的都是剁手黨
袋鼠雲提起雙11，談的卻是踩坑黨
每年雙11，同樣的通宵達旦、同樣的激動萬分、同樣的心跳加速，同樣的腎上腺素增加，不一樣的是：剁手黨在Happy，踩坑黨在憂慮。
這個雙11，袋鼠小妹采訪了曾經參與過阿裏雙11的幾位袋鼠雲技術專家，為大家分享他們別樣的雙11故事。他們分別是袋鼠雲首席大數據架構師申杭、首席數據庫架構師俊達（大家尊稱：達叔），首席運維專家留良、首席售後服務專家南晨。（恩，都是首席，Teamleader級別）
袋鼠小妹有故事，那你準備好酒了麼？
————
“ 曾經踩坑黨，如今護航忙 ”
袋鼠雲的雙11故事 第一章
from 申杭
申杭（花名）
原阿裏巴巴無線事業部-數據服務團隊
現任袋鼠雲首席大數據架構師
袋鼠小妹：杭哥，先介紹一下原來你在阿裏所在的團隊吧。
申杭：啊，讓我想想是哪個團隊。。
（袋鼠小妹OS：哥哥，你都不記得你原來的部門名字了麼。。。。）
申杭：事業部就是無線事業部，團隊好像就叫數據服務團隊（疲憊臉），反正就是幹活（苦力）的那個部門。
袋鼠小妹：那之前在雙十一時，你們團隊主要負責做什麼？
申杭：我們是負責為集團所有的移動應用(App)提供數據服務，比如手機淘寶、天貓app、釘釘等。
當時整個阿裏無線數據一天大概有數千億記錄的增量，為阿裏集團開展廣告投放、搜索引擎、個性化推薦、精準營銷，GProfile等提供數據技術支撐。
比如我們當時開發的一個產品叫 “無線數讀”，這個產品主要為阿裏係的各個APP提供運營狀況分析。
劃重點一：
“ 高效計算鮮活的數據，並讓數據價值實時得到體現，在日增數據量幾千億的情況下，需要有強大的計算能力和技術保障能力做為支撐。”
袋鼠小妹：那麼那時候雙11做這些數據應用，技術難點有哪些？
申杭：如何對龐大數據進行高效、快速的實時計算和處理，從而為後續數據應用提供支撐，保證數據應用的時效性是最大的難點。
數據在它產生的幾秒以內，是最鮮活的，是最有價值。拿個性化推薦來講，比如我下單買了一個登山杖，如果在頁麵能實時或者下單之後的5秒以內給我推薦一個登山鞋，那我可能會點進去看看，如果推薦的商品符合我的需求和喜好，那麼，我可能就會一起下單消費。但是如果要是在一小時之後，一天之後，在我已經關閉掉購買頁麵之後，再我推薦登山鞋，我可能注意力已經不在登山這件事兒了。
再拿精準營銷的應用舉例，精準營銷是以人、商品的數據標簽化為基礎，以阿裏的龐大的用戶數量、商家數量、商品類目，進行實時精準營銷，這個難度可想而知。
所以，高效計算鮮活的數據，並讓數據價值實時得到體現，在日增數據量幾千億的情況下，需要有強大的計算能力和技術保障能力做為支撐。
袋鼠小妹：現在在袋鼠雲，還在為哪些客戶做雙11的數據服務？
申杭：比如我們現在正在服務的百草味。
袋鼠小妹：啊，百草味我知道，好像我們是在為他們做今年雙11的可視化大屏。
申杭：對。像往年天貓雙11的實時作戰大屏一樣，百草味也有意願做一個這樣的可視化大屏，對外實時展現百草味各渠道在雙11當天的銷售信息，物流信息等，對外展示百草味的強大品牌影響力和技術實力。
袋鼠小妹：看起來設計酷炫，動態效果震撼的可視化大屏其實背後實現是很複雜的，需要強大的實時計算以及數據處理能力為支撐。那麼在做百草味可視化大屏項目時，主要的技術難點有哪些？
劃重點二：
“ 業務係統非常複雜，數據分散存儲，異表數據實現同步實時計算、處理、展現是難點。”
申杭：技術難點主要有兩點，數據遷移和雙流join。
先說第一點，數據遷移。數據遷移到雲上為什麼會成為難點，因為要做的不是普通的數據遷移，而是數據的實時遷移，從雲下遷移到雲上的過程中，數據指標的計算要是實時的。同時，目前客戶采用的是分庫分表的數據庫架構，巨量的數據分別散落在20多個數據庫實例中，需要快速無感知、安全0丟失、保證後期可維護性的同時進行數據遷移。
第二點雙流join。
袋鼠小妹：什麼是雙流join？我隻知道join是一個數據庫領域的術語。
申杭：確實是數據庫相關的。雙流，可以顧名思義一下，就是有兩個數據流。
由客戶本身ERP和業務係統決定，現在客戶有兩張大表，我們稱為主從表結構。主表主要承擔主要數據信息的存儲，比如用戶ID、訂單ID、訂單金額等。從表則負責承擔業務明細信息的存儲，比如購買商品的數量、商品的類目尺寸明細等。也就是說同一個訂單的數據是分散在兩張表中的，需要通過join，進行同步數據處理，像雙11這樣的時間節點，交易量在瞬間達到峰值，還有很多秒殺、爆款產品的搶購等活動，在這樣高並發場景中，做到實時的、同步的數據處理和展現，就是一個技術難點。
但是袋鼠雲有強大的DBA團隊，他們在過去負責和參與雙11的活動中，踩過無數的坑、接受過更複雜的技術考驗，熟悉雙11活動技術演練的環節和流程，感謝DBA團隊的技術支撐。同時袋鼠雲大數據團隊熟悉阿裏雲大數據的整個技術架構體係，通過兩支團隊的強強聯合，這個難題一定會得到解決。
袋鼠小妹：那對比一下，現在在袋鼠雲和客戶一起作戰雙11，和以前在阿裏護航雙11，你覺得有哪些不一樣的感受？
申杭：先說一樣的感受吧，那就是當雙11到來的時候，都是既興奮又憂慮的。興奮的是，看到雙11作戰大屏上的交易數字，以及大家買買買的happy時，想到這些背後由自己所在的團隊做技術支撐，這麼多人在體驗和享受自己的努力成果，是很興奮的。但是也是憂慮的，交易額越來越高的時候，這樣高並發的場景，我們的技術到底能不能得到支撐，雖然之前做過無數次的演練，也有無數的預案方案，但會不會有一些突發情況之前沒有考慮到，還是心驚膽戰的。
不一樣的感受，之前在阿裏是在給整個集團做技術支撐，現在則是給像百草味這樣的客戶一樣，對外輸出之前積累的經驗，這個是不一樣。
（袋鼠小妹OS：恩，這個回答很官方。。。）
袋鼠小妹說：
“ 作為一個資深的大數據架構師，申杭更多的是從大數據的角度來談雙11狂歡夜背後的技術支撐力量，那麼接下來的三篇，還將會結合袋鼠雲本次雙11期間服務的客戶案例，更深入地和大家探討雙11護航工作的每個環節。”
最後：
敬請期待 袋鼠雲的雙11故事 第二章 from 南晨
最後更新：2017-11-09 20:03:35