242
技術社區[雲棲]
【逐雲】阿裏巴巴通用計算平台負責人關濤:讓計算平台成為阿裏的“水電煤”
《逐雲》是雲棲社區的一檔人物記錄短視頻欄目。一共10集。鎖定雲技術領域,每期記錄1位雲技術細分領域的代表專家,見證雲技術先行者在時代潮流下的選擇與追尋、堅持與自由。了解更多雲棲專家分享,請點擊雲棲專家頻道,當然我們也歡迎你往前走一步,成為我們的雲棲專家(https://yq.aliyun.com/expert),與技術大牛一
以下為關濤講述:
學生時代:一路保送,但可能不是你想象中的學霸
可能我不是那種大家想象中的學霸。愛讀書,但也很愛玩。我覺得興趣是最重要的。讀書經曆的話,一路基本沒考過試。初中到高中是保送,高中到大學因為數學競賽保送了南開大學,讀的計算機專業。選擇計算機,是因為從小特別愛玩遊戲,邊玩還會邊修改存檔,就這樣迷上了計算機。後來大學到研究生,是從南開推薦到了天津大學,帶我的導師在網絡方麵研究成果很領先,也是通過他在計算機的領域裏走得更深入。
除了遊戲,也很愛運動。工作後沒了那麼多時間玩遊戲,但會一直堅持運動。在微軟時也曾做過微軟中國網球協會主席,拿過微軟大部門網球聯賽的冠軍。很愛單板滑雪,之前也一直堅持在每年的最後一天自駕去不同的滑雪地滑雪。
初入社會:微軟最年輕的技術管理者,帶跨國團隊更具挑戰
研究生畢業後,拿到了微軟的offer,一做就是6年。在微軟的第一個項目,是做基礎架構,主要負責分布式係統。在當時的體量還是很大,團隊有幾千台機器可以布局。最考驗的是係統的拓展能力,這個經曆也成為了後來逐步往上做的基礎。
第二個項目,是做搜索後台,那時整個業界搜索技術也剛起步,可以理解為是從0到1的過程,到後來這個搜索後台也成為了微軟後台最重要的搜索架構之一。
做完了這兩個偏存儲層麵的後台後,開始往上做,做大數據,更偏重於計算層。也就是在微軟的第三個項目:交互式查詢。從最初牽頭來做這個項目到經曆各種係統的升級更新,做到後麵基本微軟一半以上的團隊都在用這個係統。
做到這裏,在微軟國內已經算是比較資深的員工,剛好在做組織架構調整,希望可以接受更大的挑戰,便決定去到美國那邊的對口組,在那邊工作了兩年的時間。這期間繼續深入做交互式查詢、優化推動等,因為在微軟比較早就開始帶團隊,在美國那邊也是帶團隊,不過這次是多國的戰隊。也是在那時積累了很多團隊管理的經驗,包括如何帶領多國成員組成的團隊,如何與遠程團隊溝通等。
阿裏人:從微軟到阿裏,技術信念的回歸
在微軟工作將近10年,中國美國都工作過,帶一個團隊做交互式大數據計算這個領域,當時是一個比較“得心應手”的狀態。微軟也是大型工作,內部可以換到各種不同的工作和崗位,之前大約每兩年也會make some change。過去的十年,以BAT為代表的本土公司也發展的很快,一直很好奇哪些技術、風格、文化上的特點驅動了BAT。所以當時有了阿裏的機會,也很好奇希望更深入的了解,也算是make a bigger change。
從工作性質上,還是很match,都是大數據引擎(規模上有較大差異),而且阿裏在國際化方麵有投資,也需要跨國經驗,之前的技術,工程和管理經驗都能複用。
另外,我在很小的時候,有一次到中關村玩。有兩個廣告牌給我留下了深刻的印象,到現在我都記得,一個是聯想的“人類失去聯想,世界將會怎樣”,一個是金山軟件“為國產軟件的發展而奮鬥”,這兩個廣告體現了。。。。。。。兜兜轉轉十年,轉回到阿裏,做通用計算平台,也算是為國產軟件而奮鬥了。
在微軟做了近10年,一路都是在核心項目上深挖,也是在業界比較領先的技術上向前走,當時國內的BAT也有了加速的發展,很多地方速度超越了微軟、穀歌這樣的外企,正巧阿裏在西雅圖成立了分部,對阿裏技術一直比較看好,再加上技術線和自己也很匹配,便來到了阿裏,成為了當時阿裏西雅圖分部的第22名員工。
之前也一直帶北京和美國的團隊。這次在阿裏,我管這個叫“兩岸三地工作”(太平洋兩岸,北京,杭州,西雅圖),這個工作狀態,確實工作更忙一些,很多會議需要照顧兩邊的時差,但這也是必要的。杭州和北京團隊setup都很齊整,西雅圖是我們最近兩年的海外研發中心,特別的西雅圖的“雲穀”,雲計算北美的三巨頭都在,希望通過海外人才的引進,進一步提升我們競爭力。這方麵需要加大投資,付出一些時間和溝通成本也是值得的。
隨著三邊團隊融合和成熟,情況已經不錯了。研發全球化一些優勢已經開始體現,例如24小時全球事情cover的值班能力,國內/海外的客戶和合作夥伴會議,可以就近參加(例如與Intel美國團隊的合作,由西雅圖同學完成)。
責任:在阿裏,開啟的是一場大的硬仗
在阿裏我有一種感覺,就是事比人多,可做的事情非常多。就好像帶領一個大戰隊,去打一場很大很持久的硬仗。關於計算平台,你可以想象一座航母,本身係統很複雜,周期也很長,這個航母的每次轉型都耗資巨大,但如果轉型的方向正確,戰鬥力裏一定會非常地強。計算平台之於阿裏,便是類似這樣一個存在。
在阿裏負責的是帶整個計算平台的團隊,在之前,阿裏是各個業務部門會搭自己的數據平台,現在是統一收到一個統一的大後台中,計算平台便是這個統一的平台,也是整個阿裏巴巴的數據中心。阿裏內部超過95%的數據都在這個平台上,每月的月活有一萬多人,也就是每4個阿裏員工中就會有1個人在用這個係統,每天的獲閱量有300萬左右。阿裏這麼多業務線的數據匯總在一起,數據也就具有了一加一大於二的特性,所有這些數據綜合在一起也是阿裏巴巴最大的數據價值之一。如果這個平台一旦不工作,舉例說,像支付寶的商戶訂單、商家商戶的統計信息以及商品的維度信息等都會缺失掉,影響是非常難以想象的。
來到阿裏,最開始就在和其他架構師一起,對這個計算平台進行一次全麵的革新,將性能提升了一倍。一倍可能很多人會沒有明確的概念,舉例來說,性能提升5%可以省去的預算時一個億,那麼一倍的話其實是節省了20億的預算。
計算平台最典型的應用,便是每年的雙十一。雙十一期間我們團隊會值48小時的班,第一天支撐實時流量和交互式查詢,第二天需要支撐分量的信息,中間不能有間斷。每年雙十一結束的時候,計算平台也會迎來全年最大的洪峰期,數據量會暴漲三倍到五倍的樣子,非常考驗整個數據平台的能力,所以真的是一場很大的硬仗。
對未來的展望:讓計算平台成為阿裏的“水電煤”
針對計算平台的未來,是希望它可以普及成為“水電煤”一般的基礎設施。具體的方向,一是要有匠心也要有深耕,要從以業務為主能上能下,轉變為可在某一個領域深耕,能夠打造業界影響力的一個狀態。二是生態線上有非常多的地方值得我們學習,也值得去整合,希望可以做到閉源係統與開源平台很好的互動,在保證數據資源都統一的基礎上,能夠保有既有資源係統最核心的能力,比如更安全、更高效、功能更強的優勢,也能支撐開源係統更好的生態性,從而找到這中間的結合點。我也很堅信,目前我們做的方向是對的。希望自己可以帶領阿裏計算平台這座航母,開得更遠。
就我個人而言,也是希望可以以內部和外部業務為導向,把計算平台這座航母本身的戰鬥力提升上來,在業務、科研、高校等領域打造影響力,把它打造為世界上最好的計算平台。
最後更新:2017-11-21 07:34:11
上一篇:
千島湖冰水救人,程序員見義勇為,手工點讚!
下一篇:
先知創新大會:16位華人安全科學家分享前沿研究,中國密碼專家王小雲獲先知獎
java中報錯java.sql.Timestamp cannot be cast to java.sql.Date
阿裏科技行引爆香港高校,學界業界熱議人工智能發展新趨勢!
華山醫院信息中心主任:把AI與臨床結合後才發現,過去做的事僅是冰山一角
【雲棲大會】阿裏雲發布新物種神龍雲服務器媲美物理機性能的彈性雲服務器
Java中的HashCode(2)之Hashset造成的內存泄露
深入淺出Java回調機製-(二)
ObjectArx學習筆記-畫線
基於容器服務的持續集成與雲端交付(四)- 多種發布方式
ASP.NET Core的配置(4):多樣性的配置來源[上篇]
Terraform 助力 ECS 實例借助 RAM 管理阿裏雲產品