阿裏雲數據庫掌門人褚霸:騎行與數據人生
本文主要從霸爺的騎行經曆開始聊起,進而聯係到數據庫經曆,從初識數據庫談及到雲下轉入雲上,最後重點與大家分享了POLARDB 數據庫。
今天的電梯訪談我們請來了褚霸和我們聊聊他的騎行與數據庫人生。
以下是精彩內容整理:
騎行有很多樂趣,騎行給我無拘無束的感覺,騎行是一種激情,讓我興奮,享受著超越感。而數據庫與騎行對我來說是相通的,堅持去做的事情一定是你有興趣的事情,沒有激情是很難做到極致,數據庫與騎行一樣,沒有上限,投入精力越多,探索深度越深。
初識數據庫
“我的夢想是做一個最牛X的數據庫!”,盡管這是一句戲言,但也表露出我對數據庫的熱愛和野心。誤打誤撞或是機緣巧合,我從高性能服務器轉做數據庫,從最基礎的MySQL代碼開始學起,隨著經驗的積累,不斷成長為如今的雲數據庫掌門人。
從仰望Orcale到現在和它做同樣的事情,阿裏雲數據庫實現了質的飛躍,阿裏團隊付出了很多。我們抓住了幾個重要的機遇,比如曆史的變革,2010年SSD出現,給我們很好的機會,在此場景下,原來係統不太適合,淘寶抓住了機會,淘寶的核心數據庫都在這些硬件上跑,所以我們有很多場景,很多錘煉,雙十一規模超大,每年都是七倍往上翻。
現在數據庫團隊的骨幹都是和當年的我差不多資曆的人,對於他們的執著我特別感動,因為許多事情看起來的確很枯燥,很佩服他們的工匠精神。我從他們身上學到了很多,看著他們的成長。
從雲下到雲上
傳統的數據庫廠商會上門談生意,大多都是大客戶或者是重要業務,業務的重要程度隨著我國技術發展,對數據庫的依賴程度會越來越高。相比雲下 ,雲上數據庫的門檻較低,成本低就會有大規模的使用,在性能和分布性等方麵會有各種需求,這樣一輪輪的迭代,數據庫的大需求是一個趨勢,節奏會越來越快。
數據庫從雲下到雲上的轉換,也是中國國產數據庫彎道超車的機會。借著國家的上升大勢,各行各業都需要數據庫,它會帶動很多東西前進,需求會轉化為對技術的變革倒推,再好的技術如果沒有應用場景,都是無用的。
中國是世界上最大的數據庫應用場景,目前,我們團隊在做一款自研數據庫。MySQL之所以火爆,是因為有大量的人使用,大量的人改進,大量的人擴展它的使用範圍,致使它的能力得到很大提升,它是一個非常通用的數據庫。在這種情況下,在此基礎上想要有五倍、十倍的性能提升是非常難的。
我們摒棄了老方法,擁抱軟硬件的大變革,比如RDMA的出現,也或者兩台服務器間的RT 是7us,這與過去70us相差10倍;以前數據結構底層用的B-Tree是根據旋轉磁盤設計的,今天如果仍然延用B-Tree,就不會有特別多的優勢,我們需要更新的數據結構,更新的利用介質。通過這些技術的提升讓很多不可能成為可能。
數據庫本身設計時會考慮到很多東西,比如軟件、網絡技術包,多年來數據庫的結構並沒有什麼變化,它的棧很深,一級級傳遞下來,我們不僅僅要跟上硬件的優勢,還有趕上軟件的步伐。傳統的網絡接收方式耗費很多CPU資源等,如今我們讓其消耗更短更少。
POLARDB
在硬件紅利的基礎上,我們開發了全新的軟件架構,讓其很好的適配和駕馭硬件,當硬件和軟件各方麵都達到了極致,實現數量級的疊加時,我們是有可能創造出總體性能達到更好數量級的新東西。
POLARDB 就具備高性能特點,並且性價比很高,起初我們的設計目標並沒有多大野心,隻是希望當五年或十年後再回首時,我們會感覺到當初的設計是多麼先進。
想要達到性價比高就必須有紅利基礎,性能高意味著成本低,另外我們從架構上去解決問題,比如過去MySQL是主備結構,完全被動接收,為了數據安全用戶需要付兩倍的錢,而且需要提供擴展和讀寫能力。而POLARDB 采用共享存儲的模式,這得益於雲計算的彈性能力,我們解決了存儲擴展問題,一個實例可以擴展到P級別,這就解決了存儲問題;還有延遲抖動問題,共享存儲可以做到20~30us三副本落地,不需要再拷貝數據,天然解決很多問題;還有計算能力的擴展,我們的計算和存儲是分離的,數據都是同步的,性能成本很低,無需再複製;數據庫具有寫能力,我們發散思維,對引擎做了大量改進,消減引擎使TPS或QPS能力提升5倍甚至10倍,進行物理複製,整個又是一個數量級的提升,因為很多公司可能一輩子都用不到容量的上限。
POLARDB 緊跟時代的步伐,嚐試了他人不想嚐試的,POLARDB 理念簡單又直接。數據庫的穩定性一直是重中之重,POLARDB 也十分注重穩定性問題。從第一天被設計開始,POLARDB 就被證明怎樣才能如你預期工作,將認可的狀態可視化,從根本上減少問題的發生,即使發生情況,我們也會很快知道,我們從代碼、引擎、管控到支撐等擁有全套的解決方案,我們希望POLARDB 的穩定性也會有很大的提升。
最後更新:2017-08-31 17:02:46
上一篇:
棋牌遊戲服務器架構: 總體設計
下一篇:
阿裏巴巴招聘搜索算法專家
如何用四個簡單的步驟加速 LibreOffice
T11 2017在京舉行:數據驅動指數級行業升級
動態規劃經典題目:最大連續子序列和
JAVA---JDK安裝與配置
ELK的崛起(Rise of the ELK)
Android下Context、Application、Activity之間的聯係和區別
【雲周刊】第143期:如何讓數據價值最大化?阿裏全域大數據係統深度解讀
Packer & Terraform 讓 ESS 更靈活
9月22日雲棲精選夜讀:腦洞 | 橫掃圍棋界的AlphaGo竟然出紀錄片了!介意劇透者慎點…
tomcat下的SSH項目移植weblogic常見錯誤解決方案