997
小米MIX
“雙11”幕後：支付寶曾差4秒就崩潰，今年隻需十幾人待命！
今年的天貓“雙11”臨近了。2016年的“雙11”，支付寶交易峰值達到每秒12萬筆，是前一年的1.4倍，但你可能意料不到：支付寶專門為此提供技術保障的不到30人。
“今年‘雙11’，技術保障人員會降到十幾人，到2019年，‘雙11’將從一年一度的‘支付大考’變為常態化。”10月25日，螞蟻金服副總裁、首席技術架構師胡喜說。
在大家印象中，“雙11”當天，阿裏應該是所有員工嚴陣以待，公司裏到處是帳篷、睡袋，桌上堆滿“紅牛”。
“以前確實是這樣，但現在越來越輕鬆了，希望今年不喝‘紅牛’，能慢悠悠喝紅酒。”胡喜笑稱。
2016年的“雙11”，支付寶交易峰值達到每秒12萬筆，是前一年的1.4倍。
記者了解到，三四年前，支付寶還要將公司80%左右的技術人員投入“雙11”技術保障。更早的2010年，即“雙11”啟動第二年，支付寶當時幾百名技術人員全部坐在電腦前。
“一有問題立馬要處理，不行就重啟機器，容量不夠就加機器，靠‘人肉雲計算’撐著。”胡喜告訴記者，可問題還是出現了，險些讓支付寶乃至整個淘寶崩盤。
2010年“雙11”前，支付寶的係統規劃是按每年增長100%的餘量預估的，即係統保持一倍餘量。
“大家都覺得肯定夠了，出現問題也可以等到交易量增長到一定程度時加資源。”螞蟻金服首席技術官程立回憶，但當天零點剛過，交易量迅速攀升到平時最高值三倍，到7點還沒有下降。
“我們意識到當天的交易量一定會遠超係統容量。”程立說，所有技術人員如臨大敵，開始不停“搬資源”，哪裏有富餘的計算資源就拿來應急，再不夠就“砍業務”，把一些暫時可以犧牲的業務砍掉，將資源搬過來。
到23時59分30秒，眼看“雙11”就要結束，支付寶核心賬務係統突然報警。一名當時在場的技術人員向記者描述：“嘀嘀嘀的警報聲讓每個人發急，負責數據庫的同事衝過來喊‘資源馬上耗盡！趕緊殺掉非關鍵應用！’”
那時，支付寶的賬務數據庫還沒有拆分，而所有交易都經過虛擬賬戶，一旦核心賬務係統出問題，支付寶所有業務都會停掉，數據庫再想恢複要很長時間——出現這種情況，對淘寶和支付寶都是災難性的。
幾秒鍾內，技術團隊決定臨時把一個會計係統的應用“殺掉”，騰出係統資源。
負責消息係統的技術人員爭分奪秒地在機器上敲入一行行代碼，緊急殺掉非關鍵應用。鍵入最後一行代碼，將一個會計係統的應用“殺掉”，把資源釋放出來時，離數據庫崩潰隻剩四秒。
“我們開始反思，支付寶怎麼頂住每年‘雙11’的業務量？”程立說，傳統型構架已無法支撐，“雙11”倒逼支付寶開始搭建雲計算技術構架。
胡喜說，2010年是支付寶技術發展的拐點，“我們分析了整個業界架構，支付寶遇到的問題已不是任何現有業界技術可以解決的，必須自己趟出解決之道。”
從傳統型構架向雲計算構架過渡，支付寶花了三年，自主研發了中間件、數據庫、大數據平台。這個雲計算架構，使後來的天貓“雙11”平穩進行。
“如果這件事做得晚一點，這幾年的‘雙11’就別想挺過來。”程立說，現在螞蟻金服已開始研發下一代構架，是一個適應數據開放、互聯、全球化的架構。
“2016年‘雙11’的技術保障可以說毫無壓力，理論上可以做到每秒百萬級的交易支付能力，今年應該會更輕鬆。”胡喜表示。
而雙十一不僅是電商銷售的狂歡，也是一場對支付機構和銀行的大考。
網聯首迎“雙十一”大考
與往年不同的是，今年考場中多了一名特別的“考生”，即由7家“央行係”機構和38家支付機構共同發起成立的網聯清算有限公司（下稱“網聯”）。
“網聯在成立之初就對行業支付峰值做過預測，業務處理邏輯相對簡單，最大的挑戰即來自對峰值交易的處理能力。”網聯相關人士稱。
2016年11月11日，支付寶支付峰值刷新記錄，達到12萬筆/秒，這包含支付寶支付賬戶交易（提前充值或花唄等）和支付寶賬戶涉及銀行交易（通過支付寶向銀行賬戶發起指令完成交易）。按照計劃目標，今年雙十一，支付寶擬將半數涉及銀行交易通過網聯平台完成。據悉，支付寶方麵預估，今年這一峰值或達到20萬筆/秒，涉及銀行賬戶的業務達8萬筆/秒，據此，網聯需達到4萬筆/秒的峰值處理能力。
不同於傳統金融機構交易數據和災備“兩地三中心”模式，網聯采取分布式雲架構，在北京、上海、深圳三地建立6個數據中心，保證平台交易達到高性能、高一致、高擴展、高可用、高安全、高擴展、高可控的特征。
9月26日淩晨3點至6點，網聯協同6家主要商業銀行以及支付寶開展聯合壓力測試，共進行3輪，壓測峰值超過2萬筆/秒。此次壓測啟用了6個數據中心中的3個，據此簡單推算，當6個數據中心都投入使用，可達到4萬筆/秒的業務處理規模要求。近日網聯還計劃組織更多機構、銀行進行全部數據中心同時處理更高峰值量的聯合壓測。
網聯相關人士稱，網聯平台規劃的平穩處理能力為12萬筆/秒，而極值處理能力達到18萬筆/秒。這還是在銀行能力和平台能力沒有充分使用的情況下。之所以留出高達50%的冗餘，是為了保證即便某一數據中心出現問題仍可以保持業務連續不中斷。
這也意味著，按照既定設計能力和目前壓測情況，在“雙十一”開啟的那一刻，數百萬消費者湧入電商平台付款時網聯可以提供有力的基礎支撐，支持用戶順暢“買買買”。
在今年6月30日，9家支付機構和18家全國性商業銀行即已經開始接入網聯啟動業務切量，9家支付機構占到市場全部交易量的96%。按照工作規劃，到今年年底，至少200家銀行和40家支付機構接入網聯，目前支付機構及銀行接入工作態度積極，接入進展符合計劃預期。到2018年6月30日，網聯將徹底切斷第三方支付機構與銀行直連。
網聯在較短時間內構建起這一高性能交易處理平台，被央行人士稱為完成了一項“不可能的任務”。
“網聯是站在巨人肩膀上成立的。”網聯相關人士表示。網聯從30多家支付機構抽調近200名業務骨幹，包括支付寶、財付通、百度、京東金融等機構的頂級架構師，各機構貢獻其已經運營成熟的技術，通過模塊化開發，保證了網聯平台在短時間完成上線。
文：澎湃新聞 陸玫 ，21世紀經濟報道 王曉
最後更新：2017-10-28 00:07:27