閱讀646 返回首頁    go 阿裏雲 go 技術社區[雲棲]


深度解析阿裏雲存儲

國際知名調研機構Gartner近日公布了2017年全球雲計算雲存儲魔力象限,阿裏雲的雲存儲強勢崛起成為這一核心領域的前四名。

圖片描述


圖1 2017年Gartner全球雲存儲魔力象限圖

在去年首次進入Gartner魔力象限即取得了不錯的位置之後,今年阿裏雲存儲再次強勢進入公共雲存儲魔力象限,緊跟Google成為公共雲存儲廠商中在利基象限中最接近領導者象限的公共雲存儲廠商,而領導者象限中目前隻有AWS和Azure。

圖片描述
圖2 2016年Gartner全球雲存儲魔力象限圖

作為國內市場排名第一的雲廠商的雲存儲產品係列,取得這樣的成績也並不是水漲船高的結果。首先從整體評估上來說,Gartner的評估方法並不依賴母體廠商的品牌和占有率,而是客觀的從雲存儲類型(對象,塊,文件)和冷熱存儲,全球數據中心的位置、技術成熟度、市場策略、市場份額、服務承諾和SLA等方麵來綜合考慮。

在這次評選中,分析師認為,阿裏巴巴集團對雲計算業務的持續投入,在國際市場上也積極布局,讓其雲服務的技術、產品和全球規模都有長足的進步,阿裏雲在中國,美國,新加坡,德國,香港,澳大利亞,日本,阿聯酋等地都開放了雲存儲服務,並且不少地方擁有多個數據中心。阿裏雲雲存儲的應用場景豐富、在多個領域擁有行業領先的客戶,在中國的數字商業領域已經發揮了重要作用。不僅如此,阿裏雲雲存儲還吸引了大量的獨立軟件開發商加入到阿裏雲雲存儲的生態圈中。

分析師認為,阿裏雲目前的存儲產品係列展示了阿裏雲的潛力。隨著時間的推移,已經成為全球超大規模雲服務提供商的有力競爭者和替代者。阿裏雲雲存儲不僅擁有一係列不同的產品和功能,而且現在已經具備了相當的能力,在全球範圍內提供廣泛的服務。

目前,阿裏雲在海外的積極布點已經讓海外九個國家和區域擁有了雲存儲的服務能力,覆蓋了歐洲,美洲,大洋洲,亞洲等區域。

我們特別邀請到阿裏雲存儲團隊產品負責人承宗獨家撰文,深度解讀取得如此傲人成績背後的技術思考。承宗2010年加入阿裏雲飛天團隊,先後參與了飛天底層係統的研發以及阿裏雲所有雲存儲產品的產品設計工作,對於大規模分布式係統以及大規模互聯網應用架構設計有著超過十年的經驗,並對於雲產品的設計有著深入的理解。

雲計算廠商中最豐富的存儲產品線

存儲是雲計算業務的基石,而阿裏雲有著所有雲計算廠商中最齊全的存儲產品線,對象存儲OSS、塊存儲 Block Storage、共享文件存儲NAS(支持NFS和SMB/CIFS協議)、共享塊存儲、表格存儲、歸檔存儲以及混合雲存儲係列,並且提供在線和離線數據搬遷服務。我們先來看一下阿裏雲存儲的產品係列。

支撐海量互聯網應用的對象存儲OSS

阿裏雲對象存儲OSS從商業化服務5年多以來,已經逐漸成為了中國互聯網和移動互聯網的存儲基礎設施。親寶寶作為如今國內最大的親子空間,幫助父母記錄孩子的成長故事,也記錄著OSS一路的發展。在OSS成立之初,親寶寶這個APP就生長在雲上,5年過去了,不僅親寶寶這樣的APP在阿裏雲OSS上發展壯大,新浪微博,映客,億方雲,華大基因,安諾優達,陌陌,努比亞手機等知名企業也紛紛采用阿裏雲OSS作為數據的存儲。

OSS的全稱是Object Storage Service, 提供簡單的網絡訪問接口(RESTful API),可以隨時從網絡上的任何位置,任何時間,來讀寫任意數量的數據。同時OSS是一個全托管的服務,提供安全、容量和性能的擴展性,容災等服務能力,使得用戶可以聚焦在自己的應用邏輯上麵。 OSS提供豐富和強大的安全訪問機製,通過安全靈活的授權訪問控製,提供安全穩定的互聯網或者專有網絡的訪問能力。互聯網上的設備,雲上的服務器,Web瀏覽器以及分散在世界各地的CDN節點都可以通過OSS對外的HTTP/HTTPS的訪問接口來寫入,讀取和操作自己的數據。憑借3+N的多線BGP接入能力和穩定出色的係統訪問延遲,OSS受到了像新浪微博,映客,陌陌等大型移動互聯網APP的青睞,作為源站向全世界提供服務。

圖片描述

阿裏雲對象存儲OSS依托高性能的阿裏雲數據中心網絡,以及豐富的與開源計算係統和阿裏雲自研的計算係統的集成,提供了方便,簡單,和經濟劃算的數據分析和加工能力。OSS是中國第一家被官方Hadoop社區接納為缺省的對象存儲文件係統;意味著全球所有的Hadoop生態的離線、交互、數據倉庫、深度學習等程序在不需要改代碼的情況下,自由讀寫OSS的對象存儲。開源的分布式內存文件係統Alluxio原生支持OSS,讓存儲在Alluxio內存文件係統中的數據可以使用OSS來作為持久化存儲介質和數據交換平台。

阿裏雲的E-MapReduce產品中的Hadoop組件也直接使用OSS作為存儲後端進行數據存取。阿裏雲的MaxCompute計算平台通過阿裏雲內部Tb量級的網絡通道,對OSS的數據進行分析和加工。阿裏雲的機器學習平台PAI,並行處理數據倉庫服務HybridDB等產品也都和OSS存儲聯通。阿裏雲不僅投入了大量的資源來建立高帶寬低延遲的數據中心物理網絡,軟件棧方麵,我們也進行了大量的優化:QoS的管理和支持,前後端流量的管理,最小化通信庫的軟件開銷,數據中心網絡傳輸擁塞技術優化等。 通過豐富的計算和分析能力,一流的數據中心網絡,以及高性能的數據訪問,OSS係統成為共享的數據湖,一份數據被多種計算係統共享,達到存儲與計算解耦的效果,使得資源的利用率最大化。

圖片描述

阿裏雲對象存儲OSS提供標準(Standard),低頻(IA:Infrequent Access)和歸檔(Archive)三種存儲類型,全麵覆蓋從熱到冷的各種數據存儲場景。作為OSS的特色,第一,提供了生命周期(Lifecycle)的自動管理,根據用戶設置的策略在不同類型之間進行自動轉化,節省用戶的存儲成本和管理成本。第二,統一的RESTful接口來訪問不同類型的OSS存儲,即使一個文件的存儲類型通過Lifecycle自動進行了改變,應用程序不需要修改。其他存儲廠商通常要求使用不同的接口來訪問不同的存儲類型。第三,歸檔存儲的解凍時間小於60秒,不同於其他存儲廠商需要若幹小時。

圖片描述

不僅如此,在繁榮的多媒體行業的催生下,OSS在對象存儲的基礎上,發展了自己的特色API能力,通過提供一站式的圖片處理功能,RTMP協議支持,APPEND追加寫入等功能,形成了圖片社交解決方案,直播推流解決方案,短視頻解決方案,雲相冊解決方案,讓移動互聯網APP的開發周期大大縮短。

不斷挑戰性能和成本極限的塊存儲Block Storage

阿裏雲提供了多種形態的塊存儲產品,滿足日益多樣化的用戶需求。首先,阿裏雲的塊存儲服務為雲服務器ECS提供低時延,持久性和高可靠的數據塊級隨機存儲。塊存儲支持在一個可用區內多副本的方式來提供高可用和高可靠的數據讀寫。根據不同應用場景的需求,阿裏雲提供了七種類型的塊存儲產品:SSD雲盤/高效雲盤/普通雲盤,SSD共享塊存儲/高效共享塊存儲,本地SSD盤和本地HDD盤。針對傳統政企/金融客戶的核心業務數據庫高可用架構上雲場景,推出了共享塊存儲產品,提供支持多台雲服務器並發讀寫訪問的共享塊設備,配合多網卡和部署集功能,實現Oracle RAC的輕鬆上雲。

同時也提供快照,加密,彈性容量管理等高級數據服務功能。單個雲服務器數據盤掛載數量也從4個提升到16個,提供更多單機容量和更高並發讀寫性能。

其次,阿裏雲提供本地盤存儲,專為對存儲 I/O 性能有極高要求的業務場景而設計的存儲產品。譬如在大型數據庫業務場景下,具備每秒數萬至數十萬次低延遲隨機讀寫能力,在 Hadoop/大數據等業務場景下,具備高達數 GB 的順序讀寫吞吐能力。阿裏雲存儲團隊針對NVMe接口的SSD開發了基於SPDK的高IOPS並發、低延時的本地SSD型實例i1,單機隨機IOPS高達48萬,延時為微秒(us)級別,使得在雲上運行MySQL/Cassandra/HBase/MongoDB的用戶獲得超過自建物理機的IO性能。為了滿足泛互聯網行業、金融、電商、政企等行業等搭建大數據存儲與計算分析平台的要求,阿裏雲在2017年還推出了ECS大數據型實例d1/d1ne,選用高性能企業級6TB SATA硬盤,單GB存儲成本降低97%(相比於SSD雲盤),單實例最大5GB/s存儲吞吐能力,可有效縮短HDFS文件讀取和寫入時間。

基於阿裏雲第二代Apsara vSwitch技術技術,在25GE組網環境下,d1ne實例最大可提供35Gbps網絡帶寬,滿足大數據分析節點間數據交互需求(譬如MapReduce計算框架下Shuffle過程),縮短分析任務整體運行時間。

向傳統與新興科技同時發起衝擊的新一代文件存儲NAS

相對於OSS在互聯網存儲上的流行,共享文件存儲NAS在非互聯網企業轉型上雲過程中發揮著巨大的作用。阿裏雲選擇通過公共雲NAS的方式來撬動新型行業數據上雲,推動非互聯網企業業務升級。與傳統的NAS不同,阿裏雲NAS既具備了數據高可靠、完整性、完全托管服務,麵向容錯的設計和按量計費等雲存儲的特性;也具備線性擴展scaleout能力和豐富的安全控製和管理能力。 與微軟Azure File僅支持CIFS/SMB協議和AWS EFS僅支持NFS協議不同,阿裏雲NAS同時支持CIFS/SMB和NFS協議,也是全球唯一一款雲上同時支持CIFS/SMB和NFS協議的雲上NAS係統,更好地滿足Windows和Linux的雲服務器對高效共享文件存儲的需求。

阿裏雲NAS分為性能型和容量型兩種。性能型NAS采用全SSD的介質,滿足I/O密集型應用的需求。容量型NAS采用混合存儲的方式,寫路徑通過SSD,讀路徑從HDD,在不降低寫性能的前提下,提供經濟實效的 PB級共享文件存儲。然而,僅僅滿足支持企業用戶文件存儲的需求,並不是阿裏雲做NAS的唯一目的。在Docker、HPC等全新應用的推動下,如何為計算節點提供高可靠,高彈性,高性能,多共享的文件係統已經成為NAS領域的一個新的挑戰和趨勢。

在2017年5月的成都雲棲大會上,阿裏雲發布了行業性NAS Plus,首先向廣電領域發起了衝擊,NAS Plus是雲上首個支持廣電級別非編的NAS產品,針對廣電收錄係統並發路數多,順序寫性能要求高的特點,滿足製作係統高帶寬,低延遲,以及隨機讀性能要求高的要求,NAS Plus做了性能上的全鏈路優化,並且與合作廠商華棲雲進行了深度合作,在防火牆技術、Hardlink跨卷共享、智能拚接以及幀級共享,快速檢索等方麵做了深度優化。在與企業中高端NAS的PK中,阿裏雲的NAS係統全麵超出。

NAS Plus不僅僅是針對廣電的定製化版本,而是開創了一種模式,與行業的深度整合能夠給客戶帶來數量級上的體驗改進。NAS Plus不僅僅可以用於廣電,也可以用於基因、渲染、機器學習等領域,並且能夠與行業的使用方法做深度的整合。

高可用的海量結構化/半結構化數據存儲-表格存儲TableStore

海量結構化和半結構化數據則可以使用表格存儲。表格存儲在2011年開始在阿裏巴巴內部使用,為阿裏雲郵箱、大數據分析MaxCompute、雲OS等提供了海量元信息的存儲與實時訪問,每天承接著數百億次的API調用訪問。

表格存儲底層使用了分布式共享存儲技術,通過自動分區Partitioning機製和特有的自動負載均衡Load Balance機製,在數據規模與訪問並發上具有極好的擴展性。單表可以在無人工介入的情況下輕鬆擴展至PB級數據量與千萬級QPS的訪問能力,其高並發低延時的特點也使表格存儲在2014年正式對外商業化之後迅速在社交、金融風控、電商交易、日誌監控、物聯網等行業獲得了大量用戶的青睞。

針對不同的應用需求特點,表格存儲提供了高性能與容量型兩種實例規格。對讀寫性能敏感的社交、遊戲、金融風控等場景可以使用高性能實例,高性能實例采用全SSD介質,在保證3份數據強一致性的情況下,提供個位數毫秒級的訪問延時。而容量型實例則采用特有的混合存儲介質,在不降低寫性能的情況下提供更具性價比的數據存儲及訪問成本,適用於日誌監控、物聯網時序數據存儲等對讀性能不敏感但對成本較為敏感的業務。

不僅如此,表格存儲針對特定的行業應用也推出了一些特有的功能,例如針對社交IM場景推出了主鍵自增列功能,去掉了IM係統中對第三方自增ID生成器的依賴,簡化IM係統的架構設計,大大提高了係統的響應並發。自有的增量Stream功能,配合阿裏雲的函數計算和阿裏雲流式計算,能夠很好地同時滿足海量結構化數據的存儲與實時計算的需求。與MaxCompute、ADS以及Hive、Spark的數據打通,也真正兼顧了海量結構化數據的存儲與分析的應用場景。

圖片描述

傳統IDC數據上雲的加速器-混合雲存儲

隨著雲存儲的興起,以及原有線下存儲廠商開始向雲靠攏,混合雲架構已經被越來越多的客戶接受。混合雲把公共雲和客戶內部的IT環境整合為在性價比和安全性上更優的解決方案。而混合雲存儲的關鍵在於連接和傳輸,阿裏雲針對連接,易用性和傳輸在2017年連續推出了一係列混合雲的產品組合,包括雲存儲網關,混合雲存儲陣列,備份服務,容災恢複服務,和閃電立方數據搬遷服務。

雲存儲網關是一款可以在線下和雲上部署的軟網關,以阿裏雲上的OSS作為後端存儲,可在企業的內部IT環境和基於雲的存儲基礎設施之間提供無縫、安全的集成。雲存儲網關支持標準的NFS和CIFS協議,支持VMWare/KVM/HyperV環境部署,提供本地緩存模式,讓本地存儲與雲的鏈接具有更好的互操作性和性能。

而混合雲陣列則是阿裏雲混合雲存儲戰略的重中之重。混合雲陣列讓您可以像本地存儲一樣使用和管理本地和雲端的各種存儲資源(塊、文件和對象),本地存儲通過雲緩存、雲同步、雲分層、雲備份等方式無縫連通雲存儲。混合雲陣列不僅可以作為傳統存儲與雲的連接器,而且因為混合雲陣列的高穩定性和性能,支持雙控機頭的模式,在一些場景下也可以直接替代傳統存儲成為混合雲中的一級存儲。

圖片描述

備份和容災恢複服務是大量企業需求的混合雲存儲服務。雲存儲網關和混合雲陣列能夠幫助數據上雲,同時也能夠讓雲上和雲下形成災備機製。用戶本地的虛擬機鏡像備份,數據庫備份以及應用備份,通過運行混合雲陣列上的災備服務,能夠靈活的配置在雲上的備份策略和備份周期,並且通過在雲上進行與彈性計算服務的結合,在用戶本地IDC發生故障時可以自動或手動的進行切換。

當用戶在本地機房有PB量級的數據,需要在短時間內進行遷移時,離線數據搬遷能力顯得尤為重要,阿裏雲推出的閃電立方產品,單台一次支持480TB的遷移能力,且可橫向拓展,利用多台設備可以同時遷移PB級別的數據,使得海量數據快速上雲成為可能。除了加速數據遷移的速度,整體費用與專線方式對比,也降低60%以上。

世界先進的分布式存儲技術-盤古

阿裏雲的雲存儲產品都擁有一個公共的底層存儲平台,叫做盤古。阿裏雲在2009年成立之初就開始了盤古分布式文件係統的研發,經過多年的發展,盤古文件係統已經能夠支持塊存儲雲盤、對象存儲、文件存儲、大規模數據處理、數據庫等各種複雜場景,並且針對離線和在線等不同場景做了精細的優化。

在機器規模達到上萬台時,硬件故障的發生不僅無法避免,而且成為了每時每刻都會發生的常態,磁盤損壞,機器宕機,網絡設備故障,網絡隔離,機房斷電,運維故障等頻繁發生。在一個多租戶環境下,資源也變成非常難以預估,網絡阻塞,後台任務,請求的突變,多租戶任務的爭搶,在線離線的爭搶,負載熱點等也會頻繁出現。盤古文件係統從第一天設計開始,就遵循下麵兩點設計目標: 
• 基於不可靠的資源打造一個可靠的整體 
• 基於無法預估的資源打造可以預測的整體

盤古具備下麵的技術特色: 
• 單機群達到萬台規模 
• 管理EB級別的存儲空間 
• 統一的全局名字空間管理 
• 名字空間的管理和存儲空間的管理分離 
• 統一的不同存儲介質的智能數據分布和遷移 
• 支持離線和在線應用混跑 
• 支持多種訪問方式:順序,隨機,數據流,記錄流 
• 數據中心級別的可用性保障,地域級別的容災

高可靠高可用可擴展的元數據管理- 盤古Master

盤古采用基於Paxos協議的盤古Master來管理元數據, 通常配置為5個實例,可以同時容忍兩台機器出故障。采用Paxos一致性協議,保證了高可用和快速切換的能力,減少了外部的依賴,做到了獨立自包含,在保障高穩定性和高性能前提下能夠容忍複雜故障。 支持按照Namespace來分區, 支持EB級別容量和萬億級別文件數的線性擴展能力。

數據的可靠性和高效訪問 – 盤古ChunkServer

ChunkServer負責管理存儲空間和數據讀寫。首先,ChunkServer支持分級存儲,針對不同的存儲介質如NVMe SSD, SATA SDD, HDD等,根據相關配置的策略,把數據寫入對應的存儲介質,同時支持基於策略的遷移。比如說在混合存儲雲盤,數據先寫入來自三台不同機器的SSD盤後就返回,後台異步地將數據遷移到HDD盤。

其次,ChunkServer采用了一係列技術來提供穩定的性能:1)服務分級,對請求隊列和網絡流量設定不同的優先級;2)管理好昂貴的後台活動;3)熱點負載平衡;4)增加副本來應對重度使用的數據;5)緩衝來加速;6)備份請求(Backup Requests) 來規避慢盤等。這些技術的本質目標就是基於無法預估的資源來打造可以預測的整體,提供穩定的性能,通常用99.9%分位和99.99%分位的性能來表征。

第三,數據可靠性(Durability)和完整性(Integrity)是盤古的生命線。每一份數據成功地寫入三台不同的機器(來自不同的可用區,或者不同的機架)後才返回。而且自動巡檢係統不停地檢測不可用的副本,一旦出現,自動地及時複製,使得每一份數據任何時刻至少有2個及以上的副本,提供至少10個9(11個9如果是多可用區)的可靠性。盤古係統也提供端到端的數據校驗,上層的雲存儲產品提供數據的CRC,盤古在落盤的時候進行校驗,並且把CRC和數據一起寫入磁盤。後台任務也一直巡檢,檢查存儲介質可能出現的位跳變(bit rot)錯誤,一旦發現和寫入的CRC不符,找到正確的副本,重新複製一份新的副本。

第四,全自動的健康檢查和主動規避低性能的機器和磁盤。在盤古所管理的成千上萬的機器中,總是會有已經出現了健康問題的磁盤和機器,盤古文件係統根據線上曆史上所有的運維操作和硬件故障做了機器學習,自動地將這些盤和機器過濾出來,進行慢盤規避,磁盤打分下線和機器調整,把隱患提前解決。

第五,支持多種訪問方式並極致硬件的能力。在線訪問追求低延遲,而離線訪問追求高吞吐。盤古文件係統既要滿足低延遲的在線訪問,也要滿足大並發大吞吐的離線訪問,而傳統的多線程係統在線程較多時,切換代價非常高。盤古文件係統從端到端采用協程的方式設計,使得在多任務的情況下,使用盤古文件係統的效率極高。內核態和用戶態切換是另一個主要軟件開銷來源,盤古采用類似SPDK輕量級用戶態文件係統來訪問單機的磁盤,減少切換。高性能通信庫和QoS是另一個重要的方麵來提高存儲的性能和資源的使用效率。

全球第二家雲廠商支持跨多可用區的存儲係統

盤古文件係統在生產係統中采用跨多可用區部署的方式,經典的模式是支持橫跨三個可用區,每個可用區距離30公裏到50公裏。無論是三副本還是EC(糾刪碼)副本,都是均勻分布在三個可用區內。任何一次寫入都在三個可用區數據落盤後才會返回客戶成功。由於各可用區的數據中心有獨立的供電,網絡和冷卻係統等,跨多可用區的存儲提供了數據中心級別的容災能力,在任一可用區完全不服務的情況下,整體服務無縫切換,數據無任何丟失。跨多可用區對阿裏雲內部核心骨幹網絡的要求非常極高,端到端的延遲要求在穩定1毫秒以內,並且有Tb級別帶寬能力。阿裏雲投入了大量的資源來建設高容錯能力和高性能的多可用區互訪的內部核心骨幹網絡。

圖片描述

存儲無法計算的價值

為億萬網民提供基礎服務

2016年雙十一,淘寶交易額高達1207億,其實背後是大數據的支撐和阿裏雲計算的能力的體現。和最高峰值每秒17.5萬筆交易相比,淘寶APP和網站經曆的流量和訪問次數就比這個數字要高百倍以上了。而淘寶APP和淘寶主站上的所有圖片和視頻都存儲在阿裏雲OSS之上,這背後是OSS整個鏈路低延遲和高穩定性帶來的流暢體驗。

圖片描述

這就不難解釋為什麼新浪微博從2016年開始也把圖片數據放在了阿裏雲OSS上。2015年,李晨與範冰冰在新浪微博上曬出合影並配文:“我們”,創造了兩小時閱讀量超過1000萬次的記錄,促成了新浪微博與阿裏雲史上最大規模的混合雲合作,當流量激增導致的脈衝式訪問,要保證係統的穩定性和服務的正常運轉,除了實時擴容之外,就是保證後端係統在高壓力下的延遲和穩定。2017年春節,新浪微博的Feed,廣告,搜索,話題,視頻,直播,手機微博,圖片等多個核心業務係統部分遷移到阿裏雲平台,除夕期間的“紅包飛”業務則100%架構在阿裏雲上。新浪微博核心業務之一圖床係統就架設在阿裏雲OSS之上,並且根據用戶使用終端的不同,所有的圖片需要進行實時的縮放和質量調整,為新浪微博在不降低用戶體驗的情況下,大幅的降低了流量,節省了成本。

存儲牽手計算造福社會

2016年10月,阿裏雲計算與中國科學院國家天文台達成了戰略合作協議,並與2017年1月成立了天文大數據聯合研究中心。中國虛擬天文台主節點成功遷移至阿裏雲,成為一個集成超過500TB科學數據、1.5PB存儲能力、700多Tflops計算能力和100多種軟件的天文數據庫與綜合服務部門,其中包括我國自主研發的郭守敬望遠鏡(LAMOST)巡天數據,從2009年開始做觀測,到現在已經累計了800多萬的天體光譜數據,是全世界最大的全體光譜數據庫,而LAMOST的數據,經過天文台研究和技術人員評估論證,放在了阿裏雲OSS上。不僅因為OSS的高可靠性,高性價比和易用性,更多是考慮到阿裏雲計算節點與OSS之間的連通性和高可訪問性。

我們經曆的每一次地震,都在提醒自己預測和預警這種災害的迫切性,但是,我們離這個目標還很遠。為了更好的認識地震這一物理現象,需要極其詳細的地殼結構影像,而為了繪製這張地下地圖,需要有詳盡的數據計算,中國地震局在長期的觀測積累中,已經積累了PB量級的數據。中國地震局的研究員如果使用地震局的單機設備對這些數據進行一次相關性計算,大概需要七年的時間,而使用阿裏雲批量計算和雲存儲OSS,同時調度阿裏雲上萬核的資源以及存儲係統Tb量級的吞吐能力,將需要耗時七年的計算任務在48小時之內跑完了,這些計算的結果成為科學研究所依賴的重要數據。

解析一個人類基因組,包含100-1000GB的數據量,如何及時獲取、快速分析、安全存儲這些龐大的數據是亟需解決的問題。單獨建設一套計算和存儲的係統會帶來昂貴的維護成本,也需要漫長的時間才能完成一次大規模的基因組學分析。2016年4月20日,基於華大基因開發的新一代基因雲計算平台BGI Online,在21小時47分12秒內完成了1000例人類全外顯子組數據的分析,即使使用傳統的本地高性能計算中心也需要4-7天,而BGIOnline 正是基於阿裏雲的ECS和雲存儲OSS、NAS和塊存儲完成了這一壯舉。

最後更新:2017-09-01 12:02:51

  上一篇:go  【業務不裸奔係列】10秒創建本地健康檢查
  下一篇:go  億級流量電商詳情頁係統實戰:緩存架構+高可用服務架構+微服務架構