安全、穩定、數據0丟失 | 金融雲遷移,袋鼠雲解鎖新姿勢
一、客戶金融雲遷移背景
金融行業上雲之困
在講述袋鼠雲這次的金融雲遷移服務案例之前,首先需要和大家聊聊,金融行業獨有的上雲痛點和難點。
2016年7月,銀監會向社會公開征求對《中國銀行業信息科技“十三五”發展規劃監管指導意見(征求意見稿)》的意見,其中把開展雲計算應用作為金融機構主動實施架構轉型的主要手段。
但是相比其他行業,金融行業對雲計算平台的要求非常苛刻,服務金融行業的技術必須具備相當高的可靠性,以及針對業務和數據的安全性。
所以,盡管目前已有數家大型銀行、證券、保險機構上雲,但是眾多金融企業對上雲扔持觀望態度。
根據和金融行業客戶的溝通、交流,袋鼠雲了解到:“金融企業暫時沒有上雲,並不代表他們不Care,相反他們非常想上雲。對他們而言,上雲已然成了金融企業跟上DT時代步伐最迫切、也最至關重要的一步,也隻有這樣,才能把交易,服務,連接,決策,分析,智能,核身,信任,體驗等環節打通”,才能緊跟大數據、人工智能等最新的技術潮流,實現互聯網轉型,提升企業競爭力。
從公共雲遷移到金融雲
安全性、穩定性、數據0丟失,成客戶關注核心
客戶(注:袋鼠雲嚴格保密客戶相關信息,本文內容已脫敏)是一家專業的互聯網金融機構,前期所有服務都運行在阿裏雲公共雲上,近期國家對互聯網金融機構頒發了新規,支撐互聯網金融服務的雲環境必須要符合等保四級標準;同時,用戶的業務運行在經典網絡環境下,相比於VPC網絡環境,如果客戶操作不當,服務器很容易存在被掃描入侵,病毒感染,數據勒索等諸多安全風險。
基於以上原因,為了符合國家規定,同時保護企業自身資產安全以及用戶信息安全,客戶便決定開啟從公共雲到金融雲的遷徙之路。
阿裏金融雲
隻為構建安全穩定的雲上堡壘
阿裏金融雲按照人民銀行和銀監會的合規標準建設,滿足了公安部雲計算等級保護等四級的要求,作為為金融行業提供量身定製的雲計算服務,具備低成本、高彈性、高可用、安全合規等特性。
阿裏金融具體特性如下:
圖一
二、從日落到日出,記袋鼠雲和客戶激情奮戰的夜晚
攻堅第一戰
雲上網絡環境,如何實現金融級別的安全性?
那就是為客戶量身設計高度安全等級的金融雲VPC網絡。
用戶當前網絡環境痛點:
-
使用經典網絡,如果網絡規劃與配置不嚴謹,相比於VPC網絡環境,它存在的網絡安全風險更高。
-
一種服務對應跑在單台ECS上,服務高可用無法保障;同時應用直接通過ECS的公網IP對外提供訪問,使服務器直接暴露在公網,容易被攻擊;
-
ECS數量60+,服務器IP隨機分配,無規律,難管理;
-
日常運維,開發直接通過服務器公網IP登錄操作,無任何操作審計和訪問控製;
-
經典網絡環境下安全組策略需要配置4個方向的策略,配置管理複雜,容易出錯;
我的天!這麼多問題,不擔心被網絡安全管理部門貼小標簽麼?
當前網絡環境存在的這些問題讓客戶很抓狂,客戶急需解決這種混亂而不安全的局麵,據此,袋鼠雲雲服務專家幽蘭強烈建議在金融雲上使用VPC網絡,重新規劃設計整個業務係統的網絡架構。
如下:VPC網絡架構圖
圖二
如上圖,我們根據用戶的當前業務場景,在金融雲VPC環境下,自定義規劃了一個較大的局域網,與經典網絡相比,該網絡設計具備以下一些優勢:
-
入口訪問方式統一,使用公網SLB對外提供業務訪問,不對外暴露後端ECS。
-
公網出口統一,內部ECS需主動出公網訪問第三方服務,使用NAT網關,對內部ECS統一進行地址轉換,無需為每台ECS分配EIP同時使用共享帶寬包,節約帶寬成本。
-
網絡環境完全隔離,VPC環境下各租戶之間網絡為二層隔離,相比於經典網絡下的三層隔離更加安全可靠。
-
IP網段可管理,VPC環境下,私網IP段完全自定義。可以像線下環境一樣,我們可以根據服務器的職能劃分web服務,APP服務,DB服務等對應的IP段。
-
運維入口統一,在VPC下劃分一個“管控區”,在這個區域裏麵使用VPN服務,堡壘機服務。使用VPN打通網絡連接,使用堡壘機對日常運維進行審計和控製,讓VPC環境下所有的主機隻有通過VPN,通過堡壘機才能登錄,其他不規範的登錄方式都被拒絕。
-
簡化安全組策略,在ECS數量等同的情況下,經典網絡的主機有四個方向(公網出/入,內網出/入)的策略配置,而VPC環境下隻有兩個方向(內網出/入)。同時我們通過上麵的服務分類分組後,可以直接基於安全組之間進行策略開通,而不是基於主機之間來分配策略,這樣安全組策略條數就會明顯降低,管理更加簡單。
如下圖:
圖三
攻堅第二戰
雲上金融服務,如何實現高可用?
前麵講到客戶在經典網絡下很多應用服務都是運行在單可用區而且是單台ECS上,這種架構存在單點故障,同時沒有容災機製,對於金融行業來講肯定是不符合規範的。為了解決這些架構問題,在金融雲上我們必須考慮高可用與容災機製,來提升服務的穩定性和可用性。
如下圖:
圖四
如上圖所示,我們在金融雲上將整個架構拆分成web服務層,APP服務層,數據服務層這樣一個三層架構模式,每層都支持在線橫向擴容,以便於應對後期業務的快速增長。為每種服務配置多台ECS服務器,將其分配到多可用區,這樣保證了服務的高可用性,同時也具備服務同城容災的機製;在數據庫層,RDS數據庫在金融雲環境下默認具備同城容災和高可用性,我們直接使用便可。通過上麵的應用架構改造,徹底幫助客戶解決了原有經典網絡下存在的一係列痛點。
攻堅第三戰
TB級海量數據,如何做到遷移0丟失?
-
經過前麵的各種設計和規劃後,接下來我們該怎樣把公共雲的這些業務係統,數據搬到金融雲呢?
在阿裏雲上應用遷移,有兩種方式,一種是使用鏡像的方式,即將現有的應用服務做一次鏡像,然後將該鏡像遷移到金融雲。另外一種是使用重建的方式,即在金融雲環境下重新部署應用環境便可。
根據客戶現有的情況不宜使用鏡像方式遷移,因為ECS數量多,鏡像容量太大,傳輸時間長;另外金融雲應用服務架構發生變化,需要對源鏡像進行很多修改。所以推薦使用重新部署會更方便快捷。
-
應用環境搭好了,客戶的5TB+應用數據該如何遷移到金融雲?
別擔心,自有神器助你!
用戶有5TB+的OSS數據也需要搬到金融雲,幸好,阿裏雲提供了OSSimport神器來幫助我們,遷移流程如下:
圖五
-
如上圖所示,我們首先在金融雲VPC下購買一台ECS(中轉服務器)並關聯EIP,
-
在ECS上,安裝OSSimport工具,
-
在公共雲和金融雲上授權子賬號權限,
-
在金融雲上創建好bucket,
-
在OSSimport的任務配置文件中配置遷移的源和目標AK信息,源和目標bucket地址和名稱,提交任務便可。
OSSimport工具會自動幫我們去核對源和目標數據是否一致(通過對比文件的大小,時間等meta信息和CRC校驗結果來判斷),將不一致的文件或傳輸失敗的文件都詳細的記錄在log中,便於我們查看和重試。另外他還支持增量傳輸(通過Unix時間戳大小來設置),斷點傳輸等功能。
OSSimport 工具支持的遷移場景遠不隻是阿裏雲之間的遷移,它還支持將百度雲、騰訊雲、青雲、又拍雲、線下IDC等環境下的數據遷移到阿裏雲OSS上。
-
借助DTS,500GB的DB數據遷移不再難
我們怎樣將用戶環境下超過500GB的RDS數據,並且同時有MySQL,MongoDB等多種類型數據庫數據遷移到金融雲?像這種大數據量的遷移,數據是否會丟失,以及源和目標庫數據是否會不一致?數據遷移完成後我們又該怎樣去校驗?
功能強大的DTS法寶,幫我們解決了上述的諸多難題。它支持雲上跨地域,跨雲平台等場景,在不停數據庫服務的情況下幫助用戶快速、方便的實現各種數據源間的數據遷移工作。在遷移過程中DTS還會對數據進行一致性校驗來保證數據的完整性。
數據庫遷移流程如下圖:
圖六
上圖為數據庫的遷移流程,但如果是跨雲平台的情況下,例如該用戶就是從公共雲到金融雲的場景,DTS任務配置的時候就需要注意 “源庫信息” 的選擇,此處必須選擇 “有公網IP的自建數據庫” 否則遷移任務配置會失敗,
如下圖:
圖七
數據庫的遷移是一個很專業的活兒,既要有DTS法寶在手,也要有專業的DBA全程護航。這樣才能在遷移過程中有坑填坑,有雷排雷。本次客戶在做金融雲遷移的過程中,袋鼠雲DBA團隊,全程現場護航,幫助用戶解決各種數據庫疑難雜症,得到客戶的認可。“這場硬仗打得辛苦,但是贏得漂亮,袋鼠雲的同學通宵了一夜,真是辛苦了”。
三、啃下硬骨頭,金融雲上無限可能
到此為止,金融雲遷移的主要困難點(如何構建安全的網絡環境,如何將應用數據,DB數據完整而無丟失的搬到雲上)就都解決了,至於其他的一些工作,例如,ECS、SLB、RDS、OSS、CDN、DNS等這些產品怎麼使用,都是比較容易的事情。
當然了,整個遷雲過程中還是有很多的坑存在,如果把它想的太簡單可能會碰壁。不過它也沒有大家想象的那樣複雜,袋鼠雲和客戶用生動真實的遷雲實踐案例證明,合理的規劃和專業的技術保障是金融雲平滑遷移的關鍵。
金融雲的成功遷移,讓該互聯網金融客戶能更好地保證自身用戶信息安全、為用戶提供更穩定的服務體驗,同時,也為客戶在雲上做大數據、智能應用的探索提供了基礎。
“指紋識別付款”、“刷臉支付”、“智能反欺詐係統”、“智能還款”...
得益於安全、便捷、低成本的雲上服務和大數據、人工智能、區塊鏈等新技術的應用,越來越多金融機構實現了金融模式創新。
在這個過程中,袋鼠雲關注金融行業需求,期待和更多金融行業客戶一起基於雲計算和大數據帶來的技術紅利,探索更多可能性。袋鼠雲相信,無論是企業,還是個人都能享受到技術變革給自身所帶來的實惠與便利。
袋鼠雲,開啟您的數據智能時代
最後更新:2017-07-14 21:02:26