IBM Platform Symphony:功能強大的高效大數據分析平台

ZD至頂網軟件頻道消息（文/鄒大斌）：隨著大數據的價值得以驗證，越來越多人的企業開始在大數據項目上進行投資，這給傳統IT基礎設施帶來相當的挑戰。眾所周知，傳統IT基礎設施大多是為特定應用而構建的，在靈活性和可擴展性上都存在明顯不足。在此背景下，人們開始尋找一種更適合大數據分析應用的IT基礎設施，而IBM Platform Symphony（以下稱Platform Symphony）正是一個可以幫助企業構建上述基礎設施的平台軟件。

作為一個企業級大數據和分析平台，Platform Symphony的一個核心優勢是，它能屏蔽底層基礎設施的複雜性，在共享底層基礎設施環境的基礎上，為上層各個不同的大數據應用提供一個多租戶的環境。同時，它還能支持Hadoop應用，允許一些基於Hadoop開發的大數據應用和一些並行計算分析應用，在一個集群或者同一個分布式基礎設施環境上運行。

以金融領域常見的交叉貨幣互換期權價值分析應用為例。為了完成這項工作，用戶需要模擬未來一段時間內本幣利率、外幣利率和外匯匯率的發展趨勢，並通過用各種不同的利率組合來計算合約在不同情況下的價值。實踐中廣泛采用蒙特卡羅路徑模擬的方式，采用這種分析方法需要模擬大量的蒙特卡羅路徑（模擬的路徑越多，其精確度越高），計算量非常大，而且耗時。如何管理集群資源，讓其並發地完成多個蒙特卡羅路徑的模擬，是一個嚴峻挑戰。通過IBM Platform Symphony構建一個分布式網格計算平台，可以幫助客戶快速部署、管理、監控資源，並保證計算的並行化，且沒有單點故障以提高可靠性，最終快速獲得所需要的結果。

 

圖1

如圖1所示，這是將交叉貨幣互換期權價值分析應用提交給係統後的結果。通過這個管理界麵，我們可以看到這個應用之下有多個會話（Sessio，每個會話就是一個任務請求）；點擊每個會話可以看到這個會話之下有多少個任務已經在運行，有多少個任務在等待資源分配；點擊一個具體任務還可以看到這個任務在哪個機器上運行。對於每個會話、每一個任務都可以隨時終止、暫停以及重啟，或者對優先級別進行調整。不僅如此，係統還提供了很多各種不同的調度策略來幫助用戶實現更高的可靠性，以及根據其服務水平要求來實現這些資源的調度，從而很好地滿足各個不同的業務部門和應用的服務水平需求。

圖2是交叉貨幣互換期權價值分析應用的整體配置情況圖。基於這些係統管理員可以了解分析應用使用的一些特點，同時也可以基於這些數據找到係統的一個瓶頸，並進行未來的規劃，比方究竟需要多少CPU資源，是否需要增加係統內存資源或者增加網絡帶寬等。

圖2

實際上，除了非常方便地調度和管理底層資源以支撐上層的這些專業的大數據分析應用之外，Platform Symphony的優勢還在於它對很多開源產品的支持，比如對Spark以及Ipython等的支持和兼容能力，其操作非常簡單，而且非常高效。

圖3是係統管理員通過Platform Symphony的管理控製台為Sarah_BU這個用戶組創建一個Spark 應用實例組，從創建實例組、部署應用實例、到為實例配置所需資源都可以在管理控製台完成，非常簡單、直觀。

圖3

圖4是以用戶（Sarah）身份進入到管理控製台基於管理員分配的資源進行配置管理，提交Spark任務並對任務進行調度和運行監控，比如，運行時使用了多少計算資源、存儲資源等。另外，還可以通過Zeppelin Notebook隨時對Spark應用的運行結果進行查詢和展現，非常方便。

圖4

圖5是在Platform Symphony的管理控製台中安裝IPython Notebook後，用默認配置啟動一個Spark的實例組和IPython，然後提交一個Spark應用。其整個操作都在同一個界麵下完成，直觀明了。

圖5

圖6是提交一個新的Spark應用，然後用IPython Notebook對應用結果進行查詢。在執行過程中，我們還可以根據需要隨時添加新的用戶進來，讓他可以使用IPython Notebook對Spark運行結果進行查詢和分析。

圖6

綜上所述，Platform Symphony為大數據分析不僅提供了強大的管理、調度和監控功能，同時還提供了很強的對開源軟件的支持和兼容能力，不

 僅讓基於Hadoop、Spark開發的應用可以在Platform Symphony中運行，同時能讓用戶可以用熟悉的開源工具，如IPython、Zeppelin等，來對運行結果進行分析和展現，極大地方便了數據的處理工作，最大化地提供了處理效率。

另外值得一提的是，與這些Spark、Hadoop等開源軟件相比，由於Platform Symphony是采用商業化的軟件模式開發的，因而在性能、時延等諸多方麵都比開源產品有明顯優勢。這也反映在一些實際應用性能測試上，相較開源軟件，采用Platform Symphony可以有一些大幅度的提高（有些可能達到數十倍），尤其是一些對時間延遲比較敏感的一些應用。

原文發布時間為：2016年1月20日

本文作者：鄒大斌

本文來自雲棲社區合作夥伴至頂網，了解相關信息可以關注至頂網。