當計算停留著網格內 Mellanox用智能網絡助跑AI

隨著大數據、人工智能和高性能計算的熱度不斷升溫，Mellanox的身影開始出現在越來越多的場合中，其高性能網絡被越來越多的用戶采用。不論是國外的微軟、IBM、Facebook，還是國內的騰訊、阿裏巴巴、百度、京東等大型互聯網企業均選擇Mellanox以太網或InfiniBand網絡搭建高性能的IT係統平台。

作為RDMA（遠程直接內存訪問）技術的推動者，Mellanox一直以提供出色性能的網絡著稱，50%以上的HPC係統和主流人工智能公司均采用其RDMA網絡（包括InfiniBand和RoCE）。近日由國際高性能計算谘詢委員會主辦的第五屆大學生RDMA編程挑戰賽落幕，作為重要的支持企業，Mellanox在接受至頂網采訪時重申了RDMA的魅力以及Mellanox網絡被越來越多用戶青睞的原因。

當計算停留在網格內

熟悉了TCP/IP的人也許對RDMA感到陌生，其實RDMA作為一種零複製網絡技術使網卡可以直接與應用內存相互傳輸數據，並且應用程序可以訪問遠程內存，而不占用CPU資源。InfiniBand則是最早實現RDMA的網絡協議，被廣泛應用到高性能計算中。除此外，RDMA的實現方式還包括RoCE和iWARP。近期，阿裏巴巴和百度相繼采用Mellanox RDMA以太網（RoCE）構建高性能係統。

Mellanox亞太及中國區市場開發高級總監劉通

Mellanox亞太及中國區市場開發高級總監劉通表示，RDMA是解決人工智能時代數據傳輸瓶頸的最高效網絡傳輸協議。無論是傳統的高性能計算應用還是新興的深度學習框架，RDMA通信方式都是其中的關鍵環節。

Mellanox公司市場部副總裁Gilad Shainer

RDMA所代表的技術體係是CPU卸載，Mellanox公司市場部副總裁Gilad Shainer指出，這也將是未來雲發展的趨勢，即讓計算更靠近數據，數據在網卡裏完成計算，Mellanox稱其為網絡內計算（In-Network Computing）。

2年前，Mellanox收購EZchip半導體公司，融合了其ARM CPU技術，加之Mellanox自己的網絡芯片，從而把兩者整合起來推出一款新的智能網卡為BlueField。“讓網絡具備計算能力和強大的數據處理能力，無論是加了FPGA還是加ARM CPU，總之這個網卡自己就會處理很多數據。”Gilad Shainer表示，數據一到網卡就已經處理完畢，而不必再經過PCIe到CPU，從而提升數據的運算效率，這就是BlueField所具備的能力。

如果說此前，Mellanox所倡導的“網絡計算一部分數據、CPU計算一部分數據”，代表了Mellanox的CPU卸載技術理念，那麼網絡內計算則更近了一步，即讓網絡完成了大部分計算。Mellanox認為這種智能網卡將成為未來雲計算中心的發展趨勢。

Gilad Shainer說到智能網卡幾個典型的應用領域，比如高速存儲，利用NVMe over Fabrics的存儲資源池化解決方案，Mellanox智能網卡可以卸載很多NVMe的通訊協議，從而構建大型存儲資源池，實現更低的延遲和更高的性能，滿足用戶對高性能存儲的需求。

智能網卡應用在安全場景也將是其施展拳腳的另一大領域，“把CPU上做的安全算法移到高速網絡上麵去，讓智能網卡做安全，它的安全控製力更強。也就是當數據到網卡這一層，其中惡意流量就已經被攔截。BlueField上麵有ARM CPU，可以編程一些複雜的安全算法。”Gilad Shainer說。

在Mellanox看來，智能網卡會在雲計算中心大有用武之地，Mellanox的網絡無論是性能還是卸載能力，再加上ARM芯片，兩者結合起來會讓BlueField在雲市場十分具有競爭力。

Mellanox InfiniBand不是貴的代名詞

很多人提到RDMA，可能會給它加上“昂貴”的標簽。說到這，就不得不提英特爾的Omni-Path，近年來英特爾對Omni-Path進行大力推廣，其提到的關鍵詞就是“質優價廉”，特別是和Mellanox相比。不過Gilad Shainer卻不認同，他用現實案例向記者介紹Mellanox的InfiniBand最終成為用戶的選擇，即使很多用戶曾經選擇過Omni-Path。他以BP英國石油舉例，去年BP采購1000節點的集群，其中700台為Mellanox InfiniBand網絡，300台為英特爾Omni-Path網絡。但是經過1年的試用，今年再采購新係統時，BP已經完全不考慮Omni-Path了，而是變成完全采用InfiniBand。

“因為BP測試出，Mellanox網絡的係統性能是Omni-Path的2.5倍，這就意味著它其實完全沒必要花那麼多錢去買那麼多的CPU。完成同樣的任務，Mellanox的InfiniBand對它來講整套係統部署的成本更低，而不是單獨去考慮網絡本身的價格。”在Gilad Shainer看來，用戶是很聰明的，他考慮的是整體的投資回報值不值得，所以最後BP切回InfiniBand，其實是省了總體成本。

不過，在性能方麵，英特爾和Mellanox卻是各說各話，英特爾說它的網絡性能跟Mellanox的網絡是一樣甚至超越後者，所以價格更便宜。不過Mellanox一直回擊，Gilad Shainer指出，“英特爾講到的網絡的性能跟我們差不多、價格更便宜，但是其所對比的Mellanox性能都遠低於我們自己測試的性能。”

“拿實際應用程序的性能做一個基本的標杆進行對比，我們的性能會在8個節點到16個節點超出Omni-Path 40%、50%、70%甚至翻倍，所以這是非常大的區別。”Gilad Shainer說，簡單比較帶寬、延遲，雙方也許差不多，但是如果真的拿應用程序比，我們的優勢還是非常非常明顯的，這是Mellanox向市場傳達的聲音。

Gilad Shainer甚至說，如果隻是簡單地看Linpack測試對用戶來講都是一種誤導，隻有跑在不同類型的應用程序上，數據才有價值。

當然，各種測試和數據也許搞得用戶有點懵，不過Mellanox倒是希望用戶拿去做實際應用程序測試，能夠正確使用最優化的MPI，比如Mellanox 提供的HPC-X MPI。Mellanox會免費提供產品和技術支持。

小結

實際上拋開產品競爭的因素不說，今天的市場給了以Mellanox為代表的智能網絡企業非常大的機遇。人工智能發展到今天，計算力是重要的驅動力， AI既然對計算的要求高，必然是Mellanox發揮重要價值的一個用武之地。實際上，目前已有大量先進的深度學習框架（如TensorFlow、Caffe2、Microsoft Cognitive Toolkit 和百度 PaddlePaddle）借助Mellanox的智能卸載功能，為多台人工智能服務器提供世界領先的性能和近線性擴展能力。

隨著未來人工智能在雲上大量應用，那就意味著高性能的網絡會在AI雲上大量被采用，這對於Mellanox及智能網絡技術都是一個全新的機會。

原文發布時間為：2017年11月7日

本文作者：陳廣成

本文來自雲棲社區合作夥伴至頂網，了解相關信息可以關注至頂網。