721
專訪阿裏雲異構計算負責人：異構計算的未來，GPU、FPGA、ASIC芯片三分天下
編者按：10月11-14日，為期四天的2017杭州雲棲大會（門票火熱搶購中！）將再度在杭州雲棲小鎮起航，作為全球最具影響力的科技展會之一，本屆大會將有不少阿裏集團專家以及各企業行業領袖的精彩演講。從今天開始，雲棲社區將會對大會嘉賓做一係列專訪，想了解嘉賓以及最新議題信息請關注“雲棲大會”公眾號。今天，我們采訪的是阿裏雲虛擬化平台負責人張獻濤，他將在10月的雲棲大會上分享他對異構計算領域的理解以及未來趨勢的解讀。
在IT界，異構計算並不是一個新興的詞。
近十年來，計算行業經曆了從32bit、“x86-64”、多核心、通用GPGPU以及2010年“CPU—GPU”異構計算的變遷。而最近幾年，隨著人工智能、高性能數據分析和金融分析等計算密集型領域的興起，異構計算才突然火了起來。
因為傳統通用計算的方式已經無法滿足我們對計算能力的需求，異構計算被認為是現階段挑起計算大梁的關鍵技術，阿裏雲異構計算產品解決方案就在這樣的大環境下誕生了，這支團隊的掌舵人正是張獻濤。
張獻濤，花名旭卿，武漢大學信息安全博士，加入阿裏巴巴前，他就職於英特爾亞太研發中心，是Xen、KVM等多個開源虛擬化項目的主要貢獻者，曾擔任Xen/IOMMU以及KVM/IA64項目的Maintainer；同時，他也是Intel HAXM加速器的主要作者和貢獻者，並因此獲得英特爾最高成就獎。
2014年，張獻濤正式加入阿裏巴巴任資深專家，目前在阿裏主要負責虛擬化技術、高性能計算產品、異構計算產品、以及一些創新類型產品的技術和研發的團隊。
在這次訪談中，張獻濤分享了目前企業使用異構計算方案的痛點，他還深入介紹了阿裏雲在均衡異構計算資源所做的工作。
異構計算的機遇與挑戰
異構計算是指不同類型的指令集和體係架構的計算單元組成的係統的計算方式，目前 “CPU+GPU”以及“CPU+FPGA” 都是最受業界關注的異構計算平台。它最大的優點是具有比傳統CPU並行計算更高效率和低延遲的計算性能，尤其是業界對計算性能需求水漲船高的情況下，異構計算變得愈發重要。整個計算行業生態無一不在此發力，芯片企業投入了大量的資金，異構編程的開發標準也在逐漸成熟，而主流的雲服務商更是在積極布局，一時間，異構計算大有取代傳統同構計算之勢。
張獻濤也表示，異構計算能夠很好的滿足人工智能、高性能數據分析、金融分析等計算密集型領域的計算需求，而這一技術會逐漸取代原來通用計算不擅長的部分。
但是在光鮮亮麗的外殼之下，對於一般用戶來說，異構計算的采購、部署以及使用門檻對絕大多數企業來說都很高。對此，張獻濤主要談到以下幾個痛點：
1.采購成本高：用戶小量采購基本上沒有議價能力，特別是購買FPGA板卡，量少的話采購價格特別高。
2.交付周期長：通常用戶從開始需要采購，到機型選擇、硬件架構設計、供應商選擇、機房選擇、財務審批等流程通常需要幾個月的時間。
3.沒有彈性：采購完了GPU/FPGA的數量就固定了，任務少的話多買的GPU/FPGA就浪費了，任務多的話GPU/FPGA數量又不夠用。
4.沒有硬件紅利：采購完了型號就固定了，如果有新的GPU/FPGA架構上線隻能追加預算購買，老的GPU/FPGA性能跟不上應用了。
5.數據孤島：線下的GPU/FPGA和線上的服務無法打通。
另外，他還補充道，做FPGA產品的最大挑戰是整個FPGA的生態環境很差，具備FPGA開發能力特別是開發FPGA做計算加速的客戶非常少。為此，我們會在雲上建立IP開發市場並且引入一係列的FPGA IP合作夥伴，並推動建立雲上FPGA的開發標準，豐富整個FPGA的開發生態環境，吸引更多的IP開發廠商和合作夥伴把他們的IP放在IP開發市場上，去服務他們的最終用戶，從而進一步豐富整個FPGA的生態環境。”
阿裏雲在短時間裏先後推出彈性GPU和FPGA異構計算的解決方案，目的就是降低異構計算資源使用的門檻，對高性能計算有需求的企業可以隨買隨用。
雲棲社區了解到，阿裏雲彈性GPU產品主要麵向人工智能、數據分析、科學計算、電影渲染、視頻圖像處理、視頻轉碼等場景，目前的應用案例包括行為數據分析、千人千麵、人臉識別、視頻識別、圖像識別、對象分類等；阿裏雲彈性FPGA產品主要麵向人工智能、半導體設計、基因計算、視頻圖像處理、數據分析決策等場景，目前的應用案例包括深度學習推理、深度學習模型裁剪、非規整數據計算、視頻圖像處理、硬件半導體設計等。
阿裏雲在異構計算領域的探索
眾所周知，相比CPU，GPU和FPGA擁有太多的優勢，GPU有更高的並行度、更高的單機計算峰值、更高的計算效率；而FPGA的優勢則主要體現在它擁有更高的每瓦性能、非規整數據計算更高的性能、更高的硬件加速性能、更低的設備互聯延遲。
但在雲端的解決方案上，便意味著優勢的進一步放大，張獻濤介紹，阿裏雲GPU和FPGA異構計算解決方案主要有以下特點：
1.GPU/FPGA資源即買即用，彈性伸縮。
2.超大規模資源池，滿足業務峰值的GPU/FPGA數量的需求。
3.享受異構計算超摩爾定律的硬件紅利，以相同的價格使用性能更強的GPU/FPGA實例。
4.最全麵的異構產品線，滿足人工智能訓練、推理，圖像視頻處理等各種不同的需求。
5.產品整合：和整個阿裏雲產品體係深度整合，數據打通。
這些特性完美的解決了用戶使用異構計算方案的痛點。張獻濤還透露，現在大部分客戶都在單機上訓練模型，通常需要幾周到一個月的時間，因此阿裏雲正在計劃推出一款超高性能異構集群的產品。
“該產品的GPU/FPGA之間可以通過25/100Gb ROCE走RDMA協議直連，可以多機多卡，用非常多的GPU/FPGA設備集群來共同訓練一個模型，大大減少用戶訓練的時間，從幾周到一個月縮短到一天或者幾個小時的級別。”
值得一提的是，阿裏雲異構計算解決方案也針對開發者做出了更友好的體驗：
在GPU編程方麵，阿裏雲會推出分布式多機多卡訓練框架和其他GPU上的性能優化服務，能夠大大降低客戶使用多機多卡的門檻，從而減少客戶在雲上做深度學習訓練的時間。
FPGA方麵，阿裏雲會建立IP開發市場並且引入一係列的FPGA IP合作夥伴，並且會推出自研的IP係列，通過IP市場的繁榮讓更多的最終用戶能夠享受到FPGA的性能加速。
另外，阿裏雲還推出了IaaS+的服務，包括發布E-HPC產品做異構集群的資源調度、賬號管理和彈性伸縮，通過容器服務來做一鍵部署、分布式訓練和彈性伸縮，通過XDL來做行為數據分析，利用阿裏雲自研的GPU匯編器來優化提升應用的性能，提高異構計算設備的利用率，減少資源的采購成本。
未來：GPU、FPGA、ASIC三分天下
人工智能以及其它新興應用領域對於計算量的需求超過了通用CPU的摩爾定律的發展速度，而異構計算的性能增長速度能夠滿足這些新興的方向和趨勢，可以預見的是，異構計算會在今後的數據中心中占據越來越多的份額。
宏觀來看，異構計算的發展也得益於國家戰略的推動。例如，最近國家下發了人工智能的發展規劃，人工智能已經成為國家戰略，這勢必會刺激異構計算的需求。當然，張獻濤也坦言，雖然異構計算的應用需求越來越多，但通用計算的需求也會一直存在，二者將會長期共存。
毫無疑問，目前異構計算領域GPU處理器已經占據了主流地位，但對未來的趨勢，張獻濤則表示，“隨著FPGA的生態環境的建立和完善、ASIC芯片的逐漸成熟，未來異構計算領域會呈現GPU、FPGA、ASIC芯片三分天下的局麵，GPU、FPGA、ASIC芯片都會有自己獨特的特長和應用領域，有自己獨特的客戶群體。”
這也是張獻濤團隊專注的方向，接下來團隊會發布包括8卡/16卡GPU產品、下一代的Volta架構的GPU產品、新一代的FGPA的產品，而ASIC芯片的產品上雲也正在研發當中。
目前他所帶領的團隊主要有兩個目標：一方麵致力於讓異構計算變成用戶即買即用的計算資源，提供最為全麵的異構計算產品方案；另一方麵致力於讓用戶能夠用好異構資源，充分發揮異構資源的處理能力，讓用戶的服務更具備競爭力。也就是推動異構計算變成一種普適的計算能力。
雲棲大會亮點揭秘
本次杭州雲棲大會將設立異構計算/高性能計算專場、虛擬化技術專場，屆時張獻濤都將發表主題演講，在大會正式開幕之前，他也向雲棲社區透露了一個重磅消息——阿裏雲將發布幾款重量級的異構計算家族產品，涉及到異構計算、通用計算、高性能計算等多個領域。他表示，這些產品都是為了解決用戶在使用阿裏雲的過程中遇到的痛點，包括集群的管理和調度問題、雲上彈性使用付費軟件的License問題、實例需要即擁有虛擬機的彈性又要擁有物理機的性能、多機多卡分布式訓練降低訓練時間等問題。最後更新：2017-09-12 16:02:27