解析機器學習應用：數據中心和雲計算成為企業新戰場

麥肯錫公司的一項調查顯示，在2013年至2016年期間，人工智能開發投資總額增加了兩倍，其中大部分投資——200億至300億美元——都來自一些科技巨頭，這些公司希望能夠產生機器學習以及其他人工智能模型，而這些技術在未來對於他們的客戶來說，會變成像今天的移動和網絡一樣至關緊要的東西。

人工智能技術之所以能夠如此吸引人，是因為存在巨大的商業價值。Gartner預測到2020年，人工智能技術在新的商業軟件中會變得無處不在，而且將成為30%的首席信息官投資優先級中排名前五的技術之一。

事實就目前看來，人工智能市場中大部分的推動力都來自於那些樹大根深的公司：

• 英偉達已經成為GPU中的主導者，成為機器學習培訓階段的首選平台。到目前為止，這是機器學習絕大部分的焦點所在。
• 英特爾推出了Nervana神經處理器（Nervana Neural Processor），這是一款低延遲、高內存帶寬芯片，據說這款處理器是專門為了深度學習設計的。（英特爾於2016年收購了Nervana）。
• 穀歌的張量處理單元（Tensor Processing Unit，TPU）已經在機器學習加速器市場上站穩了腳跟，現在已經發展到第二版本。第一個版本是穀歌開發的一款專用集成電路（ASIC），目標是為了在其自己的服務器上加速其語音轉換文本應用程序的推理；和第一個版本相比，第二個版本——雲TPU（Cloud TPU）——更像是一個高性能的TPU集群，旨在作為訓練模塊與英偉達（Nvidia）競爭。

簡單而言，機器學習直接來源於早期的人工智能領域，傳統算法包括決策樹學習、推導邏輯規劃、聚類、強化學習和貝葉斯網絡等等。

機器學習最基本的做法，是使用算法來解析數據、從中學習，然後對真實世界中的事件做出決策和預測。與傳統的為解決特定任務、硬編碼的軟件程序不同，機器學習基於大量的數據來“訓練”，通過各種算法從數據中學習如何完成任務。

本文主要針對數據中心和雲計算，而這本身就是一個巨大的市場，也是機器學習的根基。Linley集團的首席分析師Linley Gwennap預測，以數據中心為導向的人工智能加速器市場到2022年將達到120億美元的規模：“在接下來的一到兩年裏，我們將開始看到更多數據中心和其他設備的選擇。”他認為，“目前，類似穀歌和Facebook這樣的科技巨頭麵臨的問題是，‘我該堅持設計自己的芯片嗎？或者，如果企業能夠在開放市場得到同樣的經濟效益，我需要嚐試嗎？’”

機器學習下一階段

很多公司會交替使用機器學習、深度學習、人工智能和神經網絡等技術，盡管這些技術彼此之間存在著微妙的差別，但總的來說，都是基於實時數據，計算機可以權衡很多不同的情況，並根據這些預設的權重做出最好的選擇——也就是數據挖掘。加權的過程是“訓練”階段的一部分，而“推理”階段是機器學習的核心。

數據挖掘是個很寬泛的概念,數據挖掘常用方法大多來自於機器學習,深度學習是機器學習一類比較火的算法——具有更多層次不同類型的分析，並最終形成更完善的解決方案，而這樣做的代價是需要消耗更多的計算資源才能完成“訓練”階段。兩者本質還是涉及神經網絡，它們圍繞信息節點創建類似網狀的連接，這與人類大腦中的神經元與周圍的細胞進行網狀連接的方式非常相似。人工智能是一個總括性的術語，對許多不同的人來說意味著許多不同的東西，從IBM的Watson到電影《2001：太空漫遊》的HAL。但總來說，它指的是設備可以獨立於顯式編程學習行為。

機器學習的第二階段就是“推理”，這個階段基本上就是要把學習階段的成果應用到特定的應用程序和細分市場，也就是算法被投入實際應用的地方，機遇更大。結果或許是大量獲得風投支持的初創公司蜂擁而至。

ARM公司員工Jem Davies表示，“機器學習的推理和訓練階段完全是兩碼事。”

所謂推理，你可以做各種古怪的事情，如分揀黃瓜等。它更接近用戶，這就是為什麼你看到各種有趣的案例。但現在的手機也有預測性文本，和推理類似——這是25年前開始的。”推理是輔助自動駕駛的重要組成部分，從傳感器收集上來的數據也需要基於機器學習進行預處理。

Cadence公司Tensilica DSP部門的產品營銷總監Pulin Desai表示：“推理需要在邊緣進行。”他舉例，“在一輛汽車裏，你可能有20個圖像傳感器，加上雷達和激光雷達，以提供360度的視野。但是如果你把一個圖像傳感器放在汽車上，它可能有180度的視野。這需要畸變校正，這是圖像處理。”

訓練和推理階段之間的一個關鍵區別在於，訓練是在浮點中完成的，而推理則是使用定點。DSP和FPGA是定點。

這裏簡單說一下ARM、DSP和FPGA，市場經常拿來對比。

在嵌入式開發領域，ARM（Advanced RISC Machines）是一款微處理器，設計了大量RISC處理器、相關技術及軟件，提供一係列內核、體係擴展、微處理器和係統芯片方案，目前市場覆蓋率90%以上；DSP（digital singnal processor）是一種獨特的微處理器，有自己的完整指令係統，是以數字信號來處理大量信息的器件：一個數字信號處理器在一塊不大的芯片內包括有控製單元、運算單元、各種寄存器以及一定數量的存儲單元等等，在其外圍還可以連接若幹存儲器，並可以與一定數量的外部設備互相通信，有軟、硬件的全麵功能，本身就是一個微型計算機；FPGA（Field Programmable Gate Array，現場可編程門陣列）是在PAL、GAL、PLD等可編程器件的基礎上進一步發展的產物，是專用集成電路（ASIC）中集成度最高的一種。

三者區別在於，ARM具有比較強的事務管理功能，可以用來跑界麵以及應用程序等，其優勢主要體現在控製方麵；而DSP主要是用來計算的，比如進行加密解密、調製解調等，優勢是強大的數據處理能力和較高的運行速度；FPGA可以用VHDL或verilogHDL來編程，靈活性強，由於能夠進行編程、除錯、再編程和重複操作，因此可以充分地進行設計開發和驗證。當電路有少量改動時，更能顯示出FPGA的優勢，其現場編程能力可以延長產品在市場上的壽命，而這種能力可以用來進行係統升級或除錯。

Flex Logix公司首席執行官Geoffrey Tate表示：“我們正在擺脫使用x86處理器解決所有問題或者人們需要為特定工作負載優化硬件的局麵。大多數計算將在數據中心之外完成，因此FPGA和其他一些東西的角色將不得不發生改變——由於支持音視頻的需求的擴展，你可能仍然會看到傳統架構和新架構混合。我認為我們都是加速器。”

機器學習領域，FPGA和eFPGA玩家正在爭先恐後地進入推理市場。預計2022年將有17億個機器學習客戶端設備。

Achronix公司總裁及首席執行官Robert Blake表示：“在機器學習的學習階段，GPU已經贏得了很多關注。” 他表示，“但是更大的市場將會在推理方麵，這些產品的成本和功耗將是至關重要的。這就是為什麼在這些領域內嵌入式解決方案將具有極大吸引力的原因。”

ARM公司員工Davies也同意這種看法。他說，功率預算保持在2-3瓦的範圍內，而電池技術的改進則相對“不給力”。鋰電池的改進一般在每年4％-6％的範圍內。相比而言，為了完成所有這些工作所需的計算性能的提升則是數量級的提升。

這將需要一個完全不同的架構，包括對於在哪裏完成哪種處理的理解。

Rambus公司一位發明家Steven Woo表示：“我們看到了人工智能、神經網絡芯片和內核的市場需求，更高級別的需求是它們把信息融合在一起，而現在市場正在摸索人工智能、神經網絡芯片和內核‘融合’的可能。你現在看到的是，很多公司在尋找主要的市場，並圍繞這些市場建設基礎設施。譬如汽車市場；還有手機市場，那裏有幾十億設備的規模，它們正在推動新的打包基礎設施；而且物聯網也有潛力，但挑戰在於找到共性。而神經網絡和機器學習，似乎每周都有新的算法，這就很難開發一個單一的架構。這就是為什麼你看到人們對FPGA和DSP的興趣之深的原因。”

機器學習的行業應用

機器學習在以客戶為中心的應用程序中已經變得相當常見，它可以被用來預測銷售情況，尋找客戶流失的跡象，通過交互式語音響應或者通過在線聊天機器人，以及穀歌翻譯之類的消費者應用程序提供客戶服務。

Facebook使用三個深度學習應用程序來過濾上傳內容，例如，一個在上傳圖片中進行麵部識別並對人進行標記，一個檢查仇恨言論或者其他目標內容，而另一個用於定位廣告。

西門子旗下Mentor公司傳感器融合首席工程師Nizar Sallem表示，深度學習在客戶服務和分析方麵可能很適合，但它也是提供自動駕駛車輛所需的即時感知、決策和控製係統的首選對象。機器學習了解車輛周圍的環境，道路上的不同行為者，交通規則以及當時期望車輛所處的位置，它必須確定你的行為應該是什麼樣子的，還要確定什麼時候你可以為了逃避危險或者保護車內的人而違反交通規則。

英偉達首席科學家兼研究高級副總裁Bill Dally表示， “讓我吃驚的是深度學習革命來的如此之快。在過去的三年中，各種各樣的應用程序似乎一夜之間就放棄了原來的傳統方法，搖身一變轉向了深度學習。”他補充說，“這不需要在軟件上投入巨大的資金；你拿一個應用程序，訓練網絡，然後就完成了。它在某些領域已經變得無處不在，但是對於每個搖身一變擁抱了神經網絡的應用程序來說，都還有另外十次‘搖身一變’的機會。”

麥肯錫認為，在科技行業以外人工智能大部分的應用都是試驗性的，而在科技行業中，大部分人工智能的應用要麼是為了支持或改善其他服務，要麼就是為消費者增加新的服務。在接受麥肯錫調查的3000多家公司中，隻有20%的企業表示他們在重要的業務部分使用了與人工智能相關的技術。調查發現了160個人工智能的使用案例，麥肯錫發現隻有12%的商業應用。

或者換個角度看，88％的公司還沒有在商業上部署人工智能，這是一個巨大的機會。相比之下，包括穀歌和百度在內的高科技公司在2016年花費了200億至300億美元，其中90％用於研發，10％用於收購。

市場預測

盡管人工智能技術處於爆發期，但發展仍處於起步階段。主流提供商仍然是現有的高科技公司，而最能賺錢的仍然是消費者服務。Tractica報告稱，這包括穀歌的語音到文本轉換和翻譯服務以及來自亞馬遜、Facebook、百度等公司的消費者互動/客戶服務應用程序。該報告估計，2016年人工智能驅動的消費服務價值為19億美元，到2017年底將增至27億美元。

 

圖：按技術劃分的人工智能收入。資料來源：Tractica

Tractica估計到2025年，包括硬件、軟件和服務在內的整個人工智能市場將上升到421億美元。

圖：人工智能各部分的收入。資料來源：Tractica

機器學習即服務（MLaaS）是另一個類別，其中73％由亞馬遜、IBM和微軟占據。Transparency Market Research（TMR）4月份的一份報告表示，預計這一數字將從2016年的約10.7億美元增長到2025年的199億美元。

Tractica表示，大部分機器學習功能服務目前針對的都是消費者——這個類別中包含了穀歌翻譯和語音轉換文本應用程序，作為其客戶TPU的概念驗證。

深度學習成為半導體行業新戰場

深度學習的出現也凸顯了半導體行業與其最大客戶之間的一些日益複雜的關係，特別是同穀歌和其他超大規模數據中心所有者之間的關係，他們的規模大到足以配置並建設自己的服務器和芯片。

芯片公司多年來一直在針對特定雲客戶的需求構建或定製芯片。例如，英特爾就為微軟打造了FPGA DL加速器，為阿裏巴巴雲客戶打造了基於FPGA的應用加速器。英特爾還邀請Facebook幫助設計英特爾Nervana神經處理器（Nervana Neural Processor）的包裝以及該公司即將推出的、針對深度學習的“Lake Crest”專用集成電路（ASIC）。

穀歌已經發布了其他芯片，包括它已經開發了Pixel2手機的機器學習協處理器的消息，這是它的首款移動芯片。穀歌還開發了Titan，這是一種微控製器，連接到服務器上，以確保它們不會錯誤啟動、損壞或被惡意軟件感染。

穀歌稱TPU可以實現“機器學習每瓦性能優化，優化的幅度是數量級的”並將穀歌的機器學習應用程序向前推進了七年，以此證明它對TPU的投資是合理的。首款TPU隻針對加速運行機器學習模型推理的普通服務器設計，而不是首先瞄準了培訓模型。因此，它們並沒有直接同英偉達或者英特爾的機器學習培訓產品競爭。

當穀歌在5月份發布其雲TPU（Cloud TPUs）時，該公司的聲明聽起來像是要與英特爾和英偉達進行更為直接的競爭。

穀歌宣稱Cloud TPU每個浮點性能為180 teraflops，但將這些單元打包成4-TPU Pod，總共包含11.5 petaflops。這種配置似乎是為了與英偉達備受好評的DGX-1“超級計算機”競爭，該超級計算機配備了八個頂級的Tesla V100芯片，並聲稱總計最高吞吐量為1petaFLOP。

來自雲端的競爭

Dally 表示，“穀歌和其他一些公司已經在沒有加速——或者隻有TPU——的情況下獲得了早期的成功，但是有一些網絡很容易培訓；標準圖像搜索很簡單。”他表示，“但是如果要進行更多信號處理的培訓——處理圖像和視頻流，以及對於那些每周都要重新培訓他們的網絡的人來說，或者對於那些更加重視培訓的人來說，GPU的效率要高得多。”

Chris Rowen是Cadence 的IP集團的前首席技術官，他創辦了Cognite Ventures，為神經網絡、物聯網和自動駕駛嵌入式係統的創業企業提供資金和建議。他表示，問題是穀歌的新處理器是否足以將客戶從其他業務中剝離出來，答案可能會是“不能”。任何一家雲提供商都必須支持多種架構，所以支持深度學習的數據中心將會成為CPU、GPU、ASIC、FPGA以及來自各種技術的IP的盛宴。

Rowen表示，一些培訓負載也有可能更多地轉移到內置在客戶端設備中的推理引擎上。在這個領域的很多公司肯定會有機會。不過，對於限製在數據中心服務器上的機器學習培訓，就很難取代現有的玩家了。

圖：認知計算的演變。資料來源：Cognite Ventures

原文發布時間為：2017年11月13日

本文來自雲棲社區合作夥伴至頂網，了解相關信息可以關注至頂網。