526
理解深度學習的局限性
人工智能空前火熱。許多公司已經用IBM Watson係統取代了工人；人工智能算法甚至能比醫生更準確地診斷病人。新的人工智能創業公司如雨後春筍，宣稱可以使用機器學習來解決你所有個人問題和商業問題。
許多平時看似普通的物品，像是果汁機、Wi-Fi路由器，做廣告時都說自己由人工智能驅動。又比如智慧書桌，不僅能記住你不同時段所需要的高度設置，還能幫你叫外賣。
許多喧囂人工智能的報道其實是由那些從沒親手訓練實現過一個神經網絡的記者，或是那些還沒解決任何實際商業問題卻想招募天才工程師的初創公司寫的。怪不得大眾會對人工智能能做什麼不能做什麼有那麼多誤解。
不可否認，深度學習讓人異常興奮
神經網絡早在六十年代就被發明，但最近大數據和計算能力的提升才使它在實際應用中取得效果。已經出現了一個名為“深度學習”的新學科，它可以應用複雜的神經網絡架構，比以前更準確地對數據模型進行建模。
深度學習成果斐然。如今，深度學習可以識別圖像和視頻中的物體，可以將語音轉化成文字，甚至比人做得更好。穀歌將穀歌翻譯的結構替換成了神經網絡，現在機器翻譯的表現已經非常接近人類。
深度學習的實際應用同樣讓人興奮。計算機可以比政府農業機構更準確地預測農作物產量；在診斷癌症上，甚至比最優秀的醫師更加準確。
美國國防部高等研究計劃署的主管John Launchbury描述了人工智能的三個浪潮：
1.人工選擇的知識表達，或者像是IBM深藍、沃森這樣的專家係統。
2.統計學習，包括機器學習和深度學習。
3.內容適應，涉及到用稀疏數據給現實世界的現象構建可靠可解釋的模型，像人類一樣。
作為人工智能第二波的一部分， 深度學習算法效果很好，這是因為Launchbury所說的流形假設。簡單來說，這是指出了在較低維度下可視化時，不同類型的高維自然數據如何趨於聚集和變形。
通過數學操作和分離數據塊，深度學習能夠區分不同的數據類型。雖然神經網絡可以取得精確的分類及預測能力，這些本質上源於Launchbury所說的“增強版的電子表格”。
深度學習也有深層問題
最近灣區人工智能創業者會議上，Francois Cholle強調說深度學習僅僅隻是比之前的統計和機器學習方法更強大的模式識別方法。 Cholle是穀歌人工智能研究員，也是發明了深度學習Keras的著名開發者。他認為人工智能最關鍵的問題是抽象和推理。現如今的監督學習和強化學習需要太多數據，無法像人一樣做推理規劃，隻是在做簡單的模式識別。
相反，人類可以從非常少數的例子中學習，可以安排長期的計劃，並且能夠形成一種情形的抽象模型，並將這些模型用到更多不同的情況之中。
即便讓深度學習算法學會非常簡單的人類行為也是一件費勁的事！ 想想看當你走在路上想要躲開撞向你的車時，如果你想通過監督學習決定下一步要怎麼做，你需要大量標記了車輛情景和應該采取的行動的數據，像是“停止”或者“移動”。然後你要訓練一個神經網絡去學習情景和應該采取的行動之間的映射。
如果用強化學習的方式，給你的算法一個目標，然後讓它自行決定最佳的行動是什麼，在計算機學會不同道路情況下躲開汽車之前，可能早已經被車撞死幾千次了
Chollet提醒人們不可能僅僅通過加強當今的深度學習算法來取得通用智能。
人類隻要別人說一次就知道要避開車。我們有能力從少數例子來泛化我們學到的知識，並且可以想象從被車撞到後會有多糟糕。我們大多數人很快就能學會毫發無損的躲開汽車。
當神經網絡在大規模數據上取得統計意義明顯的成果時，個體數據上卻是不可靠的，並且常常會犯人們不會犯的錯誤，比如把牙刷預測成棒球棍。
你的結果隻會和你的數據一樣好。給神經網絡不準確或者不完整的數據隻會得到錯誤的結果。這些結論既很尷尬，還很危險！兩次公關危機中，穀歌錯誤得把黑人識別成大猩猩，微軟的係統僅僅用推特的數據訓練幾小時後就學會種族歧視，女性歧視的言論了。
我們的輸入數據中潛藏著不希望的偏差。穀歌龐大的詞向量係統建立在穀歌新聞的三百萬條新聞之上。數據集會自己做出像父親是醫生母親是護士的聯係，反映了我們語言中的性別偏見。波士頓大學的研究人員Tolga Bolukbasi借助了亞馬遜Mechanical Turk眾籌平台，利用人們的評分來嚐試去除這些偏見的聯係。
Bolukbasi認為這個思路是至關重要的，因為詞向量不僅會反映成見，還會放大成見。如果醫生更多的和男性聯係在一起，那麼算法會優先將男性工作申請者匹配到醫師的職位上去。
最後，生成式對抗性網絡的發明人Ian Goodfellow展示了神經網絡會被反例給欺騙。給圖像做一些人眼看不出來的操作之後，複雜的攻擊者欺騙了神經網絡使其無法正確識別出物體。
深度學習之後是什麼？
我們如何克服深度學習的局限性並通向通用智能呢？Chollet最早的計劃是從數學證明領域開始使用超越人類的模式識別，比如深度學習來幫助增強搜索和形式係統。
自動定理證明器通常暴力搜索每一種可能的情形，實際應用中很快就會遇到組合爆炸的問題（搜索時間指數性上漲）。在深度數學項目中，Chollet和他的同事使用深度學習來協助定理搜索的過程，模擬數學家關於哪些引理會是有用的直覺。
另一種方式是開發更易於解釋的模型。手寫識別中，神經網絡通常要有成千上萬的數據才能達到還不錯的分類結果。相比著眼於像素，Launchbury認為生成式模型可以學會任意一個文字的筆劃，然後用這些筆劃信息來區分相似的數字，比如9和4。
卷積神經網絡的創始人兼臉書人工智能研究總監Yann LeCun提出了一種基於能量的模型來克服深度學習中的局限性。通常而言，我們隻會訓練神經網絡產生一個輸出，像是一個圖像的標簽或者一句話的翻譯。LeCun的基於能量的模型則給出了所有可能輸出的集合，比如說一句話所有可能的翻譯方式，以及每種翻譯方式對應的評分。
深度學習之父Geoffrey Hinton想用塊狀結構 來取代神經網絡中的神經元結果。他相信這樣能更準確地反映人類大腦的生理學模型。生物進化必然已經發現了一種能高效地在初級神經感知回路進行特征調整的方式，這些調整會對後續神經回路特征表達非常有用。Hinton希望塊狀的神經網絡結構能夠更有效的應對之前Goodfellow提出的對抗訓練。
也許所有這些克服深度學習局限性的方法都有自己的價值，也許都沒有。隻有時間和人工智能領域的持續投入才能告訴我們答案。
原文發布時間為：2014-04-26
本文來自雲棲社區合作夥伴“大數據文摘”，了解相關信息可以關注“BigDataDigest”微信公眾號
最後更新：2017-05-17 11:02:31