364
存在比深度學習更好的技術嗎？有人說脈衝神經網絡和哥德爾機器
本文選自Quora上的提問，“什麼比深度學習更好？”(What is better than deep learning?)
以下是來自用戶Sridhar Mahadevan的回答。
（Sridhar Mahadevan 1990年畢業於羅格斯大學，獲得計算機科學博士學位；是AAAI Fellow；是SRI International的執行主任）
在回答這個問題之前，必須先搞清楚“更好”是什麼意思。有以下幾種解讀“更好”的方式。
“更好”=標簽數據集的精確度。在這種情況下，目前來看沒有優於機器學習的。例如，深度學習在Imagenet或者言語／語言翻譯等領域的大型標簽數據集上表現最好。但是，根據我在機器學習30多年的研究經驗，世事無常。正如一切奧運紀錄都將被打破，總會有更新更好的事物出現。但目前為止，深度學習仍然拔得頭籌。
“更好”=結果解讀能力。在這種情況下，深度學習表現不佳。Imagenet上令人印象深刻的30多層網絡主要是黑盒子。除了嚐試逐層解碼每個隱藏單元的計算，黑盒子能夠提供的洞察不多。這很乏味，是廣泛使用深度學習的最大障礙。如果你有一輛使用深度學習的無人駕駛汽車，或有一個使用深度學習的自動化醫療程序，那就需要依照法律對其決策進行解釋。為什麼這輛車在撞到其它車前不停下？為什麼這個程序斷定患者是否患乳腺癌？如果這個問題不解決，深度學習無法得到更廣泛應用。
“更好”=跨任務轉移。在這種情況下，深度學習表現依舊不佳。大部分深度學習奏效的原因是適應於任務。如果測試集分布和訓練分布差別太大，除非經過專門訓練，通常情況下深度學習表現不好。有些深度學習的變體專門產生通用特征，但仍在初級階段。在適應和轉移學習問題方麵，還有更好的解決措施。
“更好”=“計算成本更低”。深度學習表現不佳。這是因為深度學習需要重複多次，並需要高性能GPU電腦。
簡而言之，如果你隻在乎準確性（而不關注結果解讀），如果你的測試數據與培訓數據高度匹配，如果你有數百萬的標簽數據，以及有很多高性能GPU電腦，那麼深度學習是最好的選擇。反之，則有很多比深度學習更好的選擇。
以下是來自用戶Chansa Kabwe的回答：
（Chansa Kabwe是神經網絡研究人員）
回答這個問題時，我將假設以下兩點：“深度學習”是指第二代深層神經網絡(dnn)；“更好”是泛指機器學習和人工智能的表現。
除了理論太複雜或難以實現等因素，可能有很多係統比深度神經網絡表現好，例如脈衝神經網絡和哥德爾機器（spiking neural networks and the gödel machine）
脈衝神經網絡 (snn)已被歸為第三代神經網絡，並利用Hodgkin-Huxley，izhikevich，Fitzhugh-Nagumo等神經元生物模型。在1996年的論文裏，Wolfgang Maas表明 SNNs表現優於第二代神經網絡。神經元芯片試圖通過在IC上直接實施snn來利用這一理論。IBM的truenorth芯片是一個很好的例子。
哥德爾機器最初由Jürgen Schmidhuber設計，是一個在數學上完全自我參照、自我完善的問題解決者。理論上要比深度學習更好。深度學習是哥德爾機器的一個變體，缺少自我反思等重要部分。哥德爾機器並未完全實施，但Steunebrink和Schmidhuber的工作已取得了實際進展。
總而言之，我們還不完全了解智能，而深度學習隻能利用其中一小部分。深度學習的確是一個很好的解決方案，但有一些缺點。如果解決這些缺點，將會有更好的係統。例如，DeepMind的可微分神經計算機（dnc）試圖解決神經網絡中的遺忘性問題。
原文發布時間為：2017-10-19
本文來自雲棲社區合作夥伴新智元，了解相關信息可以關注“AI_era”微信公眾號
原文鏈接
最後更新：2017-10-19 17:33:30