129
深度學習的挑戰
更多深度文章，請關注雲計算頻道：https://yq.aliyun.com/cloud
深度學習已經成為開發人工智能的主要技術支撐。
大多數知名應用（如語音識別、圖像處理和自然語言處理）都是深度學習在驅動。
深度學習算法是通過人工神經網絡模仿人類大腦逐漸學習並準確解決給定的問題。但是我們必須注意，深度學習並非完美無缺的，深度學習係統中依然存在很大挑戰。
用深度學習領域最著名的學者安德魯（Andrew Ng）的話說：“我相信深度學習是我們實現AI進步的最佳選擇。”
如果你自己思考，你可能會意識到安德魯的上述聲明的力量。從Siris和Cortanas到Google Photos，再到Grammarly Spotify的音樂推薦都是深度學習力量的表現。
這些例子說明深度學習深入我們的生活的時代到來了。
但是，隨著技術的巨大進步也出現了巨大的困難和障礙。在這篇文章中，我們將討論深度學習中有哪些突出挑戰。
1.龐大的數據需求
深度學習的訓練是指使用大量數據進行的。數據越多，才能確保機器傳輸的結果是我們想要的。
由於人腦需要大量的學習經驗推導信息，所以類似的神經網絡需要大量的數據。如果你想要的更強大的模型，你就需要更多的參數調整，更多的參數調整的過程就需要更多的數據。
例如，語音識別將需要多種方言的數據，人口統計。研究人員訓練用於學習單一語言的算法就需要TB級數據。這是一個非常耗時的過程，同時需要大量的數據處理能力。 在一定程度上，通過深度學習解決問題的優劣程度取決於數據量的大小。
神經網絡的複雜性可以通過參數數量表示。在深層神經網絡中，參數可以在數百萬，數千萬甚至數億。如果參數的數量級用P來表示，那麼訓練出一個不錯的神經網絡所需要的數據就需要達到P*P級。
2.神經網絡易過度擬合：
有時，在訓練數據集和看不見的數據集所遇到的錯誤中，可能會出現一個明顯的錯誤，它發生在複雜的模型中，例如相對於觀察的數量有太多的參數。一個模型的有效性取決於它的能力在不可見的數據集上表現良好，而不是通過它的訓練數據進行評判。
一般來說，模型是通過在一個特定的訓練數據集上最大化其性能來進行訓練的。因此，模型記住了訓練案例，但沒有學會如何將新情況和數據集一般化。
3.超參數優化
l.超參數是前麵定義的神經網絡參數，這些網絡參數對神經網絡來說非常重要。通過改變這樣的參數，就可以在你的模型上引起很大的變化。
如果僅僅依賴於默認參數，而不執行超參數優化可能對模型性能產生重大影響。而且，擁有太多的超參數並且手動調節它們而不是通過經過驗證的方法進行優化，並不是一個好的想法。
需要高性能硬件為深度學習解決方案訓練大量數據。為了解決現實世界的問題，機器需要具備足夠的處理能力，以此確保更好的效率和較少的時間消耗。為了提高數據處理效率，確保數據科學家切換到多核心，效率更低，時間消耗更少，高性能GPU和類似處理單元就成了我們必備的工具。這些昂貴的處理單元也會消耗大量的電力。
工業級的深度學習係統需要高端數據中心而智能設備如無人機，機器人等其他移動設備則需要小而高效的處理單元。對於現實世界來說，部署深度學習解決方案，就變成了一場代價高昂且耗費能源的事件。
4.神經網絡本質上是一個黑匣子
我們知道我們的模型參數，我們把已知的數據以及它們是如何組合在一起的反饋給神經係統網絡。但是我們不能理解它們是如何解決一個特定的解決方案的。神經網絡本質上就是一個黑匣子，研究人員都很難理解它們如何推斷結論。
抽象層次上缺乏推理能力的神經網絡的能力使高級認知功能變得困難。同時,它們的操作在很大程度上是看不見的，這使它們在重要的驗證流程領域不是很適用。
然而，Murray Shanahan，倫敦帝國理工學院認知機器人教授向他的團隊提交了一篇討論深刻的象征性強化學習的論文，展示了解決上述障礙的進步。
5.缺乏靈活性和多任務處理
深度學習模式，經過訓練，可以極大的提高效率並準確解決具體問題。然而從當前存在的情形來看,神經網絡體係結構是高度專業化且特定的應用程序域。
Google DeepMind的研究科學家Raia Hadsell總結道：
“世界上沒有一種神經網絡，可以通過訓練同時完成識別物體和圖像、玩空間、聽音樂。”
我們的大部分係統都在這個規則工作的，他們十分擅長解決一個問題。 即使解決一個非常相似的問題也需要再訓練和重新評估。 研究人員正在努力工作開發可以同時進行多任務處理的深度學習模型。
雖然，在使用單任務的神經網絡這方麵有了一些小小的進步。此外在多任務學習(MTL)方麵，還有很大的進步空間。來自多倫多大學的穀歌大腦團隊的研究人員發表了一篇關於多模型的論文，一種神經係統同時從視覺和語言的成功中汲取的網絡架構，音頻網絡同時跨越多個領域解決了許多問題，包括圖像識別、翻譯和語音識別。
深度學習是人工智能的主要研究領域之一，但它肯定不是完美無缺的。而探索新的認知技術領域的研究由於深度學習太火而顯得很少，遇到一定的障礙和困難也是很正常，任何技術進步都是如此。未來的問題是“深度學習是否是我們接近真正人工智能的最佳解決方案？”作為一個AI領域的研究人員，我會一直關注於此。
本文由北郵@愛可可-愛生活老師推薦，阿裏雲雲棲社區組織翻譯。
文章原標題：《Challenges in Deep Learning》
作者：Parth Shrivastava
譯者：烏拉烏拉，審校：袁虎。
文章為簡譯，更為詳細的內容，請查看原文
最後更新：2017-09-25 12:03:20