649
深度學習中的怪圈
最終，我們將自我覺知、自我創造，陷入自我參照的小小奇跡幻影中。而這種自我參照的機製，如同描述思想獨有的屬性。
— Douglas Hofstadter
怪圈是一種循環係統，橫貫不同等級的各個層次。通過這種循環，一個人可以追溯他的本源。
無獨有偶，被Yann LeCun稱為“機器學習在過去的二十年間最酷的想法”背後，最根本的實際上正是這種“怪圈”。
循環在機器學習係統中並不典型，按照慣例，這些係統由不同計算層的無環圖構成。然而，我們現在開始發現，采用”反饋循環”能衍生出一種令人難以置信的、新的自動操作。
這可不是誇張，這是今天正在發生的事實。研究者們正在訓練“精確的”的智能係統，以期創造出在同領域內能力遠超於人類的專業自動化。
我第一次知道深度學習係統中使用反饋回路是有效的，是在“梯形網絡”裏。梯形網絡在很早之前就被采用了，可以追溯到 2015年7月！（查看：https://arxiv.org/abs/1507.02672v2）下圖為其結構示意。
圖片來源：https://arxiv.org/abs/1511.06430v4 Deconstructing the Ladder Network Architecture
梯形網絡是上下穿梭計算層的單循環回路，後邊跟了一個終極單向通道。這套係統從回路部分搜集信息，它被采用之後展示了非常不錯的收斂數。這在2016年中的一篇論文中有原始研究人員的進一步討論：
https://arxiv.org/pdf/1606.06724v2.pdf
標記:無監督深度學習感知分組
如果你將好幾個梯形網絡串在一起就能形成一個大的網絡，它能夠將圖像中的物件分組。
對抗生成網絡（GAN）也有它自己的循環回路，但是在結構中看不出來，而是隱藏在它的訓練當中。GAN的訓練過程中包含了對合作和對抗網絡的訓練，這涉及了一個生成網絡和一個辨別網絡。辨別網絡想方設法將生成網絡生成的數據進行分級；生成網絡則是想方設法尋找欺騙辨別網絡的數據，最終生成器和辨別器的魯棒性都得到了提升。GAN可以說在某種程度上達到了圖靈測試的要求，是當前最好的圖片生成模型。
我們基本可以肯定有一種反饋機製，以生成器利用神經網絡（辨別器）生成更智能的結果（例如，更真實的圖形）這一形式而存在。有很多GANs生成真實圖形的案例。無論如何，由於梯形網絡，現在有更新的結構在促使GANs改變。
圖片來源：https://arxiv.org/abs/1612.04357v1 Stacked Generative Adversarial Networks
這些利用了循環的係統也與關於“增量學習”的新研究有關。深度學習係統的缺點之一就是在微調網絡時，用新數據來訓練會摧毀之前它掌握的技能。就是說，網絡會“忘記”過去的學習。由斯坦福開發的一個稱為“反饋網絡”模型結構裏，研究人員開發了一種特殊的網絡，可以自我反饋，還能內部迭代顯示。
https://feedbacknet.stanford.edu/feedback_networks_2016.pdf
在一篇更近的發表研究成果（2017年3月）中，加州伯克利大學通過GANs和一種新的正則化方法創造出了圖形之間的轉換，效果驚人。他們把這個係統叫做循環對抗生成網絡（CycleGAN），並且有了一些了不起的成果：
Source: https://junyanz.github.io/CycleGAN/
CycleGAN 能夠實現優異的圖形轉換。如上圖所示，向它輸入繪畫作品可以生成真實的照片。它還可以實現類似語義轉換的功能，如將馬變成斑馬、或將某個季節的圖片變成另外一種季節的樣子。
這種方法的關鍵在於，利用“循環一致的損失”。這種損失確保了這種網絡能夠實現一種單向轉換，之後又能夠通過最小損失實現相反的轉換。也就是說，網絡不僅僅必須學會轉換原始圖片，還得學會反向轉換。
訓練深度學習係統最大的難題在於缺乏標記數據。標記數據是控製深度學習模型精確性的源頭。不過，這些開始采用循環回路的新型係統正在解決缺乏監督的問題。這就像有一個永動機在自動憑空造出一些新的標記數據變量，最後反過來用更多數據來訓練自己。這種自動化機製讓他們自己和自己進行模擬遊戲，“玩”得多了，就能成為這方麵的專家。
這就類似於阿爾法狗(AlphaGo)，它也能夠通過自我訓練發展出新的策略。當自動化嵌入了反饋回路，而且能夠模擬（一些人稱之為“想象”）很多不同的情景，還能自測這些情景下的正確性，那麼我們就進入了超級科技爆發的臨界點。
而這種井噴式的快速發展所將帶來的科技能量，我們人類文明遠未做好掌握它的準備。所以下次如果你看見一些難以置信的深度學習成果，可以嚐試尋找嵌在算法裏的怪圈。
沒有任何準備的人們，祝你好運。
原文發布時間為：2017-5-15
本文來自雲棲社區合作夥伴“大數據文摘”，了解相關信息可以關注“BigDataDigest”微信公眾號
最後更新：2017-05-16 15:31:24