205
深度學習中的奇怪循環 你知道幾個？
Credit: Escher https://www.esmadrid.com/en/whats-on/escher-gaviria-palace
道格拉斯·霍夫斯塔特（Douglas Hofstadter）在他的著作《我是一個奇怪的循環》中提出了這個看法：
最終，我們能夠自我感知、自我創造、自我參照。
他將這種自我參照的機製稱為思想獨特的屬性。這個奇怪的循環是在層次結構中跨越多個層次的循環係統。順著這個循環移動，人們會重新回到自己最初開始的地方。
巧合的是，這個“奇怪的循環”其實就是Yann LeCun所說的“機器學習領域過去二十年裏最酷的想法”。
深度學習係統中的循環並不典型。這些係統通常由計算層的非循環圖組成。然而，正如我們現在發現的那樣，“反饋循環”的使用在自動化領域創造出了一個最令人難以置信的新功能。這絕對不是幻想，這就發生在今天，研究人員正在訓練“狹義”智力係統，希望能創造出超越人類的超級專業級自動化。
我首先要談到的是在“梯形網絡”中使用了反饋回路的深度學習係統。梯形網絡這個概念的提出最早可以追溯到2015年7月（參見：https://arxiv.org/abs/1507.02672v2），這是它的架構圖：
https://arxiv.org/abs/1511.06430v4 梯形網絡架構圖
梯形網絡是一個單向循環，上下層都是單通。係統從循環部分獲取信息。在2016年中期的一篇論文中，最初的研究人員對其做了進一步的擴展：
https://arxiv.org/pdf/1606.06724v2.pdf 深度無監督感知分組
將多個梯形網絡串聯在一起可以形成一個能夠對圖像中的對象進行分組的網絡。
生成式對抗網絡（GAN）也有自己的循環，但在其架構中並不是顯式的存在，而是作為其訓練的一部分。 GAN參與了合作式和決鬥式網絡的訓練。這涉及到生成式網絡和判別性網絡。鑒別器網絡嚐試對生成式網絡正在創建的數據進行分類。生成式網絡試圖找出想要欺騙判別性網絡的數據，並最終形成更健壯的鑒別器和生成器。 GAN執行的是一種圖靈測試，這是目前針對圖像最佳的生成模型。
目前存在一種反饋機製，它是以神經網絡的形式來使用，生成器使用這種機製可以生成更為複雜的結果（例如，更真實的圖像）。利用GAN生成真實圖像的例子有很多。然而，新的架構現在正在促使梯形網絡的GAN進行改進：
https://arxiv.org/abs/1612.04357v1 堆疊式生成對抗網絡
這些利用周期的係統也與最新研究“增量學習”有關。深度學習係統有一個缺點，那就是在用新數據進行訓練來微調網絡的時候，會破壞原有的記憶能力。網絡會“遺忘”過去所學的東西。在斯坦福大學開發的一個名為“反饋網絡”的架構中，研究人員研究出另一種不同的網絡，它能夠反饋到自身並逐步形成內部表示：
https://feedbacknet.stanford.edu/feedback_networks_2016.pdf
在加州大學伯克利分校最近發表的一項研究（2017年3月）中，他們使用GAN和一種新型的規則化實現了令人驚訝的圖像到圖像翻譯。他們稱這個係統為CycleGAN，並展示了一些讓人印象深刻的結果：
來源: https://junyanz.github.io/CycleGAN/
CycleGAN能夠實現非常優秀的圖像翻譯。如上圖所示，它以畫作作為輸入，輸出逼真的照片。它還可以實現語義翻譯，例如將馬變成斑馬，或將一個季節拍攝的圖像轉變成看起來是在另一個季節拍攝的。
該方法的關鍵是使用“循環一致性損失”。這種損失確保網絡可以執行前向翻譯，然後以最小的損失進行逆向翻譯。也就是說，網絡不僅要學習如何翻譯原始圖像，還需要學習逆向（或反向）翻譯。
訓練深度學習係統的難點在於缺少標簽數據。標簽數據是驅動深層學習模型準確性的動力。而這些利用循環的新型係統則解決了標簽數據缺少的問題。它就像是一台永動機，在這些自動化中憑空創造出各種各樣的標簽數據。因此，他們能夠為自己提供更多的數據。這些自動化能夠自己跟自己玩模擬遊戲，並且如果玩得足夠多的話，最後就會成為專家。
這類似於AlphaGo，它能夠通過自我對戰來開發出新的Go策略。當自動化嵌入反饋回路，模擬出（有些將稱之為“想象力”）許多不同的場景，並自我測試這些場景正確性的時候，說明我們已處於一種極為強大的技術的尖端，這項技術可以迅速發展成為我們文明中幾乎沒人具有的能力。所以，在你看到一些令人難以置信的深度學習結果的時候，可以去尋找嵌入在方法中的那個奇怪的循環。
文章原標題《The Strange Loop in Deep Learning》，作者：Carlos E. Perez，譯者：夏天，審校：主題曲。
文章為簡譯，更為詳細的內容，請查看原文（需備梯子）或者下載PDF文檔閱讀。
最後更新：2017-07-18 10:33:18