992
實習博士訪談：我終於擁有了在大學實驗室夢寐以求的算力
正在穀歌實習的慕尼黑工業大學博士在讀生 Philip Haeusser 的研究領域是計算機視覺。在這篇訪談中，他談到了自己在穀歌的實習項目、經曆、收獲以及如何處理實習和自己博士研究課題的關係。
給我們介紹一下你自己，還有你的博士研究課題吧。
我是 Philip，慕尼黑工業大學博士研究生三年級在讀，師從 Daniel Cremers。我的研究領域為計算機視覺，即教計算機理解圖像及視頻的學科。對於計算機而言，圖像及視頻隻不過是巨大數量的無意義數字的組合。如果把它們以色彩表現出來，人類則很容易分辨圖片中的內容。
Philip Haeusser
為了教會計算機做同樣的事情，我訓練神經網絡，即一組可以被理解為是“迷你視覺皮層”的模型。目的是為了將組成圖像的數字賦予某種意義，如“貓”這樣的標簽。神經網絡在這方麵表現驚人。我研究的問題包括光流（從視頻的一幀是如何切換到下一幀的）以及域適配（如何使用將一種域的標簽，如手寫體的圖像，運用到另一種域，如穀歌街景裏的門牌號）等。
研究以外的時間，我會在我自己的 YouTube 頻道“Phil’s Physics”上演示一些實驗和分享一些科學知識。
你是如何進入這個領域的呢？
我於2014年在加州大學聖克魯茲分校獲得物理專業碩士學位。當時我在一個跨學科研究小組裏參與盲人視網膜移植的項目。我們所做的實驗之一需要處理大量的數據，這些數據都非常昂貴，但還無法全部被我們所使用，因為我們的數據處理程序不夠複雜。我就是在那時起開始涉獵機器學習和神經網絡。我立即被深深吸引並開始聯係相關領域的教授。我非常榮幸向 Daniel Cremers 展示了我的工作，並在之後開始讀他的博士。
你為什麼要來穀歌實習，你的導師是否支持？
深度學習領域發展速度迅勐。幾乎每周都有一篇有關神經網絡或訓練技巧的突破性的新論文發表，而論文作者多來自穀歌，這就使得我對於穀歌在這一領域所做的工作充滿了興趣。在一次夏校的課程裏我遇到了 Oliver Bousquet，他對穀歌大腦團隊的描述令人驚歎。他也提到了穀歌的實習項目，我立即就申請了。我的導師對此非常支持，能夠獲取不同的見解，認識更多的人，進行更多的交流總是好的，尤其是在深度學習這樣一個全新的領域。此外，在許多大學裏計算力無法達到的實驗在穀歌都可以獲得相關資源並得以完成。
你的實習項目是什麼？
我有幸與 DeepDream 創始人之一 Alexander Mordvintsev一起工作。所做的項目涉及用未標記數據和半監督學習訓練神經網絡的新方法。
我們開發了一種我們稱之為“關聯學習”的新方法。這有點兒類似“關聯遊戲”，你聽到一個詞並馬上說出你想到的第一個與之有關聯的詞。幾次“迭代”之後得到的“關聯鏈條”通常出人意料。
我們做的事情非常類似：我們訓練一個神經網絡來產生允許關聯的表征（神經激活模式），關聯指標記數據及未標記數據之間的關聯。想象從標記數據組中的一個樣本到未標記數據組中的另一個樣本之間建立一條關聯鏈條；之後，從未標記組到標記組中再建立一條關聯，這就形成了一個關聯循環。我們就可以將最後得到的樣本標簽與循環開始時的樣本標簽做對比。我們的目標在於建立連續一致的關聯循環，意指標簽是一致的。我們將其表達為成本函數，並證明了該技術對於使用少量標簽數據來練分類網絡非常有效。
你在穀歌實習期間有發表論文嗎？
有的，我完成了一篇論文並提交了 CVPR，在2017年 CVPR 大會上還發表了這篇論文。穀歌資助了我參會的費用。所以在穀歌的實習不僅大幅增長了我在產業裏的閱曆，還幫助我產出了一篇我自己引以為傲的論文。
你的實習經曆與你的博士研究課題相關性如何？
實習之初我們探尋了很多課題，後來從事的這一個與我的博士研究課題非常契合。事實上，我認為即便是參與一個與博士課題並非直接相關的實習項目也會受益良多，例如在編程及項目管理等方麵得到的能力訓練。
你自己寫代碼嗎？
多虧代碼複查，我得以提高了編碼水平以及對代碼風格及可拓展性有更多考量。穀歌也支持我將自己的代碼開源，這也是研究領域慣常的做法。我因此得以繼續我的工作，以及同時與全球的研究者分享代碼。我還完成了一篇後續論文，關於“關聯域適應”，這篇論文也剛被 ICCV 所接受。
這是你第二次在穀歌實習。為什麼又回到穀歌蘇黎世辦公室？
穀歌有太多吸引人的研究項目了，一次實習完全不夠，哈哈！說正經的，Sylvain Gelly 的小組邀我參與一個非常有趣的項目。我在去年見過他本人及他的團隊，他們都是非常牛的人，我一定不會錯過與他們共事的機會。
你在穀歌實習期間獲取的最重要的技能是什麼？
我認為我的編碼能力提高了很多。在穀歌，你有機會向很多超一流的程序員學習，他們的編碼質量高，速度快，他們還會幫你提高。與此同時，我還得以與很多不同背景的不同研究小組的成員交流。我遇到的一個產品經理在如何設計成功的產品方麵給我很大啟發。我還與他們一起參與了 YouTube 新特性的工作。我還在穀歌的健身中心裏與 Tough Mudder 的成員一起鍛煉了耐力。
實習經曆對你的博士研究有何影響？
回顧過去的實習經曆，這是我讀博經曆中重要的裏程碑。我當初申請實習也並不是想獲得學業的巨大轉折或者怎樣，不過我返回學校時確實已經收獲了非常多的想法和靈感。
回顧過去的經曆：博士在讀生為什麼要申請穀歌的實習？有任何建言嗎？
攻讀博士期間，有時你會感到困在原地，想要接觸不同的東西；有時你想做的實驗需要 1000 個GPU；有時你覺得自己已經無所不知，想要挑戰自己；有時你想象自己讀完博士後的生活，非常想體會狂寫代碼和對別人產生巨大影響是種什麼感覺。理由太多了。穀歌是個允許自我嚐試的地方，也許等你回家時，你已經完成了一篇很棒的論文，結交了一群好友，帶著一大堆新點子，甚至獲得了寶貴的工作機會。
原文發布時間為：2017-08-31
作者：Philip Haeusser
編譯：熊笑
本文來自雲棲社區合作夥伴“新智元”，了解相關信息可以關注“新智元”微信公眾號
最後更新：2017-08-31 16:33:04