559
14 篇論文為你呈現「遷移學習」研究全貌 | 論文集精選 #04
遷移學習對於人類來說，就是掌握舉一反三的學習能力。對於計算機而言，所謂遷移學習，就是從一個或多個源任務（source task）中抽取知識和經驗，然後將其應用於一個有相關性的目標領域（target domain）。
本期我們帶來的是由 PaperWeekly 社區用戶 @jindongwang 創建的遷移學習專題論文集，通過 14 篇最新和經典論文，帶大家了解遷移學習的發展和現狀。如果有合你心意的論文，複製鏈接到瀏覽器即可查看原文。
Domain adaptation via transfer component analysis
@jindongwang 推薦
遷移學習領域公認的經典工作，作者團隊來自香港科技大學 Qiang Yang 教授團隊，推薦所有做遷移學習研究的同學都看一看。
論文鏈接
https://www.paperweekly.site/papers/793
Geodesic flow kernel for unsupervised domain adaptation
@jindongwang 推薦
遷移學習領域代表性文章——GFK（Geodesic flow kernel）。GFK 方法首先解決 SGF 的問題：如何確定 source 和 target 路徑上中間點的個數。它通過提出一種 kernel 方法，利用路徑上的所有點的積分，把這個問題解決了。這是第一個貢獻。然後，它又解決了第二個問題：當有多個 source 的時候，我們如何決定使用哪個 source 跟 target 進行遷移？GFK 通過提出 Rank of Domain 度量，度量出跟 target 最近的 source，來解決這個問題。
論文鏈接
https://www.paperweekly.site/papers/794
Transfer feature learning with joint distribution adaptation
@jindongwang 推薦
遷移學習領域又一經典文章，是 TCA 的增強版本，推薦讀。JDA 方法比較巧妙，同時適配兩個分布，然後非常精巧地規到了一個優化目標裏。用弱分類器迭代，最後達到了很好的效果，值得我們去學習。
論文鏈接
https://www.paperweekly.site/papers/795
Unsupervised Domain Adaptation by Backpropagation
@jindongwang 推薦
深度遷移學習經典文章。
論文鏈接
https://www.paperweekly.site/papers/1035
代碼鏈接
https://github.com/shucunt/domain_adaptation
How transferable are features in deep neural networks?
@jindongwang 推薦
探究深度網絡的可遷移性質，非常值得讀。雖然該論文並沒有提出一個創新方法，但是通過實驗得到了以下幾個結論，對以後的深度學習和深度遷移學習都有著非常高的指導意義。
神經網絡的前 3 層基本都是 general feature，進行遷移的效果會比較好；深度遷移網絡中加入 fine-tune，效果會提升比較大，可能會比原網絡效果還好；Fine-tune 可以比較好地克服數據之間的差異性；深度遷移網絡要比隨機初始化權重效果好；網絡層數的遷移可以加速網絡的學習和優化。
論文鏈接
https://www.paperweekly.site/papers/796
代碼鏈接
https://github.com/yosinski/convnet_transfer
Deep Domain Confusion: Maximizing for Domain Invariance
@jindongwang 推薦
深度遷移學習最早期的代表性文章，雖然至今為止不知道發在哪裏（一直隻是在 arXiv 上），但是引用量很大，算是比較基礎性的工作。值得一讀。
論文鏈接
https://www.paperweekly.site/papers/1038
Learning Transferable Features with Deep Adaptation Networks
@jindongwang 推薦
深度適配網絡（Deep Adaptation Netowrk，DAN）是清華大學龍明盛提出來的深度遷移學習方法，最初發表於 2015 年的機器學習領域頂級會議 ICML 上。DAN 解決的也是遷移學習和機器學習中經典的 domain adaptation 問題，隻不過是以深度網絡為載體來進行適配遷移。
論文鏈接
https://www.paperweekly.site/papers/797
Simultaneous Deep Transfer Across Domains and Tasks
@jindongwang 推薦
傳統的深度遷移學習方法隻進行 domain confusion，這個文章加入了 task transfer，也就是說，充分考慮到類別之間的相似性。
論文鏈接
https://www.paperweekly.site/papers/1040
A Unified Framework for Metric Transfer Learning
@jindongwang 推薦
這篇文章的作者團隊來自新加坡南洋理工大學，主要老板是 Sinno Jialin Pan，他是遷移學習大牛楊強的學生，《A survey on transfer learning》的第一作者。文章比較新，值得一讀。
論文鏈接
https://www.paperweekly.site/papers/1039
Adversarial Discriminative Domain Adaptation
@corenel 推薦
ADDA 總結了 DA 領域的總體架構，提綱挈領。
論文鏈接
https://www.paperweekly.site/papers/690
代碼鏈接
https://github.com/erictzeng/adda
https://github.com/corenel/pytorch-adda
Correlation Alignment by Riemannian Metric for Domain Adaptation
@jindongwang 推薦
一個比較新的工作，但是創新性比較小：隻是將現有的 CoRAL 工作中的距離度量換成了在黎曼空間下的度量。
論文鏈接
https://www.paperweekly.site/papers/1042
Understanding How Feature Structure Transfers in Transfer Learning
@jindongwang 推薦
IJCAI-17 最新文章，理解遷移學習中 feature 是如何進行 transfer 的。有兩個大牛 Qiang Yang 和 Dacheng Tao 坐鎮，文章肯定不差。
論文鏈接
https://www.paperweekly.site/papers/1044
Associative Domain Adaptation
@corenel 推薦
相比較 ADDA 而言，從很大程度上提升了 DA 的性能，值得一讀。
論文鏈接
https://www.paperweekly.site/papers/686
代碼鏈接
https://github.com/haeusser/learning_by_association
Learning to Transfer
@jindongwang 推薦
遷移學習領域比較新的研究方向，將遷移學習與增量學習結合起來，是開創性的工作。建議一讀。
論文鏈接
https://www.paperweekly.site/papers/1041
原文發布時間為：2017-11-1
本文作者：ARC
本文來自雲棲社區合作夥伴“PaperWeekly”，了解相關信息可以關注““PaperWeekly”微信公眾號
最後更新：2017-11-02 15:34:36