966
深度煉丹指北：從“入坑”到“放棄”
隨著人工智能的火熱，越來越多朋友想要進入深度學習領域，但是總會遇到一個問題：想要係統的入門，但是身邊的資料鋪天蓋地，不知道該從哪裏入手。因此，本文想通過自己的一些學習經曆和平時收集的一些資料，為大家提供一個深度學習的煉丹清單，以期望幫助大家對深度學習有一個更詳細而全麵的學習。
一、數學篇
1.1 知識要點
1.1.1 線性代數
標量、向量、矩陣、張量、範數、特征分解、奇異值分解、距離
1.1.2 概率論
隨機變量、概率分布、條件概率、貝葉斯公式、期望、方差、常見分布函數、Lagrange乘子法、最大似然估計
1.1.3 微積分
極限、導數、微分、向量微積分、泰勒展開式、離散性和連續性變量
1.1.4 數值計算
上溢和下溢、複雜性與NP問題、數值計算
1.1.5 信息論
熵、聯合熵、條件熵、相對熵、互信息、最大熵模型
1.1.6 最優化理論
最優化理論、最優化問題的數學描述、凸集與凸集分離定理、梯度下降算法、隨機梯度下降算法、牛頓法、阻尼牛頓法、擬牛頓法
1.2 課程推薦
- 網易公開課 麻省理工公開課：線性代數講師：Gilbert Strang
1.3 書籍推薦
《Convex Optimization》(豆瓣),Stephen Boyd
《Introduction to Linear Algebra, 4th edition 》(豆瓣),GILBERT STRANG
二、算法篇
2.1 知識要點
2.1.1機器學習
- 正則化算法（Regularization Algorithms）
- 集成算法（Ensemble Algorithms）
- 決策樹算法（Decision Tree Algorithm）
- 回歸（Regression）
- 人工神經網絡（Artificial Neural Network）
- 深度學習（Deep Learning）
- 支持向量機（Support Vector Machine）
- 降維算法（Dimensionality Reduction Algorithms）
- 聚類算法（Clustering Algorithms）
- 基於實例的算法（Instance-based Algorithms）
- 貝葉斯算法（Bayesian Algorithms）
- 關聯規則學習算法（Association Rule Learning Algorithms）
- 圖模型（Graphical Models）
2.1.2深度學習
- 卷積神經網絡（convolutional neural network）， 這種算法在圖像識別中應用廣泛。
- Recursive neural network， 這種算法主要用在時序數據集中，比如語音。
- neural autoregressive topic model， 這種算法主要用在自然語言處理（主題模型）中。
- 基於autoencoder, restricted Boltzmann machine的深層模型。
- sum-product network，這種模型是基於和積運算的。
2.2 課程推薦
- 《Machine Learning》，Andrew Ng
- 《Deep Learning》，Andrew Ng
- 《機器學習基石》和《機器學習技法》，林軒田
- 《優達學城納米學位：機器學習工程師》
- 《優達學城納米學位：深度學習》
- 斯坦度CS231n：麵向視覺識別的卷積神經網絡，入門深度學習利器
2.3 書籍推薦
- 《統計學習方法》(豆瓣)作者: 李航
- 《集體智慧編程》(豆瓣)作者: Toby Segaran
- 《機器學習實踐》(豆瓣)作者: Peter Harrington
- 《機器學習》(豆瓣)作者: 周誌華
- 《深度學習》(豆瓣)作者: [美] 伊恩·古德費洛 / [加] 約書亞·本吉奧 / [加] 亞倫·庫維爾
- 《1天搞懂深度學習》，李宏毅
2.4 論文推薦
三、工具篇
3.1 知識要點
3.1.1Github(https://github.com/)
平時可以將自己的學習筆記和代碼放在Github上，同時Github上也有不少好資源
3.1.2 Python庫
3.1.3 R
3.2 課程推薦
3.3 書籍推薦
四、其他篇
4.1 相關會議
- ICML 是 International Conference on Machine Learning的縮寫，即國際機器學習大會。ICML如今已發展為由國際機器學習學會（IMLS）主辦的年度機器學習國際頂級會議。
- NIPS 全稱神經信息處理係統大會(Conference and Workshop on Neural Information Processing Systems)，是一個關於機器學習和計算神經科學的國際會議。該會議固定在每年的12月舉行,由NIPS基金會主辦。NIPS是機器學習領域的頂級會議。在中國計算機學會的國際學術會議排名中，NIPS為人工智能領域的A類會議
- KDD Knowledge Discovery and Data Mining，知識發現與數據挖掘）
- AAAI美國人工智能協會（American Association for Artificial Intelligence）美國人工智能協會是人工智能領域的主要學術組織之一。該協會主辦的年會（AAAI, The National Conference on Artificial Intelligence）是一個主要的人工智能學術會議。
- IJCAI國際人工智能聯合會議（International Joint Conference on Artificial Intelligence, 簡稱為IJCAI）是人工智能領域中最主要的學術會議之一，在單數年召開。
4.2 相關競賽
4.3 技術社區
4.4 博客
4.5 公眾號
- 天池大數據科研平台（tianchibigdata001），阿裏雲大數據競賽平台，經常發布一些直播學習課程、資料和天池競賽信息
- 雲棲社區(yunqiinsight)
- 機器之心(almosthuman2014)，關注人工智能學術和技術實現
- 蝙蝠遐想（Tech_Thinking)，人工智能、大數據技術分析
- 凡人機器學習（frjqxx)
4.6 知乎專欄
- 機器之心，關注人工智能學術和技術實現，**機器之心Synced創立於 2014 年，是國內首家係統性關注人工智能的科技媒體。**機器之心在全球人工智能重點區域均部署有專職技術分析師、行業分析師和顧問團隊，輸出原創技術分析文章與產業分析報告，關注全球人工智能行業一手新聞報道。
- 無痛的機器學習,無痛的機器學習小課堂，介紹機器學習的原理與應用。作者 @馮超 ， 畢業於中國科學院大學，滴滴出行專家算法工程師，前小猿搜題拍照搜題負責人之一。2017年獨立撰寫《深度學習輕鬆學：核心算法與視覺實踐》以輕鬆幽默的語言深入詳細地介紹了深度學習的基本結構，模型優化和參數設置細節，視覺領域應用等內容。
- 遠東軼事,作者是Facebook人工智能研究院研究員/研究經理，卡耐基梅隆大學機器人係博士 @田淵棟 。專欄是作者的一些隨筆，但是大部分都是和AI 相關的。
- 深度學習大講堂，推送深度學習的最新消息，包括最新技術進展，使用以及活動，由中科視拓（SeetaTech）運營。 中科視拓的創始團隊來自山世光研究員和陳熙霖研究員共同領導的中科院計算所智能信息處理實驗室視覺信息處理與學習研究組（簡稱VIPL研究組）。
- gluon：使用MXNet/Gluon來動手學深度學習,作者是卡內基梅隆大學 (Carnegie Mellon University) · 計算機係博士，Amazon Web Services (AWS) · Principal Scientist @李沐 的專欄。
- 智能單元，長期原創和翻譯深度學習和深度增強學習等領域文章
- 量子位，追蹤AI技術和產品新動態
4.7 微博
對於深度學習而言，除了對數學、算法理論基礎的深入理解和工具的熟練使用外，實踐尤為重要。所以在學習中，最好邊學習邊實踐，結合實際項目、競賽進行學習是技能成長最快的時候，平時可以多關注一些最新的消息動態，多和他人學習交流分享經驗，願大家好好煉丹，早日入坑。
（PS：如有不足之處，懇請指點）
最後更新：2017-11-27 14:33:48