966
深度炼丹指北：从“入坑”到“放弃”
随着人工智能的火热，越来越多朋友想要进入深度学习领域，但是总会遇到一个问题：想要系统的入门，但是身边的资料铺天盖地，不知道该从哪里入手。因此，本文想通过自己的一些学习经历和平时收集的一些资料，为大家提供一个深度学习的炼丹清单，以期望帮助大家对深度学习有一个更详细而全面的学习。
一、数学篇
1.1 知识要点
1.1.1 线性代数
标量、向量、矩阵、张量、范数、特征分解、奇异值分解、距离
1.1.2 概率论
随机变量、概率分布、条件概率、贝叶斯公式、期望、方差、常见分布函数、Lagrange乘子法、最大似然估计
1.1.3 微积分
极限、导数、微分、向量微积分、泰勒展开式、离散性和连续性变量
1.1.4 数值计算
上溢和下溢、复杂性与NP问题、数值计算
1.1.5 信息论
熵、联合熵、条件熵、相对熵、互信息、最大熵模型
1.1.6 最优化理论
最优化理论、最优化问题的数学描述、凸集与凸集分离定理、梯度下降算法、随机梯度下降算法、牛顿法、阻尼牛顿法、拟牛顿法
1.2 课程推荐
- 网易公开课 麻省理工公开课：线性代数讲师：Gilbert Strang
1.3 书籍推荐
《Convex Optimization》(豆瓣),Stephen Boyd
《Introduction to Linear Algebra, 4th edition 》(豆瓣),GILBERT STRANG
二、算法篇
2.1 知识要点
2.1.1机器学习
- 正则化算法（Regularization Algorithms）
- 集成算法（Ensemble Algorithms）
- 决策树算法（Decision Tree Algorithm）
- 回归（Regression）
- 人工神经网络（Artificial Neural Network）
- 深度学习（Deep Learning）
- 支持向量机（Support Vector Machine）
- 降维算法（Dimensionality Reduction Algorithms）
- 聚类算法（Clustering Algorithms）
- 基于实例的算法（Instance-based Algorithms）
- 贝叶斯算法（Bayesian Algorithms）
- 关联规则学习算法（Association Rule Learning Algorithms）
- 图模型（Graphical Models）
2.1.2深度学习
- 卷积神经网络（convolutional neural network）， 这种算法在图像识别中应用广泛。
- Recursive neural network， 这种算法主要用在时序数据集中，比如语音。
- neural autoregressive topic model， 这种算法主要用在自然语言处理（主题模型）中。
- 基于autoencoder, restricted Boltzmann machine的深层模型。
- sum-product network，这种模型是基于和积运算的。
2.2 课程推荐
- 《Machine Learning》，Andrew Ng
- 《Deep Learning》，Andrew Ng
- 《机器学习基石》和《机器学习技法》，林轩田
- 《优达学城纳米学位：机器学习工程师》
- 《优达学城纳米学位：深度学习》
- 斯坦度CS231n：面向视觉识别的卷积神经网络，入门深度学习利器
2.3 书籍推荐
- 《统计学习方法》(豆瓣)作者: 李航
- 《集体智慧编程》(豆瓣)作者: Toby Segaran
- 《机器学习实践》(豆瓣)作者: Peter Harrington
- 《机器学习》(豆瓣)作者: 周志华
- 《深度学习》(豆瓣)作者: [美] 伊恩·古德费洛 / [加] 约书亚·本吉奥 / [加] 亚伦·库维尔
- 《1天搞懂深度学习》，李宏毅
2.4 论文推荐
三、工具篇
3.1 知识要点
3.1.1Github(https://github.com/)
平时可以将自己的学习笔记和代码放在Github上，同时Github上也有不少好资源
3.1.2 Python库
3.1.3 R
3.2 课程推荐
3.3 书籍推荐
四、其他篇
4.1 相关会议
- ICML 是 International Conference on Machine Learning的缩写，即国际机器学习大会。ICML如今已发展为由国际机器学习学会（IMLS）主办的年度机器学习国际顶级会议。
- NIPS 全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIPS基金会主办。NIPS是机器学习领域的顶级会议。在中国计算机学会的国际学术会议排名中，NIPS为人工智能领域的A类会议
- KDD Knowledge Discovery and Data Mining，知识发现与数据挖掘）
- AAAI美国人工智能协会（American Association for Artificial Intelligence）美国人工智能协会是人工智能领域的主要学术组织之一。该协会主办的年会（AAAI, The National Conference on Artificial Intelligence）是一个主要的人工智能学术会议。
- IJCAI国际人工智能联合会议（International Joint Conference on Artificial Intelligence, 简称为IJCAI）是人工智能领域中最主要的学术会议之一，在单数年召开。
4.2 相关竞赛
4.3 技术社区
4.4 博客
4.5 公众号
- 天池大数据科研平台（tianchibigdata001），阿里云大数据竞赛平台，经常发布一些直播学习课程、资料和天池竞赛信息
- 云栖社区(yunqiinsight)
- 机器之心(almosthuman2014)，关注人工智能学术和技术实现
- 蝙蝠遐想（Tech_Thinking)，人工智能、大数据技术分析
- 凡人机器学习（frjqxx)
4.6 知乎专栏
- 机器之心，关注人工智能学术和技术实现，**机器之心Synced创立于 2014 年，是国内首家系统性关注人工智能的科技媒体。**机器之心在全球人工智能重点区域均部署有专职技术分析师、行业分析师和顾问团队，输出原创技术分析文章与产业分析报告，关注全球人工智能行业一手新闻报道。
- 无痛的机器学习,无痛的机器学习小课堂，介绍机器学习的原理与应用。作者 @冯超 ， 毕业于中国科学院大学，滴滴出行专家算法工程师，前小猿搜题拍照搜题负责人之一。2017年独立撰写《深度学习轻松学：核心算法与视觉实践》以轻松幽默的语言深入详细地介绍了深度学习的基本结构，模型优化和参数设置细节，视觉领域应用等内容。
- 远东轶事,作者是Facebook人工智能研究院研究员/研究经理，卡耐基梅隆大学机器人系博士 @田渊栋 。专栏是作者的一些随笔，但是大部分都是和AI 相关的。
- 深度学习大讲堂，推送深度学习的最新消息，包括最新技术进展，使用以及活动，由中科视拓（SeetaTech）运营。 中科视拓的创始团队来自山世光研究员和陈熙霖研究员共同领导的中科院计算所智能信息处理实验室视觉信息处理与学习研究组（简称VIPL研究组）。
- gluon：使用MXNet/Gluon来动手学深度学习,作者是卡内基梅隆大学 (Carnegie Mellon University) · 计算机系博士，Amazon Web Services (AWS) · Principal Scientist @李沐 的专栏。
- 智能单元，长期原创和翻译深度学习和深度增强学习等领域文章
- 量子位，追踪AI技术和产品新动态
4.7 微博
对于深度学习而言，除了对数学、算法理论基础的深入理解和工具的熟练使用外，实践尤为重要。所以在学习中，最好边学习边实践，结合实际项目、竞赛进行学习是技能成长最快的时候，平时可以多关注一些最新的消息动态，多和他人学习交流分享经验，愿大家好好炼丹，早日入坑。
（PS：如有不足之处，恳请指点）
最后更新：2017-11-27 14:33:48