655
简单自学机器学习理论——正则化和偏置方差的权衡 (Part III )
首发地址：https://yq.aliyun.com/articles/67170
本文由北邮@爱可可-爱生活 老师推荐，阿里云云栖社区组织翻译。
以下为译文
-Part3
在第一部分探讨了统计模型潜在的机器学习问题，并用它获得最小泛化误差这一问题；在第二部分通过建立关于难懂的泛化误差的理论去得到实际能够估计得到的经验误差，最后的结果是：
本节基于该简化理论结果，开始针对解决机器学习问题的过程总结一些概念。
，并使用一维目标函数
2的高斯分布噪声后为
y
200
线性模型的高偏置能够通过线性假设函数
x分量为
，同样地三次模型的低偏置能够通过三次假设函数
很容易看到，假设与目标的平均值越接近，从目标值得到的平均损失也越小。这意味着低偏置的假设结果有着低的经验风险。
由于
D作为精确假设的随机变量。利用第一部分中的类似技巧，将随机变量分解成两个分量：代表其均值的确定性分量和代表其方差的随机分量；
其中
因此
x
D的分解值可以得到：
D
0
D
-
1.
2. 
-5.4
3. 
22.7
4. 
-53.1
5. 
33.0
w
m
N
λ
L2L2-
L2
L2
2
等价于泛化界限
L
参考文献：
l Christopher M. Bishop. 2006. Pattern Recognition and Machine Learning (Information Science and Statistics). Springer-Verlag New York, Inc., Secaucus, NJ, USA.
l Abu-Mostafa, Y. S., Magdon-Ismail, M., & Lin, H. (2012). Learning from data: ashort course.
文章原标题《Machine Learning Theory - Part III》，作者：Mostafa Samir，译者：海棠
文章为简译，更为详细的内容，请查看原文
最后更新：2017-07-12 22:09:15