655
技術社區[雲棲]
簡單自學機器學習理論——正則化和偏置方差的權衡 (Part III )
首發地址：https://yq.aliyun.com/articles/67170
本文由北郵@愛可可-愛生活 老師推薦，阿裏雲雲棲社區組織翻譯。
以下為譯文
-Part3
在第一部分探討了統計模型潛在的機器學習問題，並用它獲得最小泛化誤差這一問題；在第二部分通過建立關於難懂的泛化誤差的理論去得到實際能夠估計得到的經驗誤差，最後的結果是：
本節基於該簡化理論結果，開始針對解決機器學習問題的過程總結一些概念。
，並使用一維目標函數
2的高斯分布噪聲後為
y
200
線性模型的高偏置能夠通過線性假設函數
x分量為
，同樣地三次模型的低偏置能夠通過三次假設函數
很容易看到，假設與目標的平均值越接近，從目標值得到的平均損失也越小。這意味著低偏置的假設結果有著低的經驗風險。
由於
D作為精確假設的隨機變量。利用第一部分中的類似技巧，將隨機變量分解成兩個分量：代表其均值的確定性分量和代表其方差的隨機分量；
其中
因此
x
D的分解值可以得到：
D
0
D
-
1.
2. 
-5.4
3. 
22.7
4. 
-53.1
5. 
33.0
w
m
N
λ
L2L2-
L2
L2
2
等價於泛化界限
L
參考文獻：
l Christopher M. Bishop. 2006. Pattern Recognition and Machine Learning (Information Science and Statistics). Springer-Verlag New York, Inc., Secaucus, NJ, USA.
l Abu-Mostafa, Y. S., Magdon-Ismail, M., & Lin, H. (2012). Learning from data: ashort course.
文章原標題《Machine Learning Theory - Part III》，作者：Mostafa Samir，譯者：海棠
文章為簡譯，更為詳細的內容，請查看原文
最後更新：2017-07-12 22:09:15