80
簡單自學機器學習理論——引言 (Part I )
首發地址：https://yq.aliyun.com/articles/67165
本文由北郵@愛可可-愛生活 老師推薦，阿裏雲雲棲社區組織翻譯。
以下為譯文
——part I 前言 （第II部分內容點此；第III部分內容點此）
動機
大多數人在小的時候被魔術師以及魔術技巧所迷住，並想弄明白其中的奧秘。有些人會帶著這份迷戀研究到更深處並學習魔術技巧，有些人會接受專業的訓練，而其他人會繼續平庸下去。我在年幼時也嚐試過魔術技巧並沉迷於其中，然而後來學習的是另外一種魔術，稱作計算機編程。
超過一半的開發者是無師自通。我是在全職工作外學習這些計算機科學知識，當你已經工作後再嚐試學習這些科目會是相當大的一個挑戰。
MOOC而且/並不是學習編程的完全正確趨勢。
機器學習
雖然在大二就開始自學機器學習，但當畢業後才意識到自己錯過了許多基礎知識。所以在同樣情形下，我很高興發現自己避免了這種情況的發生，但機器學習理論不像計算機科學世界那麼容易馴服。MOOC
本文根據作者本身學習計算機科學的經驗，給出了學習機器學習理論的這一係列文章，能夠填補自主學習機器學習的理論與實踐之間的差距，從而在征途上少一些艱辛。
這個係列是為了誰？
該係列意圖是為了給機器學習理論方麵提供簡單的介紹，這將會對你是有利的，如果你是：
l
l
如果你是機器學習的初學者，這可能不是你的最佳起點。使用實際教程開始會更好。當你掌握了機器學習實踐的竅門後，如果你覺得有必要，可以回到這裏。
先決條件
理論需要數學知識，機器學習的理論也不例外。但是由於這僅僅是為了簡單的介紹，不會鑽研太深的數學分析，將更加注重理論的直覺與足夠的數學知識以為了保持嚴謹。
大多數所需要的知識是：概率和隨機變量，和微積分的基本知識。
注意事項
我仍然不是這個領域的專家，所以當你在這個係列中發現一些錯誤，請讓我知道；
這僅僅是一個簡單介紹，如果你想真正理解該領域，在閱讀該係列的同時也要努力工作；
現在將機器學習問題快速公式化，以便建立起數學模型和框架
形式化學習問題
在這個係列中，將主要側重有監督學習問題，數據集
iyixiyi的值。比如說xi是具體醫學測量結果的特征向量，yi是病人是否為糖尿病，我們希望從給定的醫學測試結果中診斷是否患有糖尿病。
為了建立理論框架，重新梳理下已經知道的內容
1 xi,yi
X(X)P(Y)；
2 XX
3 Y
根據這三點，可以定義統計模型，下圖形式化的描述了模型的處理過程
目標函數
P
V
E[V|W]W
ζ表示噪聲變量ζ
X
f=f(x)
f
假設
f
f
這是所有函數h
損失函數
損失函數是用來評估假設函數估計目標函數的效果如何，定義損失函數（代價函數）
該函數是將從特征向量x
h
在這裏不稱作經驗誤差的原因是如果使用E
泛化誤差
我們的目標是學習總體數據集的概率分布，這意味著假設應該對采樣出的新數據也會有低的錯誤。這也說明這些表現好的假設在總體概率分布上有好的泛化，定義泛化誤差：
學習問題是否可解？
之間的絕對差的最小上界大於
的概率，若該概率足夠小，則學習問題可解。
參考文獻：
l James, Gareth, et al. An introduction to statistical learning. Vol. 6. New York:springer, 2013.
l Friedman, Jerome, Trevor Hastie, and Robert Tibshirani. The elements of statistical learning. Vol. 1. Springer, Berlin: Springer series in statistics, 2001.
l Mohri, Mehryar, Afshin Rostamizadeh, and Ameet Talwalkar. Foundations of machine learning. MIT press, 2012.
l Abu-Mostafa, Y. S., Magdon-Ismail, M., & Lin, H. (2012). Learning from data: ashort course
文章原標題《Machine Learning Theory - Part I》，作者：Mostafa Samir，譯者：海棠
文章為簡譯，更為詳細的內容，請查看原文
最後更新：2017-07-12 22:08:24