機器學習----線性回歸模型

一，線性模型描述

簡單線性回歸如：
y= ax+b

對於多變量的情形

通常，通過機器學習訓練模型計算的值和真實值可能存在一定的誤差：

因此，我們使用最大似然估計就可以得到損失函數：

利用高斯的對數似然化簡：

致此，我們就得到了損失函數。
通常，我們想要使我們的目標函數值最小，這樣我們模型預測的值就更加精確。
二，梯度下降和最小二乘法
1.最小二乘法：
在目標函數的導數為零的點為極值點，

得到：

2.梯度下降：
梯度下降又分為批量梯度下降和隨機梯度下降，二者的區別在於，批量梯度下降是對全樣本量的迭代，而隨機梯度下降是單個樣本下降迭代。