机器学习----线性回归模型

一，线性模型描述

简单线性回归如：
y= ax+b

对于多变量的情形

通常，通过机器学习训练模型计算的值和真实值可能存在一定的误差：

因此，我们使用最大似然估计就可以得到损失函数：

利用高斯的对数似然化简：

致此，我们就得到了损失函数。
通常，我们想要使我们的目标函数值最小，这样我们模型预测的值就更加精确。
二，梯度下降和最小二乘法
1.最小二乘法：
在目标函数的导数为零的点为极值点，

得到：

2.梯度下降：
梯度下降又分为批量梯度下降和随机梯度下降，二者的区别在于，批量梯度下降是对全样本量的迭代，而随机梯度下降是单个样本下降迭代。