线性回归的地位
线性回归–最小二乘法估计与极大似然法则
线性回归模型
最小二乘估计，极大似然 ，及二者的关系（用频率派的角度理解最小二乘）
最小二乘估计
最小二乘估计的思路是：
我们找到的这个函数，于已有样本集的误差平方和 最小
极大似然
极大似然的思路是：
原本我们的样本x都是由模型
f
(
w
)
f(w)
f(w)生成的，但是在外界干扰的条件下，模型
f
(
w
)
f(w)
f(w)对x的输出(即y)会有所改变。
假设这个干扰 服从高斯分布 均值为0，方差为
σ
\sigma
σ
最小二乘估计 与 极大似然 的关系
事实上，最小二乘估计 就是 干扰服从高斯分布（均值为0，方差为
σ
\sigma
σ）的极大似然法则
线性回归–正则化
方法正则化
求模型即求参数w, 根据上图，想求w即要求
(
x
T
x
)
−
1
(x^Tx)^{-1}
(xTx)−1, 但是
(
x
T
x
)
(x^Tx)
(xTx)并不一定可逆。
数学上
(
x
T
x
)
(x^Tx)
(xTx)不可逆，模型直观上就是过拟合。
岭回归 l2 正则化 （频率派角度）
从贝叶斯派的角度 理解 L2正则化
正则化中 频率派和贝叶斯派 是一样的。
综上所述