叨叨游戏网
您的当前位置:首页机器学习---背后数学原理--SVM之核函数

机器学习---背后数学原理--SVM之核函数

来源:叨叨游戏网

核函数

在有的数据样本中,样本本就不是线性可分的。
所以,我们就希望 找到一个非线性函数,将样本数据由低维映射到高维,从而使得样本在高维空间下,是可以线性可分的。

cover theonemy: 高维比低维更容易线性可分。

通过非线性带来高维的转换

假设这个非线性的映射函数为 z = ϕ ( x ) z = \phi(x) z=ϕ(x)
则,映射之后,样本的特征由x变为z

解决方法:使用核函数
因为观看模型,我们最终不是要得到 ϕ ( x ) \phi(x) ϕ(x),我们只需得到 ϕ ( x i ) T ∗ ϕ ( x j ) \phi(x_i)^T*\phi(x_j) ϕ(xi)Tϕ(xj)计算结果即可。

即想个方法,直接得到 ϕ ( x i ) T ∗ ϕ ( x j ) \phi(x_i)^T*\phi(x_j) ϕ(xi)Tϕ(xj)的结果,而不要通过计算内积得到 ϕ ( x i ) T ∗ ϕ ( x j ) \phi(x_i)^T*\phi(x_j) ϕ(xi)Tϕ(xj)值。

因此,我们定义一个核函数 k ( x , x ′ ) k(x,x') k(x,x), 有

正定核

因篇幅问题不能全部显示,请点此查看更多更全内容