核函数
在有的数据样本中,样本本就不是线性可分的。
所以,我们就希望 找到一个非线性函数,将样本数据由低维映射到高维,从而使得样本在高维空间下,是可以线性可分的。
cover theonemy: 高维比低维更容易线性可分。
即通过非线性带来高维的转换
假设这个非线性的映射函数为
z
=
ϕ
(
x
)
z = \phi(x)
z=ϕ(x)
则,映射之后,样本的特征由x变为z
解决方法:使用核函数
因为观看模型,我们最终不是要得到
ϕ
(
x
)
\phi(x)
ϕ(x),我们只需得到
ϕ
(
x
i
)
T
∗
ϕ
(
x
j
)
\phi(x_i)^T*\phi(x_j)
ϕ(xi)T∗ϕ(xj)计算结果即可。
即想个方法,直接得到
ϕ
(
x
i
)
T
∗
ϕ
(
x
j
)
\phi(x_i)^T*\phi(x_j)
ϕ(xi)T∗ϕ(xj)的结果,而不要通过计算内积得到
ϕ
(
x
i
)
T
∗
ϕ
(
x
j
)
\phi(x_i)^T*\phi(x_j)
ϕ(xi)T∗ϕ(xj)值。
因此,我们定义一个核函数
k
(
x
,
x
′
)
k(x,x')
k(x,x′), 有
正定核