一种核化的逆近邻判别分析方法技术

本发明专利技术公开了一种核化的逆近邻判别分析方法，包括如下步骤：获得训练图像样本；利用高斯核函数将输入数据映射到高维空间；利用核技巧以及逆近邻算法得到训练图像样本在高维空间中的类内散度矩阵和类间散度矩阵的表达；通过特征分解学习最大化类间散度矩阵和最小化类内散度矩阵的投影矩阵；利用投影矩阵对训练和测试图像样本进行特征提取；使用最近邻算法对测试样本进行分类。本发明专利技术首次将逆近邻线性判别分析方法推广到高维空间，以解决非线性数据的分类问题，提出使用高斯核函数进行高维映射，对该算法进行核化，利用核技巧进行非显式映射的推导，在高斯函数映射后的空间中建立高维逆近邻进而求取散度矩阵，其中利用核技巧实现高维空间中的距离表达。现高维空间中的距离表达。现高维空间中的距离表达。

【技术实现步骤摘要】
一种核化的逆近邻判别分析方法


[0001]本专利技术属于逆近邻判别分析领域，尤其涉及一种核化的逆近邻判别分析方法。

技术介绍

[0002]线性判别分析法(LDA)是一种有监督的经典的线性学习方法，它源于Fisher判别式，它不仅可以用于特征降维，还可以有效解决有监督的分类问题。它的原理是在给定的训练样本中，试图找到能使类间散度矩阵最大化和类内散度矩阵最小化的投影矩阵，并利用该投影矩阵对测试样本进行降维，进而可以使用最近邻或其它分类器进行分类。作为一种有监督的特征提取方法，LDA已经在模式识别分类任务中，证明了它的可行性和有效性，并且被广泛应用于数据降维、信号分析、图像分类等领域。特别在手写数字识别、人脸识别、目标分类等视觉分类任务上有较显著的研究成果。
[0003]在LDA算法中，需要假设样本服从独立同分布(i.i.d.)，才能获得较好的分类结果。但当同一个类的样本来自几个不同的集群，有不同的方差时，使得上述假设不成立，则LDA难以得到很好的分类效果。混合判别分析(MDA)是解决该问题的一种重要方法，其使用高斯模型对不同的集群进行建模。另外一种解决方案是流形或者图论的方法对局部结构进行建模，还有一类方法是使用k近邻等非参数方法对局部邻域进行建模，其中基于逆近邻的线性判别分析(nLDA)是最近提出的其中一种解决多模态问题的有效方法。nLDA通过逆近邻算法构建散度矩阵，而逆近邻算法是一种有效的无监督离群点检测方法，它可以排除训练集中的“孤立点”，具有更优的分类能力。nLDA是一种直接将散度矩阵定义在邻域上的方法，是一种新的局部判别器。它的最小子类可以看作是一个邻域，这样就解决了原来LDA算法必须要样本服从独立和同分布(i.i.d.)的问题。由于nLDA是LDA的一种延伸，因此nLDA也是一种线性方法，当遇到非线性数据时得到的结果并不理想，以人脸识别为例，通常人脸的表情、姿态或光照的变化常会造成非线性的结果。解决非线性问题的一种常用的解决方案是将原始输入数据的点映射到一个更高维的欧氏空间，然后在该高维空间上学习分类器，进行判别学习。因此本专利技术为了提高nLDA在处理非线性数据上的性能，提出了一种核化的逆近邻判别分析方法(KRNDA)，该方法将原始数据首先利用高斯核映射函数映射至高维希尔伯特空间，然后在高维空间中进行逆近邻的判别分析。然而由于高斯核映射的空间是非显式的，即其隐射函数不能进行显式的表达。

技术实现思路

[0004]本专利技术的目的在于提供一种核化的逆近邻判别分析方法，将原始数据首先利用高斯核映射函数映射至高维希尔伯特空间，然后在高维空间中进行逆近邻的判别分析，同时利用核技巧对逆近邻线性判别分析进行了核化的推导。并且在求样本逆近邻的过程中采用高维空间上的距离，得到高维逆近邻，进一步有效排除离群点。
[0005]为了达到上述目的，在本专利技术提供如下的技术方案：
[0006]一种核化的逆近邻判别分析方法，其包括如下步骤：
[0007]S1、获得训练图像样本，所述训练图像样本为X＝[x1,x2,
…
,x
N
]；
[0008]S2、利用高斯核函数将输入数据映射到高维空间，所述输入数据为训练图像样本；
[0009]S3、利用核技巧以及逆近邻算法得到训练图像样本在高维空间中的类内散度矩阵和类间散度矩阵表达；
[0010]S4、通过特征分解学习最大化类间散度矩阵和最小化类内散度矩阵的投影矩阵；
[0011]S5、利用投影矩阵训练和所述测试图像样本进行特征提取；
[0012]S6、使用最近邻算法对测试样本进行分类。
[0013]进一步地，所述利用高斯核函数将输入数据映射到高维空间具体为：定义一种映射使每个样本从原始特征空间R
d
映射到高维特征空间F，将其表示为：R
d
→
F,其目的是使特征空间中的线性子空间可以通过映射向量来张成，其中表示将样本x从原始特征空间映射到高维特征空间，是样本在高维特征空间中的表示。将训练样本中的第i个图像向量x
i
和第j个图像向量x
j
的内积表示为以下的核函数形式：
[0014][0015]其中，<
·
>为高维特征空间中两个向量的内积；选择典型而有效的高斯核函数k
g
，并且进行内积计算，将其表示如下：
[0016][0017]其中，σ是高斯核函数中的一个可调参数。
[0018]进一步地，所述利用核技巧以及逆近邻算法得到训练图像样本在高维空间中的类内散度矩阵和类间散度矩阵表达，具体为：
[0019]S301、在高维核空间中去确定样本的逆近邻，高维空间中样本点在N个映射后的图像样本集合中的k阶逆近邻表达为:
[0020][0021]其中，表示高维样本点的k阶近邻；
[0022]得到高维空间中的一个最优投影矩阵ω＝[ω1,ω2,
…
,ω
i
,
…
,ω
h
],h表示最后特征保留的维度,使得类间散度最大化同时类内散度最小化,即最大化下面式子:
[0023][0024]在高维空间F中的h个投影向量ω＝[ω1,ω2,
…
,ω
i
,
…
,ω
h
],则投影向量在原始高维数据张成的F空间中线性表示：
[0025][0026]其中，α
ij
和N分别指的是线性组合的系数和训练样本的总数。
[0027]S302、得到了最优投影矩ω，通过对映射后的高维样本进行投影，即可获得降维后的判别特征则
[0028][0029]使用上面的线性表达式以及核技巧,上式中的表达成：
[0030][0031]其中α
i
＝[α
i1
,α
i2
,
…
,α
iN
]T
,由于则K
m
表示所有训练的高维样本和第m个高维样本之间的内积向量；
[0032]S303、使用高斯核函数计算核函数k(x
i
,x
m
)，计算出低维投影特征g
m
，对降维后的判别特征进行优化，其中低维投影特征g
m
表达为:
[0033][0034]其中α＝[α1,α2,
…
,α
h
]T
。
[0035]进一步地，所述通过特征分解学习最大化类间散度矩阵和最小化类内散度矩阵的投影矩阵的具体步骤为：将所述学习能够最大化类间散度矩阵和最小化类内散度矩阵的问题转化为经典的特征分解问题：
[0036]Bα＝λWα
[0037]其中B和W分别为映射后类间散度矩阵和类内散度矩阵。
[0038]进一步地，所述经典的特征分解问题为：求解过程中,通过对(W)
...

【技术保护点】

【技术特征摘要】
1.一种核化的逆近邻判别分析方法，其特征在于，包括如下步骤：S1、获得训练图像样本，所述训练图像样本为X＝[x1,x2,...,x
N
]；S2、利用高斯核函数将输入数据映射到高维空间，所述输入数据为训练图像样本；S3、利用核技巧以及逆近邻算法得到训练图像样本在高维空间中的类内散度矩阵和类间散度矩阵表达；S4、通过特征分解学习最大化类间散度矩阵和最小化类内散矩阵的投影矩阵；S5、利用投影矩阵训练和所述测试图像样本进行特征提取；S6、使用最近邻算法对所述测试图像样本进行分类。2.根据权利要求1所述的核化的逆近邻判别分析方法，其特征在于，所述利用高斯核函数将输入数据映射到高维空间具体为：定义一种映射使每个样本从原始特征空间R
d
映射到高维特征空间F，将其表示为：到高维特征空间F，将其表示为：其目的是使特征空间中的线性子空间可以通过映射向量来张成，其中表示将样本x从原始特征空间映射到高维特征空间中，是样本x在高维特征空间中的表示；将训练样本中的第i个图像向量x
i
和第j个图像向量x
j
的内积表示为以下的核函数形式：其中，<
·
>为高维特征空间中两个向量的内积；选择典型而有效的高斯核函数k
g
，并且进行内积计算，将其表示如下：其中，σ是高斯核函数中的一个可调参数。3.根据权利要求1所述的核化的逆近邻判别分析方法，其特征在于，所述利用核技巧以及逆近邻算法得到训练图像样本在高维空间中的类内散度矩阵和类间散度矩阵表达，具体为：S301、在高维核空间中去确定样本的逆近邻，高维空间中样本点在N个映射后的图像样本集合中的k阶逆近邻表达为:其中，表示高维样本点的k阶近邻；得到高维空间中的一个最优投影矩阵ω＝[ω1,ω2,...,ω
i
,...,ω
h
],h表示最后特征保留的维度,使得类间散度矩阵最大化和类内散度矩阵最小化,即最大化J
KRNDA
(ω)，用下面式子表示:在高维空间F中的h个投影向量ω＝[ω1,ω2,...,ω
i
,...,ω
h
],则投影向量在原始高维数据张成的F空间中线性表示：
其中，α
ij
和N分别指的是线性组合系数和训练样本总数；S302、得到了最优投影矩ω，通过对映射后的高维样本进行投影，即可获得降维后的判别特征则使用上面的线性表达式以及核技巧,上式中的表达成：其中α
i
＝[α
i1
,α
i2
,...,α
iN
]...

【专利技术属性】
技术研发人员：谭恒良，李旺旺，谢铭，冯健维，杜娇，杨朔，颜国风，
申请(专利权)人：广州大学，
类型：发明
国别省市：