基于鉴别线性表示核字典学习的分类方法技术

本发明专利技术公开了基于鉴别线性表示核字典学习的分类方法，该方法利用训练样本集识别测试样本所属的类别。在训练阶段，首先对训练样本集进行核映射，得到每一类训练样本的核矩阵，然后通过鉴别线性表示核字典学习得到对应每一类训练样本核矩阵的字典。在分类测试阶段，首先对测试样本进行核映射，得到测试样本的核矩阵，然后计算用对应每一类训练样本核矩阵的字典去重构测试样本的重构误差，最后将测试样本归为重构误差最小的字典所对应的那一类。本发明专利技术相较于现有技术有效提高了字典的分类能力，明显提高了分类精度。

【技术实现步骤摘要】

本专利技术具体涉及基于鉴别线性表示核字典学习的分类方法，属于模式识别

技术介绍
现有的“基于核鉴别线性表示的分类方法”(KDLRC，刘茜，“基于核鉴别线性表示的分类方法”，专利申请号：201410026937.6，专利申请日：2014.01.21.)：设X＝[X1,X2,...,Xc]表示包含c个类别的训练样本集，表示第i个类别的训练样本集，Xi包含Ni个样本，xij∈Rd(Rd表示d维的实向量集合)表示第i类的第j个训练样本，y∈Rd表示一个测试样本。KDLRC方法首先通过核映射φ:Rd→F将所有样本从d维的线性空间Rd映射到高维的非线性核空间F(F的维数远大于d)，则训练样本xij映射为φ(xij)，测试样本y映射为φ(y)。然后通过核主成分分析方法(KernelPrincipalComponentAnalysis，KPCA，B.Scholkopf,A.Smola,andK.Muller,“NonlinearComponentAnalysisasaKernelEigenvalueProblem”,NeuralComputation,vol.10,no.5,pp.1299-1319,1998)将高维核空间样本的维数降低到N-1，并对降维后的样本进行L2-norm归一化。用φkpca(xij)表示降维并归一化后的φ(xij)，φkpca(y)表示降维并归一化后的φ(y)。在KPCA特征空间中，KDLRC方法通过求解下面的问题获得对应φkpca(Xi)的一组线性表示系数最后计算在KPCA空间中用每个类的训练样本去重构测试样本y的重构误差，如下：ri(φkpca(y))＝||φkpca(y)-φkpca(Xi)βi||2(i＝1,2,…,c)如果rk(φkpca(y))在r1(φkpca(y)),r2(φkpca(y)),…,rc(φkpca(y))中最小，KDLRC方法将y归到第k类。KDLRC方法在KPCA特征空间中使用每个类的训练样本集作为字典去重构测试样本，得到的所有重构样本很可能都与测试样本之间存在较大的误差。在重构误差都比较大的情况下再根据这些误差去进行分类，很可能对分类结果产生不利的影响。
技术实现思路
专利技术目的：基于鉴别线性表示核字典学习的分类方法不使用KPCA，在核空间中使用训练样本集进行字典学习，对每个类学习得到一个能够更加精确地表示该类样本的字典，同时要求该字典不能精确表示其他类的样本，然后再分别使用每个学习得到的字典去重构测试样本来进行分类，从而可以有效地提高分类效果。在YaleB人脸数据库(A.S.Georghiades,P.N.Belhumeur,andD.J.Kriegman,“FromFewtoMany:IlluminationConeModelsforFaceRecognitionunderVariableLightingandPose”,IEEETrans.PatternAnalysisandMachineIntelligence,vol.23,no.6,pp.643-660,2001)和MNIST手写体数字数据库(Y.Mizukami,K.Tadamura,J.Warrell,P.Li,andS.Prince,“CUDAImplementationofDeformablePatternRecognitionandItsApplicationtoMNISTHandwrittenDigitDatabase”,Int.Conf.PatternRecognition,pp.2001-2004,2010)上做仿真实验，证明基于鉴别线性表示核字典学习的分类方法能够更好地对测试样本进行分类。本专利技术的技术方案如下：设X＝[X1,X2,...,Xc]表示包含c个类别的训练样本集，表示第i个类别的训练样本集，Xi包含Ni个样本，xij∈Rd(Rd表示d维的实向量集合)表示第i类的第j个训练样本，y∈Rd表示一个测试样本。在训练阶段，步骤1，通过核映射φ:Rd→F将所有训练样本从d维的线性空间Rd映射到高维的非线性空间F(F的维数远大于d)，则训练样本xij映射为φ(xij)。令φ(X)＝[φ(X1),φ(X2),...,φ(Xc)]，Ki＝[φ(X)]Tφ(Xi)。步骤2，基于鉴别线性表示核字典学习的分类方法通过求解下面的问题获得(1)对应第i个类别的字典(表示Ni×Ni阶实矩阵集合)，i＝1,2,…,c；(2)使用Di分别去线性表示φ(X1),φ(X2),...,φ(Xc)的c个线性表示系数矩阵为方便求解，令Di′＝[φ(X)]TDi，则上式可改写为通过依次更新和Di′进行迭代求解，可以得到这两组变量的解。在分类测试阶段，步骤1，通过核映射φ将测试样本y从d维的线性空间Rd映射到高维的非线性空间F，则测试样本y映射为φ(y)。令Ky＝[φ(X)]Tφ(y)。步骤2，基于鉴别线性表示核字典学习的分类方法通过求解下面的问题获得线性表示系数向量计算用Di′去重构Ky的重构误差，如下：ri(y)＝||Ky-Di′βi||2(i＝1,2,…,c)步骤3，如果rk(y)在r1(y),r2(y),…,rc(y)中最小，基于鉴别线性表示核字典学习的分类方法将测试样本y归到第k类。有益效果本专利技术采用以上技术方案与现有技术相比，具有以下有益效果：基于鉴别线性表示核字典学习的分类方法不使用KPCA进行样本降维，在核空间中使用训练样本集进行字典学习，对每个类学习得到一个能够更加精确地表示该类样本的字典，同时使该字典不能精确表示其他类的样本，然后再分别使用每个学习得到的字典去重构测试样本来进行分类，相较于现有技术有效提高了字典的分类能力，明显提高了分类精度。具体实施方式以下具体说明本专利技术的技术方案。实验验证选用YaleB人脸数据库(A.S.Georghiades,P.N.Belhumeur,andD.J.Kriegman,“FromFewtoMany:IlluminationConeModelsforFaceRecognitionunderVariableLightingandPose”,IEEETrans.PatternAnalysisandMachineIntelligence,vol.23,no.6,pp.643-660,2001)和MNIST手写体数字数据库(Y.Mizukami,K.Tadamura,J.Warrell,P.Li,andS.Prince,“CUDAImplementationofDeformablePatternRecognitionandItsApplicationtoMNISTHandwrittenDigitDatabase”,Int.Conf.PatternRecognition,pp.2001-2004,2010)。YaleB人脸数据库由10个人，共5760张图片组成，每人576张32×32的灰度图像，有光照变化、姿态变化等。实验中每个人选择70张图像作为训练样本、20张图像作为测试样本。MNIST手写体数字数据库由10个阿拉伯数字，共10000张图片组成，每个数字有863～1127张28×28的灰度图像，包含了各种形式的手写阿拉伯数字。实验中每个数字选择10本文档来自技高网...

【技术保护点】
基于鉴别线性表示核字典学习的分类方法，其特征在于，设X＝[X1,X2,...,Xc]表示包含c个类别的训练样本集，表示第i个类别的训练样本集，Xi包含Ni个样本，xij∈Rd(Rd表示d维的实向量集合)表示第i类的第j个训练样本，y∈Rd表示一个测试样本，分如下阶段步骤：A、在训练阶段步骤1，通过核映射φ:Rd→F将所有训练样本从d维的线性空间Rd映射到高维的非线性空间F，则训练样本xij映射为φ(xij)；令φ(X)＝[φ(X1),φ(X2),...,φ(Xc)]，Ki＝[φ(X)]Tφ(Xi)；步骤2，基于鉴别线性表示核字典学习的分类方法通过求解下面的问题获得(1)对应第i个类别的字典(表示Ni×Ni阶实矩阵集合)，i＝1,2,…,c；(2)使用Di分别去线性表示φ(X1),φ(X2),...,φ(Xc)的c个线性表示系数矩阵minDi,A1i,A2i,...,Aci||[φ(X)]Tφ(Xi)-[φ(X)]TDiAii||F2-1c-1Σj=1j≠ic||[φ(X)]Tφ(Xj)-[φ(X)]TDiAji||F2]]>为方便求解，令D′i＝[φ(X)]TDi，则上式可改写为minDi′,A1i,A2i,...,Aci||Ki-Di′Aii||F2-1c-1Σj=1j≠ic||Kj-Di′Aji||F2]]>通过依次更新和D′i进行迭代求解，得到这两组变量的解；B、在分类测试阶段步骤1，通过核映射φ将测试样本y从d维的线性空间Rd映射到高维的非线性空间F，则测试样本y映射为φ(y)；令Ky＝[φ(X)]Tφ(y)；步骤2，基于鉴别线性表示核字典学习的分类方法通过求解下面的问题获得线性表示系数向量minβi||Ky-Di′βi||2]]>计算用D′i去重构Ky的重构误差，如下：ri(y)＝||Ky‑D′iβi||2(i＝1,2,…,c)步骤3，如果rk(y)在r1(y),r2(y),…,rc(y)中最小，基于鉴别线性表示核字典学习的分类方法将测试样本y归到第k类。...

【技术特征摘要】
1.基于鉴别线性表示核字典学习的分类方法，其特征在于，设X＝[X1,X2,...,Xc]表示包含c个类别的训练样本集，表示第i个类别的训练样本集，Xi包含Ni个样本，xij∈Rd(Rd表示d维的实向量集合)表示第i类的第j个训练样本，y∈Rd表示一个测试样本，分如下阶段步骤：A、在训练阶段步骤1，通过核映射φ:Rd→F将所有训练样本从d维的线性空间Rd映射到高维的非线性空间F，则训练样本xij映射为φ(xij)；令φ(X)＝[φ(X1),φ(X2),...,φ(Xc)]，Ki＝[φ(X)]Tφ(Xi)；步骤2，基于鉴别线性表示核字典学习的分类方法通过求解下面的问题获得(1)对应第i个类别的字典(表示Ni×Ni阶实矩阵集合)，i＝1,2,…,c；(2)使用Di分别去线性表示φ(X1),φ(X2),...,φ(Xc)的c个线性表示系数矩阵minDi,A1i,A2i,...,Aci||[φ(X)]Tφ(Xi)-[φ(X)]TDiAii||F2-1c-1Σj=1j≠ic||&l...

【专利技术属性】
技术研发人员：刘茜，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32