一种基于稀疏规则化的判别投影方法以及图像识别装置制造方法及图纸

一种基于稀疏规则化的判别投影方法，其特征为：包括如下步骤，步骤1)构建级联字典和学习稀疏表征结构；步骤2)保留稀疏表征结构；步骤3)学习数据的局部和非局部结构；步骤4)稀疏规则化辨别投影。本发明专利技术充分利用级联字典学习数据的稀疏表示，避免了求解L1范数问题，大大减少了计算复杂度；通过非局部最大化和局部最小化充分考虑了数据的几何拓扑结构。

【技术实现步骤摘要】
一种基于稀疏规则化的判别投影方法以及图像识别装置
本专利技术公开了一种特征提取方法—稀疏规则化判别投影，其属于生物特征提取和模式识别
，涉及数据稀疏表示的学习、局部和非局部结构的构建、目标函数的优化，可用于图像识别、数据挖掘、数据聚类。
技术介绍
目前大多数非线性特征提取方法面临着人为定义近邻图的问题，同时邻域参数的选择也直接关系着数据特征提取的质量。到现在为止，一直没有一个简单而有效的标准来确定算法的邻域参数。稀疏表示的出现，很好地避免了领域参数的选择问题，它可以自适应地获取数据的近邻关系。近年来一些学者把稀疏表示引入模式识别领域，用于处理特征提取或特征选择、分类、聚类、目标检测和信息融合等问题。稀疏表示和压缩感知是由Donoho等人提出的一种新的信号表示和获取框架，它激起了信息科学领域的广泛研究热情。稀疏表示将一个信号表示为字典中基本信号的稀疏线性组合，该稀疏线性组合中的系数向量被称为稀疏系数向量。假设原始高维空间中的稀疏信号通过观测矩阵对其做观测得到低维空间中的观测信号其中l＜＜m。统计学中，著名的Lasso(Leastabsoluteshrinkageandselectionoperator)算法也是建立在稀疏表示的思想上，通过约束回归系数向量的L1范数小于给定常数，使得表示误差的平方和最小，以达到获取数据稀疏模型的目的。鉴于稀疏学习对问题的高精准建模能力，其已经发展成为一种非常有力的图像处理和模式识别工具。以稀疏学习为思想，Aharon等人提出了一种新的稀疏表示方法K-SVD，它在(1)基于当前字典对样本进行稀疏编码和(2)更新字典中的原子以更好拟合样本数据两个步骤之间反复迭代直到收敛。Elad等人将K-SVD推广到图像去噪问题中，并得到了很好的去燥效果。Mairal等人将非局部的思想和稀疏学习相结合提出了一种非局部稀疏模型，并将其成功应用于图像去噪等问题。Feng等人提出了一种将特征提取的投影矩阵和稀疏表示中的判别字典进行联合学习的方法，并通过人脸识别实验证明了该方法的有效性。PCA作为最典型的维数约简方法，为了保证其投影向量的稀疏性，学者们提出了稀疏主成分分析(SparsePCA,SPCA)和非负稀疏主成分分析(NonnegativeSPCA,NSPCA)。为了保持稀疏重构权重，Cheng等人提出了稀疏近邻保持嵌入方法(Sparseneighborhoodpreservingprojection,SNPE)。Qiao等人将稀疏表示与流形学习相结合，提出了一种基于稀疏学习的无监督维数特征提取方法——稀疏保持投影(SparsityPreservingProjections,SPP)，SPP通过一个基于L1正则化的目标函数获取数据的稀疏重构关系，并最终以保持此稀疏重构关系来来达到维数约简的目的。一方面，SPP具有自动捕获数据点邻域关系的优点；另一方面，即使在没有样本标签信息的情况下，基于SPP所获得的投影仍然包含一定程度的判别信息。SPP作为非常典型的稀疏学习算法，缺点也是明显的。参见附图1所示。稀疏保持投影(SPP)旨在通过保持数据的稀疏表示结构来实现维数约简的目的，其具体流程图如图1所示。对于一个给定的训练样本集X＝{x1,x2,…,xN}∈RD×N，其中D表示特征维数，N表示样本数。SPP首先通过求解下面的L1范数最小化问题来学习每一个样本xi的稀疏系数向量si:min||si||1s.t.xi＝Xsi,1＝1Tsi(1.1)其中||·||1表示L1范数，也就是绝对值操作；1表示一个全为1的向量。一旦利用式(1.1)学习到所有样本的稀疏系数向量si(i＝1,2,…,N)，其稀疏重构权重矩阵S可以定义如下：S＝[s1,s2,…,sN](1.2)最终，基于上述权重矩阵S，SPP的目标函数可以定义如下：最优投影向量w可以通过求解最小的特征值所对应特征向量的广义特征值方程来求得，其广义特征值方程为:X(I-S-ST+STS)XTw＝λXXTw(1.4)通过SPP方法的计算过程发现，其比较明显的两个缺点是：(1)需重复进行N次求解L1范数最小化问题来获得所有样本的稀疏系数向量，以至于计算复杂度高，因此在实际应用中很难达到实时性要求。(2)忽略了数据的局部和非局部结构信息，很难学习到最具判别的特征表示。
技术实现思路
本专利技术针对目前稀疏表示算法中存在的高计算复杂度、未考虑数据本身的几何结构信息等问题，提出了一种基于稀疏规则化的判别投影方法，其技术方案如下：包括如下步骤：1)构建级联字典和学习稀疏表征结构；2)保留稀疏表征结构；3)学习数据的局部和非局部结构；4)稀疏规则化辨别投影。本专利技术还公开一种图像识别装置，该装置包括基于稀疏规则化的判别投影方法。附图说明图1为本专利技术现有技术稀疏保持投影方法流程图。图2为本专利技术基于稀疏规则化的判别投影方法流程图。具体实施方式一种基于稀疏规则化的判别投影方法，其技术方案如下：包括如下步骤：1)构建级联字典和学习稀疏表征结构给定一个训练样本集X＝[x1,x2,…,xN]，每一个xi表示一个D维向量。接着，利用标签信息(也就是样本类别)对样本集重新排列：X＝[X1,X2,…,XC]，其中C表示样本类别数，表示第i类所有样本构成的数据矩阵。为了方便，对每一类样本进行中心化处理，即其中，μi表示第i类所有的样本的平均值，Ni为第i类样本数。然后，对于每一类样本矩阵进行PCA分解，具体如下：其中，Φi表示的协方差矩阵，d表示协方差矩阵的特征向量。为了保证信息的完整性，对于第i类样本，选择mi个主成分(也就是mi个特征向量，通常使得mi＝Ni)构建字典因此，第i类中的样本x可以表示为：其中，D是通过PCA分解获得的级联字典，并由所有的Di(i＝1,2,…,C)构成。表示基于级联字典D的稀疏系数向量。根据上述计算过程，每一个样本对应一个稀疏系数向量。通过式(1.7)，我们发现，由于Di列的正交性，对于第i类中的任意一个样本，其稀疏系数向量都可以快速地通过矩阵向量相乘来获得，即不难发现，步骤1)通过简单的矩阵计算就可以快速学习数据的稀疏表示，避免了L1范数最优化问题，可大大减少计算复杂度。2)保留稀疏表征结构可以看出，数据的稀疏表征结构很好地揭示着训练样本的局部判别信息。为了获取数据的低维表示，实现维数约简，我们希望保留数据的稀疏表征结构。因此，接下来定义以下目标函数，并通过最小化重构误差寻找最优投影来保留其稀疏结构。目标函数为：其中，表示xi样本的稀疏系数向量，w最优投影向量。通过代数运算，我们可以将式(1.9)改写为：其中，表示由所有样本稀疏系数向量构成的矩阵。3)学习数据的局部和非局部结构为了集合数据的局部和非局部的优点，定义两个散度矩阵：局部散度和非局部散度。局部散度矩阵表示为：其中，xi为样本数据，权值Hij定义为：上式中，O(K,xi)表示样本xi的K个近邻点的集合，K变化范围为1～(Ni-1)，可根据实验选取最合适的值。式(1.12)意味着：如果xj属于xi的K个近邻点，则认为两点之间有边相连，Hij＝1；否则，则认为两点间无边相连，Hij＝0。如此以来，非局部散度矩阵可以表示为：4)稀疏规则化辨别投影基于稀疏规则化的判别投影方法目的是找到一组最优的投影向本文档来自技高网...

【技术保护点】
1.一种基于稀疏规则化的判别投影方法，其特征为：包括如下步骤，步骤1)构建级联字典和学习稀疏表征结构；步骤2)保留稀疏表征结构；步骤3)学习数据的局部和非局部结构；步骤4)稀疏规则化辨别投影。

【技术特征摘要】
1.一种基于稀疏规则化的判别投影方法，其特征为：包括如下步骤，步骤1)构建级联字典和学习稀疏表征结构；步骤2)保留稀疏表征结构；步骤3)学习数据的局部和非局部结构；步骤4)稀疏规则化辨别投影。2.根据权利要求1所述的基于稀疏规则化的判别投影方法，其特征为：所述步骤1)进一步包括如下内容：给定一个训练样本集X＝[x1,x2,…,xN]，每一个xi表示一个D维向量，然后，利用标签信息对样本集重新排列：X＝[X1,X2,…,XC]，其中C表示样本类别数，表示第i类所有样本所构成的数据矩阵，为了方便，对每一类样本进行中心化处理，也就是其中，μi表示第i类所有样本的平均值，Ni为第i类样本数，然后，对于每一类样本矩阵进行PCA分解，具体如下：其中，Φi表示的协方差矩阵，d表示协方差矩阵的特征向量，为了保证信息的完整性，对于第i类样本集，选择mi个主成分构建字典因此，第i类中的任意一个样本x可以表示为：其中，D是通过PCA分解获得的级联字典，并由所有的Di(i＝1,2,…,C)构成；表示基于级联字典D的稀疏系数向量；根据上述计算过程，每一个样本会对应一个稀疏系数向量，通过公式(1.7)，由于Di列的正交性，对于第i类中的任意一个样本，其稀疏系数向量都可以快速地通过矩阵向量相乘来获得，也就是3.根据权利要求2所述的基于稀疏规则化的判别投影方法，其特征为：所述步骤2)进一步包括如下内容：为了获取数据的低维表示，实现维数约简，需要保留数据的稀疏表征结构，因此，需要定义以下目标函数，并通过最小化重构误差寻找最优投影来保留其稀疏结构，目标函数为：其中，表示xi样本的稀疏系数向量...

【专利技术属性】
技术研发人员：袁森，
申请(专利权)人：中国电子科技集团公司信息科学研究院，
类型：发明
国别省市：北京,11