基于Universum结合矩阵Ho‑Kashyap算法的图像数据分类系统技术方案

本发明专利技术提供一种基于Universum结合矩阵Ho‑Kashyap算法的图像数据分类系统，首先使用基于In‑Between生成策略生成一定数量位于两类样本之间的第三类样本点，即Universum样本；之后将Universum样本点代入正则化项Runi中；接着将正则化项引入矩阵化之后的HK分类模型，构成完整的结合Universum的矩阵化HK模型；最后对该模型进行训练，得到模型针对当前训练数据集的最优参数，生成最优分类决策面。在测试阶段，将测试样本点代入决策面函数进行判断，输出分类标号。相较于传统的分类技术，本发明专利技术通过引入Universum样本，让原本的两类样本的对比更明显，进一步提高了精确度。

【技术实现步骤摘要】
基于Universum结合矩阵Ho-Kashyap算法的图像数据分类系统
本专利技术涉及模式分类
，尤其涉及一种对图像数据集进行识别处理的Universum结合矩阵Ho-Kashyap算法与系统。
技术介绍
模式识别是研究利用计算机来模仿或实现人类或其它动物的识别能力，以便对研究对象完成自动识别的任务。近年来，模式识别技术已被广泛应用在人工智能、机器学习、计算机工程、机器人学、神经生物学、医学、侦探学以及考古学、地质勘探、宇航科学和武器技术等许多重要领域。模式识别需要处理经典问题之一是对二维数据，即使用矩阵表示的数据，进行处理。在实际应用中，矩阵表示的数据常见于图像识别问题，例如人脸识别，指纹识别，或光谱识别。传统的模式分类方法在处理图像问题时，需要首先将一个图像样本转换为向量表示，再对向量化的样本进行处理。经典的方法包括支持向量机(SupportVectorMachine，SVM)，主成分分析(PrincipalComponentAnalysis)，Fisher线性判别(FisherLinearDiscriminant)等。处理向量化后的图像存在两个主要问题：首先，将一个图像转换成向量后，向量的维度相对较高，对于特征提取领域的许多经典方法来说，会出现小样本问题，即数据集的规模远小于数据集的维度。例如，局保投影算法(LocallyPreservingProjection，LPP)，FLD，和PCA等。这类算法需要涉及到特征值分解，而维度与样本数的差异导致多元一次不定方程组求近似解问题。高维样本也使得运算复杂度增加，且消耗更多的内存来放置权重向量等参数。其次，将一个图像转换成向量后，图像本身元素之间的空间结构被破坏。由于图像样本的元素不同于向量样本元素，不是对应独立定义的属性，而是表示整个样本在特定位置的像素信息。因此，破坏图像原本的二维结构在理论上会对分类精确度造成一定影响。为了解决传统模式识别方法在二维数据集上存在的问题，一些特定的方法被设计出来。在这些方法中，直接处理二维样本的方法取得了较显著成功。代表性方法有将传统特征处理方法二维化的二维主成分分析(2DPCA)及二维Fisher线性判别(2DFLD)等。同时，也有将经典分类方法二维化的方法，例如支持张量机(SupportTensorMachine，STM)等。目前，两个方向的方法各有不足。第一类方法只在特征处理阶段对数据集直接处理，主要目的是降维以避免或缓解小样本问题，但在后续的分类阶段仍然使用传统方法进行处理，这样虽然部分解决了上文所述二维样本向量化后出现的问题一，但无法解决问题二。第二类方法由于大多为非线性方法，往往结构复杂，需要调整大量参数以获取最优值。而矩阵计算量是阶数的三次方，这类方法在处理许多非线性步骤时涉及大量矩阵计算，因此时间复杂度极高。若能设计出结构简洁，参数较少，且能直接对二维数据进行分类的方法，将会进一步提高模式分类技术在图像问题上的处理能力。
技术实现思路
针对现有技术结构复杂、效率低下且精度不高，无法满足精准、实时、或缺少先验知识的图像问题，本专利技术提供了一种基于Universum结合矩阵Ho-Kashyap算法的分类方法，对二分类问题，首先通过经典的In-Between技术生成类间的Universum样本，然后设计了一个二维化Ho-Kashyap(HK)算法的模型，之后设计一个表征Universum样本与原始样本关联的正则化项并将其代入第二步设计的模块中，最后对整个模型用梯度下降方法求解最优参数，得到的决策边界在保证图像数据集分类正确率的同时，在模型设计和模型运算两方面提高效率。本专利技术解决其技术问题所采用的技术方案：首先后台根据具体的图像问题描述，将采集到的样本使用经典的LPP、FLD或PCA方法进行降维去噪处理。其次，将以矩阵表示的数据集分为训练数据集与测试数据集两部分。在训练步骤中，首先使用基于In-Between生成策略生成一定数量位于两类样本之间的第三类样本点，即Universum样本。之后，将Universum样本点代入正则化项Runi中。接着将正则化项引入矩阵化之后的HK分类模型，构成完整的结合Universum的矩阵化HK模型。最后，对该模型进行训练，得到模型针对当前训练数据集的最优参数，生成最优分类决策面。第三，在测试阶段，将当前测试样本点代入训练好的决策面函数进行判断。最后，输出决定的类标号。本专利技术解决其技术问题所采用的技术方案还可以进一步完善。所述训练模块的第一个步骤，生成Universum的方法不限于使用In-Between，只要使用的方法能迅速生成介于两类之间的第三类样本即可。进一步，由于向量也是一种特殊的矩阵，该模型也能够处理向量数据集。在处理时，若不考虑引入的Universum样本，且令模型一侧的权重向量不参与迭代优化，则模型退化到传统的修正HK算法(ModifiedHo-KashyapAlgorithm,MHKS)。可以看出，本方法与MHKS等方法一样，属于线性分类方法，因此能够比非线性方法更快确定分类决策面，从而提高效率。本专利技术有益的效果是：直接处理图像数据的分类方法，不仅克服了小样本问题，提高效率，而且保留了图像数据集结构的完整性，因此有更高的精确度；通过引入Universum样本，让原本的两类样本的对比更明显，进一步提高了精确度；由于该方法属于线性方法，缩短了训练时间；该方法可以证明在Rademacher条件下的推广风险上界不超过原始的MHKS方法。附图说明图1是本专利技术应用于图像模式分类问题的系统框架；图2是本专利技术算法与其他算法的实验对比图；具体实施方式下面结合附图和实施例对本专利技术作进一步介绍：本专利技术的方法共分三个模块。第一部分：数据采集本模块包括两个步骤，首先将数据数值化；其次，生成Universum样本。1)将现实中的图像问题数据化：生成矩阵表示的数据集便于后续模块进行处理。采集后生成的矩阵数据可以进一步使用经典方法进行降维处理。一个矩阵样本表示为A，矩阵的每一元素对应样本的一个像素转换值，即样本的维度d＝m×n。2)利用In-Between方法生成Universum样本：Universum样本被定义为和问题数据集在同一个域值范围内，却不属于任何一类的样本。例如在字母图分类问题中，使用二分类模型对数字“5”与“8”两类样本分类，剩下的数字“0”、“1”、“2”、“3”、“4”、“6”、“7”、“9”就可以被认为是Universum样本。在其他问题中，如果不存在现成的Universum样本，就需要使用一定的方法生成。这里我们使用了一个典型的生成算法，即In-Between方法。该方法的思想是，首先确定两类靠近决策边界的样本，在不同类的边界样本间连线，再在连线上随机距离处生成新的样本。生成的样本就是Universum样本。在我们的方法中，为简化计算，统一在两个样本连线的中点生成Universum样本。第二部分：训练分类模型在这个模块中，采集到的数据集将代入专利技术的核心算法中进行训练。主要步骤如下：1)设计正则化项Runi：将Universum样本作为第三类样本代入最初的决策面函数进行处理，生成正则化项的公式如下：2)对传统的MHKS矩阵化生成新的模型MatMHKS：首先，传本文档来自技高网...

【技术保护点】
一种基于Universum结合矩阵Ho‑Kashyap算法的图像数据分类系统，其特征在于：具体步骤是：1）、样本采集：后台根据具体的图像问题描述，将采集到的样本转化成可以供后续算法处理的矩阵模型；2）训练生成Universum样本：使用基于In‑Between生成策略生成一定数量位于两类样本之间的第三类样本点，即Universum样本；3）训练得到Universum正则化项Runi；4）训练得到矩阵模型MatMHKS；5）训练将正则化项Runi引入矩阵化模型得到最终模型UMatMHKS；6）使用梯度下降法求UMatMHKS目标函数的最优参数；7）测试阶段，将测试样本代入模型UMatMHKS生成的决策函数中计算，根据得出的结果符号进行分类。

【技术特征摘要】
1.一种基于Universum结合矩阵Ho-Kashyap算法的图像数据分类系统，其特征在于：具体步骤是：1）、样本采集：后台根据具体的图像问题描述，将采集到的样本转化成可以供后续算法处理的矩阵模型；2）训练生成Universum样本：使用基于In-Between生成策略生成一定数量位于两类样本之间的第三类样本点，即Universum样本；3）训练得到Universum正则化项Runi；4）训练得到矩阵模型MatMHKS；5）训练将正则化项Runi引入矩阵化模型得到最终模型UMatMHKS；6）使用梯度下降法求UMatMHKS目标函数的最优参数；7）测试阶段，将测试样本代入模型UMatMHKS生成的决策函数中计算，...

【专利技术属性】
技术研发人员：王喆，李冬冬，朱昱锦，崇传禹，高大启，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：上海,31