基于引入隐藏信息支持向量数据描述算法的智能分类方法技术

本发明专利技术涉及一种基于引入隐藏信息支持向量数据描述算法的智能分类方法，包括步骤一、在LUPI框架下，引入隐藏信息；步骤二、将隐藏信息与松弛因子关联，即利用非线性映射将引入隐藏信息的新的训练样本映射到高维的特征空间；步骤三、根据SVDD原理，进一步得出引入隐藏信息的SVDD+的优化方程；步骤四、利用拉格朗日乘子法求解该SVDD+优化方程，获得判决超球体；步骤五、利用该判决超球体，对待预测样本进行预测分类；以支持向量数据描述算法为基础，利用样本的隐藏信息以优化算法，体现了模式的内在联系，是一种整体性能更优、适用领域更广、识别结果更符合实际需求的智能分类器设计方法。

【技术实现步骤摘要】
基于引入隐藏信息支持向量数据描述算法的智能分类方法
本专利技术涉及模式识别中的智能分类器领域，特别是涉及一种基于引入隐藏信息支持向量数据描述算法的智能分类方法。
技术介绍
目前，经典的KNN，SVM，ELM，决策树，神经网络，以及支持向量数据描述(SVDD)等分类算法及其改进方案在部分特定应用领域已经取得了较好的分类效果。其中，作为本专利技术算法基础的支持向量数据描述算法(SVDD)是Tax等人于1999年提出的一种有监督的单分类算法，其在异常行为检测、异常识别等领域已有广泛应用。目前，提高SVDD分类性能最常用的方法是优化SVDD超球体的边界，由于在构造支持向量数据描述超球体时，决策边界的支持向量非常少，所以即使利用核函数，也会得到很差的决策边界，导致支持向量数据描述的识别率很低。可以发现，上述较为成熟的分类算法问题在于大多着眼于分类，基本忽略了模式的内在信息，在很大程度上导致了分类器设计与模式之间的脱节。针对上述问题，通过利用样本集中的隐藏信息来改进传统的分类学习已成为近年来机器学习领域的一个热点。最近，Vapnik提出了一种解决这种问题的新方法称之为LearningUsingPrivilegedInformation(LUPI，特权信息学习)和LearningWithStructuredData(LWSD，结构数据学习)。但该算法忽略了隐藏信息，数据集中的一些隐藏信息不能被有效利用，仍然会导致分类方法准确度不高的问题。基于上述LUPI和LWSD优化规则，本专利技术对原有SVDD算法进行改进，创新性地提出了引入隐藏信息(PrivilegedInformation)的支持向量数据描述算法(SVDD)称为SVDD+。目前，随着分类器应用领域的不断扩展和实际问题复杂程度的增加，出现了诸如类别标签数量较多、目标识别与异常点检测困难、数据可分性差等新问题。而传统分类器算法无法对这些问题给出满意的处理结果，严重制约了模式识别技术的发展。相比之下，本专利技术所提出的引入隐藏信息的支持向量数据描述算法(SVDD+)由于充分利用了隐藏信息，从而有效地提高分类准确性。
技术实现思路
为了解决现有技术中存在的传统分类器不能对标签数量较多、目标识别与异常点检测困难、数据可分性差等问题给出满意的处理结果，以及数据集中的一些隐藏信息不能被有效利用，仍然会导致分类方法准确度不高的技术问题，本专利技术提供了以下技术方案：基于引入隐藏信息支持向量数据描述算法的智能分类方法，包含以下步骤：步骤一、在LUPI框架下，引入隐藏信息；步骤二、将隐藏信息与松弛因子关联，即利用非线性映射将引入隐藏信息的新的训练样本映射到高维的特征空间；步骤三、根据SVDD原理，进一步得出引入隐藏信息的SVDD+的表达式，该表达式为一优化方程；步骤四、利用拉格朗日乘子法求解该优化方程，得到高维特征空间中体积最小的判决超球体；步骤五、利用步骤四所获得的判决超球体，对待预测样本进行预测分类。作为本专利技术的进一步说明，所述步骤一的具体过程为：在LUPI框架下，向训练样本(x,y)中引入隐藏信息x*∈X*，并将新样本记作(x,x*,y)。作为本专利技术的进一步说明，所述步骤二的具体过程为：为了使用隐藏信息x*，将其与松弛因子ξ关联，利用一种非线性映射φ将引入隐藏信息的训练样本全部映射到高维的特征空间，即作为本专利技术的进一步说明，所述步骤三的具体过程为：根据SVDD的原理，将所述步骤二中表达式进一步写为其中Rr*为隐藏信息所提供的判决超球体矫正半径；a为判决超球体球心；此时，SVDD+的表达式如下：其中，R为判决超球体边界上的支持向量到球心a的距离，即判决超球体半径；μ为隐藏信息和原始特征的调节权值，用来调整隐藏信息所起的作用，根据经验可以从{0.01,0.1,1,10,100}中选择；C为误分类的惩罚因子。作为本专利技术的进一步说明，所述步骤四的具体过程为：其中αi≥0，βi≥0为拉格朗日因子；函数L的极值应满足条件：将式(2)～(4)代入式(1)，得到进而解出：拉格朗日因子αi和βi；判决超球体球心a，判决超球体边界上的支持向量到球心a的距离R，即判决超球体半径，得到判决超球体。作为本专利技术的进一步说明，所述步骤五的具体过程为：计算测试样本z到步骤四所得判决超球体球心a的距离，当测试样本z到球心a的距离不大于判决超球体半径R时，即则判定该测试样本就位于判决超球体的内部，为正常样本，否则认为其为异常样本；其中，xk表示判决超球体边界上的支持向量，拉格朗日因子αk满足约束条件0＜αk＜C与现有技术相比，本专利技术取得的有益效果为：以支持向量数据描述算法(SVDD)为基础，充分利用原始样本的隐藏信息以优化算法，体现了模式的内在联系，解决了分类器设计与模式之间脱节的问题，是一种整体性能更优、适用领域更广、识别结果更符合实际需求的智能分类器设计方法。以下将结合附图及实施例对本专利技术做进一步详细说明。附图说明图1是本专利技术的智能分类方法的流程框图。具体实施方式为进一步阐述本专利技术达成预定目的所采取的技术手段及功效，以下结合附图及实施例对本专利技术的具体实施方式、结构特征及其功效，详细说明如下。为了更好地说明本专利技术的技术方案，首先对本专利技术所基于的支持向量数据描述算法(SVDD)进行简单介绍。支持向量数据描述算法(SupportVectorDomainDescription，SVDD)是一种有监督的单分类算法，在异常行为检测与异常识别领域有广泛应用。其主要思路是：利用一种非线性映射φ将原始训练样本xi全部映射到高维的特征空间；然后在特征空间中寻找一个包含全部或绝大多数训练样本且体积最小的超球体；最后，若测试样本经过非线性映射φ后在特征空间中落入超球体内，则该样本被判决为正常点，否则将其视为异常样本类。支持向量数据描述算法(SVDD)的输入为待预测样本特征向量，输出为对该样本点是否为异常点的判断结果。该算法包括以下步骤：S1：将已知训练样本数据从输入空间映射到高维空间S2：在该高维空间中构造一个球心为a，半径为R的超球体，并利用拉格朗日乘子法和上述数据求解下面的优化问题：s.t.||xi-a||2≤R2+ξi,i＝1,...,lξi≥0,i＝1,...,l得到一个尽可能多的包含所有训练样本的最小超球体。S3：将待预测样本数据从输入空间按同样方式映射至该高维空间，若该样本落入超球体内，则该样本被判决为正常点，否则将其视为异常样本类。由于超球体的构造只与边界上的样本相关，不需要计算真实样本的概率分布，因此，该方法的学习对训练样本个数要求相对较少，且只需要真实样本。此外，支持向量数据描述算法(SVDD)是基于统计学习理论的，在统计学习理论中，分类器的学习是基于结构风险最小化原则，而不是基于经验风险最小化原则，因此具有较好的泛化能力。目前，提高支持向量数据描述算法(SVDD)分类性能最常用的方法是优化SVDD超球体的边界，由于在构造支持向量数据描述超球体时，决策边界的支持向量非常少，所以即使利用核函数，也会得到很差的决策边界，导致支持向量数据描述的识别率很低。为了弥补上述不足，本专利技术着眼于深度挖掘模式的内在联系。我们知道，在人类的学习过程中，老师这一角色具有非常重要的作用，他们可以在一般特征的基础上，为学生提供“解释”，“评论”本文档来自技高网...

【技术保护点】
1.基于引入隐藏信息支持向量数据描述算法的智能分类方法，其特征在于，包含以下步骤：步骤一、在LUPI框架下，引入隐藏信息；步骤二、将隐藏信息与松弛因子关联，即利用非线性映射将引入隐藏信息的新的训练样本映射到高维的特征空间；步骤三、根据SVDD原理，进一步得出引入隐藏信息的SVDD+的表达式，该表达式为一优化方程；步骤四、利用拉格朗日乘子法求解该优化方程，得到高维特征空间中体积最小的判决超球体；步骤五、利用步骤四所获得的判决超球体，对待预测样本进行预测分类。

【技术特征摘要】
1.基于引入隐藏信息支持向量数据描述算法的智能分类方法，其特征在于，包含以下步骤：步骤一、在LUPI框架下，引入隐藏信息；步骤二、将隐藏信息与松弛因子关联，即利用非线性映射将引入隐藏信息的新的训练样本映射到高维的特征空间；步骤三、根据SVDD原理，进一步得出引入隐藏信息的SVDD+的表达式，该表达式为一优化方程；步骤四、利用拉格朗日乘子法求解该优化方程，得到高维特征空间中体积最小的判决超球体；步骤五、利用步骤四所获得的判决超球体，对待预测样本进行预测分类。2.根据权利要求1所述的智能分类方法，其特征在于，所述步骤一的具体过程为：在LUPI框架下，向训练样本(x,y)中引入隐藏信息x*∈X*，并将新样本记作(x,x*,y)。3.根据权利要求2所述的智能分类方法，其特征在于，所述步骤二的具体过程为：为了使用隐藏信息x*，将其与松弛因子ξ关联，利用一种非线性映射φ将引入隐藏信息的训练样本全部映射到高维的特征空间，即4.根据权利要求3所述的智能分类方法，其特征在于，所述步骤三的具体过程为：根据SVDD的原理，将所述步骤二中表达式进一步写为...

【专利技术属性】
技术研发人员：张文博，杨生辉，刘崇晧，段育松，李鑫，张志宏，方镇，李婧婷，
申请(专利权)人：昆山鲲鹏无人机科技有限公司，
类型：发明
国别省市：江苏,32