一种基于深宽可变多核学习的数据分类方法技术

本发明专利技术公开了一种基于深宽可变多核学习的数据分类方法。步骤1：数据集的准备；步骤2：数据集分类的算法结构；步骤3：将步骤2的DWS‑MKL算法使用SVM作为分类器进行数据第一次分类；步骤4：将步骤3中将数据进行第一次分类后，进行核参数学习；步骤6：利用上述步骤进行数据训练；步骤7：使用步骤6训练获得的分类模型处理测试集数据并获得算法的分类准确率。本发明专利技术充分发挥核方法的非线性映射能力，根据数据灵活改变结构并使用leave‑one‑out误差界优化参数，提高了方法的分类准确率。

【技术实现步骤摘要】
一种基于深宽可变多核学习的数据分类方法
本专利技术涉及数据分类领域，尤其涉及一种基于深宽可变多核学习的数据分类方法。
技术介绍
深度学习作为一种新兴的机器学习技术，由于其优异的性能被广泛应用到众多领域，如图像处理，自然语言处理，推荐系统等。然而，深度学习算法能力的提升通常需要大量的数据驱动，在数据获取困难或数据缺失的情况下，深度学习能力受限，泛化性差。相比之下，核方法对小数据集的非线性分类效果显著。而且，核方法在低维空间解决高维空间的线性求解问题可以有效的避免“维数灾难”。按照核函数的选择方式，核方法包括单核学习和多核学习。单核学习方法具体包括支持向量机，核主成分分析，核Fisher判别分析等。单核学习基于单一特征空间，对于异构数据表达能力有限，核函数的选择也是一个关键问题，单核学习不适合于处理复杂数据和复杂应用问题。多核学习组合了多个单核的特征能力获得组合特征空间，使数据的不同特征分量在高维组合空间得到充分表达，相比于单核学习灵活性更强且具有更好的数据分类能力。组合系数的求解是多核学习的研究重点。传统上将参数优化问题转化为序列最小化优本文档来自技高网...

【技术保护点】
1.一种基于深宽可变多核学习的数据分类方法，其特征在于，所述学习方法包括以下步骤：/n步骤1：数据集的准备，数据集中随机划分出50％的样本作为训练集用于训练模型参数，剩余50％的样本作为测试集用于验证算法性能，具有n个样本的数据集在输入算法之前整理为n×(m+1)维的向量，m为样本的特征数量，最后一维默认为标注信息，具有M类样本的数据标签为0～M；/n步骤2：数据集分类的算法结构，DWS-MKL算法通过融合MKL与深度学习的层次化级联思想，构造多层多通道组合的多核学习的统一架构，多层由组合核之间级联产生，各个通道之间相互独立，架构的层数表示为算法的深度D，通道数表示为算法的宽度W，给定一组训练...

【技术特征摘要】
1.一种基于深宽可变多核学习的数据分类方法，其特征在于，所述学习方法包括以下步骤：
步骤1：数据集的准备，数据集中随机划分出50％的样本作为训练集用于训练模型参数，剩余50％的样本作为测试集用于验证算法性能，具有n个样本的数据集在输入算法之前整理为n×(m+1)维的向量，m为样本的特征数量，最后一维默认为标注信息，具有M类样本的数据标签为0～M；
步骤2：数据集分类的算法结构，DWS-MKL算法通过融合MKL与深度学习的层次化级联思想，构造多层多通道组合的多核学习的统一架构，多层由组合核之间级联产生，各个通道之间相互独立，架构的层数表示为算法的深度D，通道数表示为算法的宽度W，给定一组训练集样本D＝{(x1,y1),(x2,y2),...,(xm,ym)}，其中xi∈Rn，yi∈{-1,1},i＝1,2,...,m。φ(x)表示将输入x从Rn空间映射到高维希尔伯特空间的映射函数，则核函数k(xi,xj)满足：
k(xi,xj)＝φ(xi)φ(xj)
因此，核矩阵K定义为：



步骤3：将步骤2的DWS-MKL算法使用SVM作为分类器进行数据第一次分类，SVM分类器的输入为组合核Kf输出的特征；
步骤4：将步骤3中将数据进行第一次分类后，进行核参数学习，DWS-MKL通过求解泛化误差的近似无偏估计建立留一误差上界求解核参数，使用一个易于计算的量Tspan来估计误差上界，Tspan是根据支持向量张成空间导出的一个估计；步骤5：将步骤4中的核参数学习进行求解；DWS-MKL算法使用梯度投影法求解满足最小化误差上界Tspan的组合系数；
步骤6：利用上述步骤进行数据训练，手动设置超参数；之后，输入训练数据进行迭代训练，并使用交叉验证算法确定C和最优的深度D和宽度W；经过训练，获得具有分类能力的SVM分类模型和算法深宽可变架构组合系数；
步骤7：使用步骤6训练获得的分类模型处理测试集数据并获得算法的分类准确率。


2.根据权利要求1所述一种基于深宽可变多核学习的数据分类方法，其特征在于，所述步骤2DWS-MKL算法通过融合MKL与深度学习的层次化级联思想，构造多层多通道组合的多核学习的统一架构，多层由组合核之间级联产生，各个通道之间相互独立，包括以下步骤：
步骤2.1：深宽组合架构基本单元，DWS-MKL算法中每一层的组合核是多个核函数的线性组合，当输入向量为xi时，组合核的基本定义为，



s.t.θi≥0,



其中，M是基核函数的总数量，θi是组合核函数的组合系数；
当输入向量为x和y时，对于线性核函数k(x,y)＝x·y，l阶线性核函数保持不变，即k(l)(x,y)＝k(1)(x,y)＝x·y；p次多项式核为k(x,y)＝α(x·y+β)p，其中，α和β为自由参数；RBF核函数定义为
步骤2.2：深层多核学习架构，组合核级联扩展到L层，则一个深层多核学习算法的第L层的组合核函数可以表示为：
K(L)(x,y)＝φ(L)(φ(L-1)(...φ(1)(x)))·φ(L)(φ(L-1)(...φ(1)(y)))
其中，x和y是算法的输入向量；φ(L)是非线性映射核函数。DWS-MKL算法中设计的深宽组合架构最高为3×3，因此，具体多层非线性映射核函数公式表示为，
线性核
多项式核
RBF核
步骤2.3：深层多通道多核学习架构，除了级联多层组合核，DWS-MKL算法扩展多个深层结构到多个通道，通道之间相互独立，互不连接。最后，各个通道的特征输出按照求和平均规则输入到一个组合核Kf：



其中，KD,m是DWS-MKL算法深宽组合结构除了Kf之外最后一层D的第m...

【专利技术属性】
技术研发人员：王婷婷，何林，李君宝，刘劼，苏华友，赵菲，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江;23