一种基于主成分分析的宽度学习方法技术

技术编号:19694120 阅读:35 留言:0更新日期:2018-12-08 11:45
本发明专利技术涉及一维或二维数据处理技术领域,具体涉及一种基于主元分析和宽度学习的数据识别方法。该方法将利用主成分分析对原数据降维作为宽度学习网络输入的特征节点,进一步的为了将降维后的数据中相对不明显的特征节点显示出来,以特征节点的线性组合原理得到宽度学习网络输入的增强节点,以宽度学习数据处理模型训练结果的精度和速度为依据来不断调整增强节点,完善宽度学习训练模型。本发明专利技术用在数据处理方面相比现有技术具有高的识别精度和短的训练时间,方便了网络参数实时更新。

【技术实现步骤摘要】
一种基于主成分分析的宽度学习方法
本专利技术涉及一维或二维数据处理
,具体涉及一种基于主元分析和宽度学习的数据识别方法。
技术介绍
随着技术的发展,越来越多的工作已经可以通过计算机来完成以提高效率,这些技术可以统称为人工智能。众所周知,深度学习已经是人工智能的重要领域之一。深度学习目前已经在很多领域特别是在大数据处理方面得到了成功应用,并且已经达到了前所未有的识别精度。常用的深度学习网络有深层置信网络(DeepBeliefNetworks,DBN)[1],[2],深层玻尔兹曼机(DeepBoltzmannMachines,DBM)[3],卷积神经网络(ConvolutionalNeuralNetworks,CNN)[4],[5]。然而,深度学习的弊端也日益凸显。深层网络有着非常复杂的网络结构和超参数,使得我们很难从理论上去分析深层神经网络的结构。提高深层神经网络识别精度的常用手段有调整超参数(如学习率、学习率衰减系数、正则化系数等),修改隐层的个数或隐层节点数,更换激活函数等,每次调整都需要重新训练网络,这个训练过程需要消耗大量的时间。为了解决深层神经网络的问题,C.L.PhilipChen和ZhulinLiu提出了Broadlearningsystem[6]。我们称之为宽度学习系统,所使用的网络结构被称为宽网。宽网的优势在于可以任意增加输入节点,特征节点或增强节点,而不需要对网络重新进行训练。当今科技的飞速发展伴随着数据量和数据维度的急剧增长,如果将这些数据直接输入构建的神经网络中,势必会极大的增加运算量,降低训练效率,而且在噪声的干扰下,训练效果有可能会降低。因此,我们在训练之前先通过主成分分析方法(PrincipalComponentAnalysis,PCA)对样本数据进行预处理,降低训练数据的维度,并最大程度保留原始训练数据的特征。主成分分析(PrincipalComponentAnalysis,PCA)是特征提取常用的一种线性变换方法。主元分析方法是在原始数据的基础上,构造另外一组标准正交基,组成新的投影空间,使得原始数据在新的投影空间中的投影方差最大,误差最小。通常情况下,原始数据在新的投影空间中的投影能够保留原始数据90%以上的特征。通过主元分析方法,我们得到了由一组标准正交基构成的新的投影空间P,并将原始数据在空间P中的投影作为宽网的特征节点。另外,我们在新的标准正交基的任意两个基向量p1,p2之间插入一个向量p1,2,依次类推,我们可以在k个基向量之间插入个向量,对这些向量进行施密特正交化后又得到一组标准正交基Q。将原始数据在空间Q中的投影作为宽网的增强节点。通过这种方法,我们将原始数据做了进一步的增强,使得原本不太明显的特征变得更加明显。将特征节点的矩阵和增强节点的矩阵拼接为一个矩阵An,Wn为连结An和输出节点之间的权重矩阵,可以很方便的求出初始的权重矩阵之后,当有新样本(Xa,Ya)输入网络,或者增加特征节点或增强节点时,可以在原有的权重矩阵的基础上对权重矩阵进行更新,而不用重新训练,极大提高了学习效率。本专利技术涉及的期刊参考文献如下:[1]G.E.Hinton,S.Osindero,andY.-W.Teh,“Afastlearningalgorithmfordeepbeliefnets,”NeuralComput.,vol.18,pp.0899–7667,May2006.[2]G.E.HintonandR.R.Salakhutdinov,“Reducingthedimensionalityofdatawithneuralnetworks,”Science,vol.313,no.5786,pp.504–507,2006.[3]R.SalakhutdinovandG.E.Hinton,“Deepboltzmannmachines,”inProc.AISTATS,vol.1.2009,p.3.[4]Y.LeCun,L.Bottou,Y.Bengio,andP.Haffner,“Gradient-basedlearningappliedtodocumentrecognition,”Proc.IEEE,vol.86,no.11,pp.2278–2324,Nov.1998.[5]K.SimonyanandA.Zisserman,“Verydeepconvolutionalnetworksforlarge-scaleimagerecognition."[Online].Available:https://arxiv.org/abs/1409.1556,2014.[6]C.L.PhilipChenandZhulinLiu,“BroadLearningSystem:AnEffectiveandEfficientIncrementalLearningSystemwithouttheNeedforDeepArchitecture”,IEEETransactionsonNeuralNetworksandLearningSystems.Volume:29,Issue1,Jan.2018.
技术实现思路
本专利技术所要解决的技术问题是针对现有深度学习方法结构复杂,参数调整具有不确定性,训练耗时比较长,进一步的讲,C.L.PhilipChen和ZhulinLiu提出的BroadLearningSystem(宽度学习系统)是直接将高维的原始数据输入宽度学习网络,仍然会使网络结构产生相对复杂,计算量较大的弊端,提出了一种基于主成分分析的宽度学习方法,该方法将利用主成分分析对原数据降维作为宽度学习网络输入的特征节点,进一步的为了将降维后的数据中相对不明显的特征节点显示出来,以特征节点的线性组合原理得到宽度学习网络输入的增强节点,以宽度学习数据处理模型训练结果的精度和速度为依据来不断调整增强节点,完善宽度学习训练模型。为了解决上述技术问题,本专利技术的技术方案是这样实现的:一种基于主成分分析的宽度学习方法,包括:宽度学习网络的节点设置步骤、宽度学习网络的权重参数设置步骤、宽度学习网络的参数训练步骤、宽度学习网络的识别学习步骤;宽度学习网络的节点设置步骤以主元分析方法为基础,以所获得的主元分量作为宽度学习网络的特征节点,将基于主元分析步骤得到的所有特征节点经过线性组合得到若干增强节点;宽度学习网络的权重参数设置步骤是将宽度学习网络的特征节点和增强节点作为宽度学习网络输入层,对于有期望的输出层,来初步确定宽度学习网络的权重参数;宽度学习网络的参数训练步骤借助于分块矩阵求取伪逆的思想,当输入新的样本时,不需要对整个网络重新进行计算更新,只需要计算与新增输入样本相关的特征节点和增强节点新增矩阵,结合新增样本的期望输出,更新权重参数,再结合更新特征节点和增强节点组成的矩阵,来确定总样本的输出,并依据拟合性能进行增强节点的删除或增加;宽度学习网络的识别学习步骤是使用经以上步骤训练好的网络模型对未知输入样本进行识别。一种基于主成分分析的宽度学习方法,具体包括以下步骤:第一步:获取训练样本集X∈RN×m,该样本集X有N个独立样本,每个样本包含m维的数据;通过以下的公式(1)将样本集中的数据经过标准化去掉量纲;第二步:通过以下步本文档来自技高网
...

【技术保护点】
1.一种基于主成分分析的宽度学习方法,其特征在于,包括:宽度学习网络的节点设置步骤、宽度学习网络的权重参数设置步骤、宽度学习网络的参数训练步骤、宽度学习网络的识别学习步骤;宽度学习网络的节点设置步骤以主元分析方法为基础,以所获得的主元分量作为宽度学习网络的特征节点,将基于主元分析步骤得到的所有特征节点经过线性组合得到若干增强节点;宽度学习网络的权重参数设置步骤是将宽度学习网络的特征节点和增强节点作为宽度学习网络输入层,对于有期望的输出层,来初步确定宽度学习网络的权重参数;宽度学习网络的参数训练步骤借助于分块矩阵求取伪逆的思想,当输入新的样本时,不需要对整个网络重新进行计算更新,只需要计算与新增输入样本相关的特征节点和增强节点新增矩阵,结合新增样本的期望输出,更新权重参数,再结合更新特征节点和增强节点组成的矩阵,来确定总样本的输出,并依据拟合性能进行增强节点的删除或增加;宽度学习网络的识别学习步骤是使用经以上步骤训练好的网络模型对未知输入样本进行识别。

【技术特征摘要】
1.一种基于主成分分析的宽度学习方法,其特征在于,包括:宽度学习网络的节点设置步骤、宽度学习网络的权重参数设置步骤、宽度学习网络的参数训练步骤、宽度学习网络的识别学习步骤;宽度学习网络的节点设置步骤以主元分析方法为基础,以所获得的主元分量作为宽度学习网络的特征节点,将基于主元分析步骤得到的所有特征节点经过线性组合得到若干增强节点;宽度学习网络的权重参数设置步骤是将宽度学习网络的特征节点和增强节点作为宽度学习网络输入层,对于有期望的输出层,来初步确定宽度学习网络的权重参数;宽度学习网络的参数训练步骤借助于分块矩阵求取伪逆的思想,当输入新的样本时,不需要对整个网络重新进行计算更新,只需要计算与新增输入样本相关的特征节点和增强节点新增矩阵,结合新增样本的期望输出,更新权重参数,再结合更新特征节点和增强节点组成的矩阵,来确定总样本的输出,并依据拟合性能进行增强节点的删除或增加;宽度学习网络的识别学习步骤是使用经以上步骤训练好的网络模型对未知输入样本进行识别。2.根据权利要求1所述的一种基于主成分分析的宽度学习方法,其特征在于,具体包括以下步骤:第一步:获取训练样本集X∈RN×m,该样本集X有N个独立样本,每个样本包含m维的数据;通过以下的公式(1)将样本集中的数据经过标准化去掉量纲;第二步:通过以下步骤对经过标准化后的数据进行协方差分解,并按给定的阈值ε进行特征选择,确定主元的个数,也就确定了宽度学习网络特征节点的个数;其中S为数据的协方差阵,Λ是S的特征值矩阵,为对角阵,其对角线上的元素满足λ1≥λ2≥…≥λm,V是S的特征向量矩阵,维数为m×m,P...

【专利技术属性】
技术研发人员:吴兰韩晓磊文成林
申请(专利权)人:河南工业大学
类型:发明
国别省市:河南,41

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1