基于流形正则和范数正则的领域迁移极限学习机方法技术

本发明专利技术公开了一种基于流形正则和范数正则的领域迁移极限学习机方法。在传统的极限学习机基础上，引入半监督学习和迁移学习的思想，构造了一种新的极限学习机模型，由3部分组成：能够挖掘有标签和无标签数据样本的几何分布形状实现半监督学习的流形正则项；同时考虑源领域数据和目标领域数据误差最小化以实现迁移学习的损失函数项；约束权值空间的范数正则子。本发明专利技术结合源领域来处理目标领域的预测问题，提高了极限学习机的泛化能力和应用范围。其中，流行正则项的引入也使得本发明专利技术提出的方法能够在带标签的数据较少时依然能够保持较好的学习效果，克服了传统机器学习方法需要大量有标签数据的限制，同时也提高了预测的准确性和鲁棒性。

Field transfer based limit learning machine method based on manifold regular and norm regular

The invention discloses a domain transfer limit learning machine method based on manifold regular and norm regular. In the traditional learning machine based on the limit, the introduction of semi supervised learning and transfer learning ideas, construct a new kind of extreme learning machine model consists of 3 parts: to achieve semi supervised Manifold Regularization learning geometry distribution with labels and unlabeled data samples and data mining; consider the source domain and the target the field of data error is minimized in order to achieve the transfer learning loss function; norm regularization constraint value sub space. The invention combines the source domain to deal with the prediction problem of the target domain, and improves the generalization ability and the application range of the limit learning machine. The introduction of popular regularization also makes the proposed method can tag with less data can still maintain a good learning effect, to overcome the traditional machine learning method requires a large number of labeled data limitations, but also improve the prediction accuracy and robustness.

【技术实现步骤摘要】

本专利技术涉及一种基于流形正则项和Lp范数正则子的领域迁移极限学习机算法，属于机器学习和模式识别

技术介绍
人工神经网络因其强大的自适应、自组织、自学习和非线性映射能力，已广泛应用于生物、化学、医学、经济、海洋等各种领域。但是传统的神经网络，如反向传播(BackPropagation，BP)网络，需要人为设置大量的网络训练参数，训练速度慢、很容易产生局部最优解。针对以上问题，Huang提出一种叫做极限学习机(ExtremeLearningMachine，ELM)的单隐层前馈神经网络(Single-hiddenLayerFeedforwardNeuralNetworks,SLFNs)新算法。该算法的核心主要是两个部分：一是随机产生输入权重和隐层偏置，避免了迭代调节参数；二是将神经网络的训练问题变化成求解最小二乘的问题，产生唯一的最优解，避免了人工神经网络需要人为的调整参数和易于陷入局部最优解的缺陷。ELM算法因其简单易实现、学习速度快、泛化能力强等特点，近年来受到越来越多的关注。然而，传统ELM需要大量的有标签数据来训练分类器，要求训练数据和待识别目标具有相同的分布特性即不具备领域迁移能力等。而在现实生活中，给数据打上标签会耗费大量的人力、物力，而且待识别目标与训练数据不一定满足分布相同这一条件，例如AUV进行海底环境探索的实际过程中，受环境(光线，海水浊度，地质特点等)等因素影响，AUV在海底两个不同海域采集到的图像会存在数据偏移现象并且具有先验知识的(有标签数据)训练样本数据往往是少量的。
技术实现思路
本专利技术将半监督学习、迁移学习、极限学习机有机结合，提出了一种基于流形正则项和Lp范数正则子的领域迁移极限学习机算法，以弥补现有技术的不足。为达到上述目的，本专利技术采取的具体技术方案为：步骤1：设源领域数据为DS＝{XS本文档来自技高网...

【技术保护点】
一种基于流形正则和范数正则的领域迁移极限学习机方法，其特征在于，包括以下步骤：步骤1：设源领域数据为DS＝{XS}，其中源领域有标签数据TS是相应的类别标签，源领域无标签数据目标领域数据为DT＝{XT}，其中目标领域有标签数据TT是相应的类别标签，目标领域无标签数据把第i个数据样本表示成xi＝[xi1,xi2,…,xin]T，n是每个数据的特征维度；步骤2：随机产生极限学习机的隐层节点参数(ai,bi),i＝1,2,...,L，其中ai＝[ai1,ai2,…,ain]T是连接第i个隐层节点和输入神经元的输入权重，n是输入神经元的个数，即等于数据的特征维度，bi是第i个隐层节点的偏置，L是隐层节点个数；步骤3：对于N个输入样本X＝{x1,x2,...,xN}，计算相应的隐层输出矩阵：其中表示激活函数；同样的地对XS，XT和分别计算它们相对应的隐层输出矩阵，分别用HS，和HT来表示；步骤4：结合半监督学习、迁移学习，构建出如下优化模型：其中||β||p是用来约束权值空间的范数正则子，取三种范数正则子：L1范数||β||1，L2范数和包络范数其介于L1范数和L2范数之间；CS，CT，λS和λT都是惩罚参数，LS和LT分别是源领域数据和目标领域数据的拉普拉斯算子，表示矩阵的迹；步骤5：设定上述步骤4中的4个惩罚参数；步骤6：根据源领域所有数据XS和目标领域所有数据XT分别计算LS和LT；步骤7：根据步骤4所述优化模型，求解最优的连接隐层节点和输出神经元的输出权值β；步骤8：根据步骤7得到的不同输出权值β，相应形成不同的基于流形正则项和Lp范数正则子的领域迁移极限学习机模型，然后根据训练误差的大小取其中训练误差最小的一个模型并将其应用到后续新数据的预测问题中。...

【技术特征摘要】
1.一种基于流形正则和范数正则的领域迁移极限学习机方法，其...

【专利技术属性】
技术研发人员：年睿，蔡文强，王耀民，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东;37