一种基于最小P范数的宽度学习方法技术

本发明专利技术公开了一种基于最小P范数的宽度学习方法，包括：步骤1：获得训练输入数据与训练输出数据；步骤2：采用与宽度学习系统相同的方式，通过随机产生的权值和偏置生成隐层节点输出矩阵；步骤3：将误差的P范数作为代价函数并结合固定点迭代策略求解输出权；步骤4：利用训练好的模型参数，估计测试输入对应的输出。由于BLS在复杂噪声或者异常干扰存在的情况下无法有效地完成回归及分类任务，本发明专利技术提出了一种基于最小P范数的宽度学习方法。该方法利用误差的P范数能够很好地应对不同的噪声干扰这一特性，使得其在复杂噪声或者异常干扰存在的情况下仍然能够顺利地完成回归及分类任务，具有重要的研究意义和广泛的应用价值。

A Width Learning Method Based on Minimum P Norm

The invention discloses a width learning method based on the minimum P norm, which includes: step 1: obtaining training input data and training output data; step 2: generating hidden layer node output matrix by randomly generated weights and biases in the same way as the width learning system; step 3: taking the P norm of error as cost function and combining fixed point iteration strategy to solve the output. Weight; Step 4: Estimate the corresponding output of the test input using the trained model parameters. Because BLS can not effectively perform regression and classification tasks in the presence of complex noise or abnormal interference, a width learning method based on minimum P norm is proposed. Using the P norm of the error, the method can deal with different noise disturbances well, and it can still complete the regression and classification tasks smoothly in the presence of complex noise or abnormal disturbances. It has important research significance and wide application value.

【技术实现步骤摘要】
一种基于最小P范数的宽度学习方法
本专利技术涉及一种基于最小P范数的宽度学习方法。
技术介绍
深度神经网络学习模型已经被成功应用于诸多回归及分类问题的建模上。典型的深度神经网络学习模型包括深度玻尔兹曼机(DeepBoltzmannMachines，DBM)、深度置信网络(DeepBeliefNetworks，DBN)、卷积神经网络(ConvolutionalneuralNetworks，CNN)等。为了有效的建立网络模型，这些深度学习办法需要不断调整神经网络的层数以及每层网络所需要的节点数，然后采取迭代的方式确定各个层与层之间的连接权。在数据量十分庞大的时候，这种调整是十分耗时的，从而给实际应用带来了困难。为了解决这一难题，澳门大学陈俊龙等在随机矢量功能连接神经网络(RandomVectorFunctionalLinkNeuralNetwork,RVFLNN)的基础上提出了一种宽度学习方法，并将其命名为宽度学习系统(BroadLearningSystem,BLS)。从提出到现在不足两年的时间里，BLS已经在在手写字体识别和人脸识别等实际任务中表现出了逼近深度神经网络学习模型的识别能力。BLS的设计思路为：首先，将原始的输入数据经过一系列的随机映射，形成“特征节点”矩阵；然后，在“特征节点”矩阵的基础上，经过一系列的随机增强变换，形成“增强节点”矩阵；最后，所有的“特征节点”矩阵和“增强节点”矩阵被送入到输出端，并借助于伪逆求出隐层与输出层之间的连接权。由于BLS在生成“特征节点”矩阵和“增强节点”矩阵的过程中，所有的隐层连接权都是随机产生的，并且一直保持不变，最终只需要求出隐层与输出层之间的连接权即可，这给整个训练过程带来了极大的便利。值得注意的是：BLS在求解隐层与输出层之间的连接权的过程中，默认以最小化误差的二阶统计特性为目标。由于最小化误差的二阶统计特性难以有效地消除非高斯噪声或者异常值所带来的负面影响，BLS在受到复杂噪声或者异常干扰的情况下学习能力也会大打折扣，以至于无法有效地完成回归及分类任务。因此，寻找到一种更为可靠且有效的输出权求解方式是十分必要的。
技术实现思路
针对上述问题，本专利技术提供了一种基于最小P范数的宽度学习方法。该方法以BLS为基础，将误差的P范数作为代价函数求解它的输出权，利用误差的P范数能够很好地应对不同的噪声干扰这一特性，使得其在复杂噪声或者异常干扰存在的情况下也能有效地完成回归及分类任务。为达到上述目的，本专利技术采用以下技术方案予以实现：一种基于最小P范数的宽度学习方法，包括以下步骤：步骤1：获得训练输入数据与训练输出数据其中N表示数据样本的数目，M和C分别表示每个输入矢量与输出矢量对应的维度；步骤2：采用与宽度学习系统相同的方式，将X送入含有L个隐层节点的单隐层神经网络，通过随机产生的权值和偏置生成隐层节点输出矩阵步骤3：将误差的P范数作为代价函数并结合固定点迭代策略求解输出权步骤4：利用训练好的模型参数，包括：训练过程随机产生的权值和偏置以及输出权W，估计测试输入对应的输出。本专利技术进一步的改进在于：步骤2中，生成隐层节点输出矩阵的过程为：步骤2-1：采用k组随机产生的权值和偏置通过变换i＝1,2,…,k来构造“特征节点”矩阵其中φi是一个线性变换，q表示每组特征映射所对应的“特征节点”数目；步骤2-2：采用m组随机产生的权值和偏置通过变换j＝1,2,…,m来构造“增强节点”矩阵其中ξj是一个双曲正切激活函数，r表示每组增强变换所对应的“增强节点”数目；步骤2-3：将“特征节点”矩阵和“增强节点”矩阵拼接成一个整体体，得到隐层节点输出矩阵其中L＝kq+mr。步骤3中，输出权的求解分两种情况进行：当C＝1时，通过最小化由误差的P范数构成的代价函数：得到单独的一个权矢量其中为系统对第n个样本的估计误差，ρ为一个很小的常数，是一个与w有关的对角阵；当C＞1时，直接利用上述结果得到相应的输出连接权矩阵其中c＝1,2,…,C。步骤3中，采用固定点迭代策略寻找隐式方程w＝g(w)解的迭代的核心过程为w(t)＝g(w(t-1))，其中g(w)表示一个与w有关的函数，w(t)表示第t个迭代时刻得到的w的值。与现有技术相比，本专利技术具有以下有益效果：由于BLS在复杂噪声或者异常干扰存在的情况下无法有效地完成回归及分类任务，本专利技术提出了一种基于最小P范数的宽度学习方法。该方法利用误差的P范数能够很好地应对不同的噪声干扰这一特性，使得其在复杂噪声或者异常干扰存在的情况下仍然能够顺利地完成回归及分类任务，具有重要的研究意义和广泛的应用价值。【附图说明】图1是BLS的基本结构示意图。【具体实施方式】为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面结合附图对本专利技术做进一步详细描述：参见图1，本专利技术基于最小P范数的宽度学习方法是在BLS的基础上建立的。图1给出了BLS的基本结构示意图，其中为N个M维的输入矢量组成的输入数据矩阵，为相应的输出数据矩阵，Z1,Z2,…,Zk为“特征节点”矩阵，H1,H2,…,Hm为“增强节点”矩阵，W为隐层和输出层之间的连接权矩阵。它们之间的相互联系如下：首先，X经过k组特征映射，形成k组“特征节点”矩阵Z1,Z2,…,Zk，即其中φi通常被默认为是一个线性变换；q表示每组特征映射所对应的特征节点数目；和分别为随机产生的权值矩阵和偏置矩阵。将所有的“特征节点”矩阵拼接成一个整体，得到总的“特征节点”矩阵为进一步，Zk经过m组增强变换，形成m组“增强节点”矩阵H1,H2,…,Hm，表示为其中r表示每组增强变换所对应的“增强节点”数目；和也是随机产生的权值和偏置。值得注意的是这里的ξj是一个非线性激活函数，默认将其设置为双曲正切函数：ξj(x)＝tanh(x)。将所有的“增强节点”矩阵拼接成一个整体，得到总的“增强节点”矩阵为所有的“特征节点”矩阵和“增强节点”矩阵共同构成隐层节点输出其中L＝kq+mr。系统的最终估计输出为其中表示输出矩阵的估计值。因为所有的和在随机产生后保持不变，目标就变成了找到一个合适的W使得与Y之间的差异性尽可能的小。不同于存在的BLS，这里采用P范数作为代价函数求解输出权W。当C＝1时，输出为一个N×1维的矢量，表示为y；同时，待求解的权为一个L×1维的矢量，表示为w。采用本文档来自技高网...

【技术保护点】
1.一种基于最小P范数的宽度学习方法，其特征在于，包括以下步骤：步骤1：获得训练输入数据

【技术特征摘要】
1.一种基于最小P范数的宽度学习方法，其特征在于，包括以下步骤：步骤1：获得训练输入数据与训练输出数据其中N表示数据样本的数目，M和C分别表示每个输入矢量与输出矢量对应的维度；步骤2：采用与宽度学习系统相同的方式，将X送入含有L个隐层节点的单隐层神经网络，通过随机产生的权值和偏置生成隐层节点输出矩阵步骤3：将误差的P范数作为代价函数并结合固定点迭代策略求解输出权步骤4：利用训练好的模型参数，包括：训练过程随机产生的权值和偏置以及输出权W，估计测试输入对应的输出。2.根据权利要求1所述的基于最小P范数的宽度学习方法，其特征在于，步骤2中，生成隐层节点输出矩阵的过程为：步骤2-1：采用k组随机产生的权值和偏置通过变换来构造“特征节点”矩阵其中φi是一个线性变换，q表示每组特征映射所对应的“特征节点”数目；步骤2-2：采用m组随机产生的权值和偏置通过变换...

【专利技术属性】
技术研发人员：陈霸东，郑云飞，王飞，杜少毅，任鹏举，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61