一种随机权网络泛化能力改进方法、装置和计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种随机权网络泛化能力改进方法、装置和计算机可读存储介质，本发明专利技术的随机权网络泛化能力改进方法首先在伪残差数据集上解析地计算弱随机权网络的初始输出层权重，之后，设计了考虑当前集成学习模型损失和复杂度的目标函数，通过最小化目标函数计算出了最优输出层权重的优化准则，最后，以初始输出层权重为启发式，结合推导的优化准则，计算出弱随机权网络的最优输出层权重，该过程可以看作是对弱随机权网络初始输出层权重的再次优化，通过目标函数得出优化规则，并对弱随机权网络初始输出层权重进行再次优化的好处主要体现在：结构较为简单的集成学习模型能够获得更好的泛化表现、更优秀的过拟合控制能力以及更小的预测方差。

Method and device for improving generalization ability of random weight network and computer readable storage medium

The invention discloses a random weight network generalization capability improvement method, device and computer readable storage medium. The random weight network generalization capability improvement method of the present invention firstly calculates the initial output layer weight of the weak random weight network analytically on the pseudo residual data set, and then designs an integrated learning model considering the current loss. The objective function of the sum-loss complexity is used to minimize the objective function to calculate the optimal weight of the output layer. Finally, the optimal weight of the output layer of the weak stochastic weight network is calculated by using the initial weight of the output layer as a heuristic and combining with the derived optimization criteria. The process can be regarded as the initial transmission of the weak stochastic weight network. The advantages of re-optimizing the weights of the initial output layer of the weak stochastic weight network are as follows: the simpler ensemble learning model can obtain better generalization performance, better over-fitting control capability and smaller prediction error.

【技术实现步骤摘要】
一种随机权网络泛化能力改进方法、装置和计算机可读存储介质
本专利技术涉及机器学习领域，尤其涉及一种随机权网络泛化能力改进方法、装置和计算机可读存储介质。
技术介绍
随机权网络(RandomWeightNetwork-RWN)是一种不依赖迭代式权重更新策略的全链接前馈神经网络，与传统的基于误差反传方法的权重更新策略不同，RWN随机地选择输入层权重，通过求解隐含层输出矩阵的伪逆，进而计算出输出层权重的解析解。由于避免了迭代式的权重调整，因此RWN获得了极快的训练速度。同时，万能逼近定理理论上保证了RWN的收敛性。当前，大量关于RWN泛化能力改进的研究工作被提出，主要集中在RWN框架的改进上，包括输入层权重的优化、最佳隐含层节点个数的选取、以及多随机权网络的集成等，这些改进在一定程度上提升了RWN的预测表现。现有的基于Bagging机制和Boosting机制的RWN集成学习方法，与GBRWN相比，主要存在以下缺点：基于Bagging机制的RWN集成学习方法主要关注的是集成学习模型的广度(横向集成)，即通过不断在原始训练数据中随机抽样构建数据子集，进而训练RWN的方式生成集成RWN。该方法在构建集成RWN的过程中忽略了集成学习模型的深度(纵向集成)。基于Boosting机制的RWN集成学习方法同时考虑了横向集成和纵向集成，但是对于错分样本的加权机制是影响集成学习模型泛化能力的重要因素，样本权重的确定将增加集成学习模型的训练复杂度。同时，基学习器权重的大小通常取决于基于基学习器训练精度的高低，高精度的基学习器更易获得较大权重，增加了集成学习模型过拟合的风险。专利技术内容本专利技术实施例的主要目的在于提供一种随机权网络泛化能力改进方法、装置和计算机可读存储介质，从而达到显著提升初始随机权网络泛化能力和增强其稳定性的目的。为实现上述目的，本专利技术实施例第一方面提供一种随机权网络泛化能力改进方法，所述方法包括：步骤S1：在初始训练集上训练初始随机权网络RWN0，其输入层权重和隐含层偏置在区间[-1,1]内随机选取，其输出层权重依据下式解析求得：其中，H0为RWN0的隐含层输出矩阵，I为L×L阶单位矩阵，正则化因子λ>0，规范化因子C>0，L为随机权网络隐含层节点个数，且L>0；步骤S2：从k＝1到k＝K，进行如下迭代运算：计算损失函数在处的一阶导数向量计算损失函数在处的二阶导数向量计算伪残差向量基于伪残差训练数据集确定弱随机权网络RWNk的初始输出层权重：其中，Hk为RWNk的隐含层输出矩阵，I为L×L阶单位矩阵；确定RWNk最优输出层权重对当前的集成学习模型或梯度提升随机权网络进行更新，即GBRWNk＝GBRWNk-1+RWNk和Fk(X)＝Fk-1(X)+Ek(X)。根据本专利技术实施例第一方面提供的随机权网络泛化能力改进方法，所述确定RWNk最优输出层权重的过程如下：从l＝1到l＝L，进行如下迭代计算：本专利技术实施例第二方面提供一种随机权网络泛化能力改进装置，其包括至少一处理器、存储器及接口，所述至少一处理器、存储器及接口均通过总线连接；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述随机权网络泛化能力改进装置实现本专利技术实施例第一方面提供的随机权网络泛化能力改进方法的步骤。本专利技术实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术实施例第一方面提供的随机权网络泛化能力改进方法的步骤。本专利技术的随机权网络泛化能力改进方法的优点主要体现在如下方面:为了确定序列中弱随机权网络的最优输出层权重，本专利技术的随机权网络泛化能力改进方法首先在伪残差数据集上解析地计算弱随机权网络的初始输出层权重，之后，设计了考虑当前集成学习模型损失和复杂度的目标函数，通过最小化目标函数计算出了最优输出层权重的优化准则，最后，以初始输出层权重为启发式，结合推导的优化准则，计算出弱随机权网络的最优输出层权重，该过程可以看作是对弱随机权网络初始输出层权重的再次优化，通过目标函数得出优化规则，并对弱随机权网络初始输出层权重进行再次优化的好处主要体现在：结构较为简单的集成学习模型能够获得更好的泛化表现、更优秀的过拟合控制能力以及更小的预测方差；另外，不需要对当前随机权网络的框架结构进行任何修改(简便，易于实现)、具有很强的可扩展性(适用于任意类型的基于框架结构改进的随机权网络)以及高效的控制过拟合的能力(基本上不存在过拟合现象)。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的随机权网络泛化能力改进方法的流程图；图2为本专利技术实施例提供的随机权网络泛化能力改进装置的结构框图。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术实施例提供的随机权网络泛化能力改进方法主要包括步骤S1至S2，下面进行详细说明。步骤S1：在初始训练集上训练初始随机权网络RWN0，其输入层权重和隐含层偏置在区间[-1,1]内随机选取，其输出层权重依据下式解析求得：其中，H0为RWN0的隐含层输出矩阵，I为L×L阶单位矩阵，正则化因子λ>0，规范化因子C>0，L为随机权网络隐含层节点个数，且L>0；步骤S2：从k＝1到k＝K，进行如下迭代运算：计算损失函数在处的一阶导数向量计算损失函数在处的二阶导数向量计算伪残差向量基于伪残差训练数据集确定弱随机权网络RWNk的初始输出层权重：其中，Hk为RWNk的隐含层输出矩阵，I为L×L阶单位矩阵；确定RWNk最优输出层权重对当前的集成学习模型或梯度提升随机权网络进行更新，即GBRWNk＝GBRWNk-1+RWNk和Fk(X)＝Fk-1(X)+Ek(X)。根据本专利技术实施例第一方面提供的随机权网络泛化能力改进方法，所述确定RWNk最优输出层权重的过程如下：从l＝1到l＝L，进行如下迭代计算：下面，对所述确定RWNk最优输出层权重的公式进行推导和说明。假设现有训练数据集其中，和分别表示数据集对应真实输入和输出矩阵。对于未知样本GBRWN采用式(1)确定其实际输出：其中，K表示训练梯度提升随机权网络的迭代次数(人工设置的阈值)，表示最终训练所得的集成学习模型GBRWNK(即最终的梯度提升随机权网络)对的预测输出，表示基于原始训练数据集训练(输入层权重和隐含层偏置随机选取，输出层权重解析求得)所得的初始随机权网络RWN0对的预测输出；表示在第k(k＝1,2,…,K)次迭代训练过程中所得的“弱随机权网络”RWNk对的预测输出，RWNk输出层权重的确定与Fk本文档来自技高网...

【技术保护点】
1.一种随机权网络泛化能力改进方法，其特征在于，所述方法包括：步骤S1：在初始训练集

【技术特征摘要】
1.一种随机权网络泛化能力改进方法，其特征在于，所述方法包括：步骤S1：在初始训练集上训练初始随机权网络RWN0，其输入层权重和隐含层偏置在区间[-1,1]内随机选取，其输出层权重依据下式解析求得：其中，H0为RWN0的隐含层输出矩阵，I为L×L阶单位矩阵，正则化因子λ>0，规范化因子C>0，L为随机权网络隐含层节点个数，且L>0；步骤S2：从k＝1到k＝K，进行如下迭代运算：计算损失函数在处的一阶导数向量计算损失函数在处的二阶导数向量计算伪残差向量基于伪残差训练数据集确定弱随机权网络RWNk的初始输出层权重：其中，Hk为RWNk的隐含层输出矩阵，I为L×L阶单位矩阵；确定RWNk最优输出层权重对当前的集成学习模型或梯度提升随机权网...

【专利技术属性】
技术研发人员：何玉林，敖威，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东,44