一种随机权网络泛化能力改进方法、装置和计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种随机权网络泛化能力改进方法、装置和计算机可读存储介质，本发明专利技术的随机权网络泛化能力改进方法首先在伪残差数据集上解析地计算弱随机权网络的初始输出层权重，之后，设计了考虑当前集成学习模型损失和复杂度的目标函数，通过最小化目标函数计算出了最优输出层权重的优化准则，最后，以初始输出层权重为启发式，结合推导的优化准则，计算出弱随机权网络的最优输出层权重，该过程可以看作是对弱随机权网络初始输出层权重的再次优化，通过目标函数得出优化规则，并对弱随机权网络初始输出层权重进行再次优化的好处主要体现在：结构较为简单的集成学习模型能够获得更好的泛化表现、更优秀的过拟合控制能力以及更小的预测方差。

Method and device for improving generalization ability of random weight network and computer readable storage medium

The invention discloses a random weight network generalization capability improvement method, device and computer readable storage medium. The random weight network generalization capability improvement method of the present invention firstly calculates the initial output layer weight of the weak random weight network analytically on the pseudo residual data set, and then designs an integrated learning model considering the current loss. The objective function of the sum-loss complexity is used to minimize the objective function to calculate the optimal weight of the output layer. Finally, the optimal weight of the output layer of the weak stochastic weight network is calculated by using the initial weight of the output layer as a heuristic and combining with the derived optimization criteria. The process can be regarded as the initial transmission of the weak stochastic weight network. The advantages of re-optimizing the weights of the initial output layer of the weak stochastic weight network are as follows: the simpler ensemble learning model can obtain better generalization performance, better over-fitting control capability and smaller prediction error.

【技术实现步骤摘要】
一种随机权网络泛化能力改进方法、装置和计算机可读存储介质
本专利技术涉及机器学习领域，尤其涉及一种随机权网络泛化能力改进方法、装置和计算机可读存储介质。
技术介绍
随机权网络(RandomWeightNetwork-RWN)是一种不依赖迭代式权重更新策略的全链接前馈神经网络，与传统的基于误差反传方法的权重更新策略不同，RWN随机地选择输入层权重，通过求解隐含层输出矩阵的伪逆，进而计算出输出层权重的解析解。由于避免了迭代式的权重调整，因此RWN获得了极快的训练速度。同时，万能逼近定理理论上保证了RWN的收敛性。当前，大量关于RWN泛化能力改进的研究工作被提出，主要集中在RWN框架的改进上，包括输入层权重的优化、最佳隐含层节点个数的选取、以及多随机权网络的集成等，这些改进在一定程度上提升了RWN的预测表现。现有的基于Bagging机制和Boosting机制的RWN集成学习方法，与GBRWN相比，主要存在以下缺点：基于Bagging机制的RWN集成学习方法主要关注的是集成学习模型的广度(横向集成)，即通过不断在原始训练数据中随机抽样构建数据子集，进而训练RWN的方式生成集成RWN。该方法在本文档来自技高网...

【技术保护点】
1.一种随机权网络泛化能力改进方法，其特征在于，所述方法包括：步骤S1：在初始训练集

【技术特征摘要】
1.一种随机权网络泛化能力改进方法，其特征在于，所述方法包括：步骤S1：在初始训练集上训练初始随机权网络RWN0，其输入层权重和隐含层偏置在区间[-1,1]内随机选取，其输出层权重依据下式解析求得：其中，H0为RWN0的隐含层输出矩阵，I为L×L阶单位矩阵，正则化因子λ>0，规范化因子C>0，L为随机权网络隐含层节点个数，且L>0；步骤S2：从k＝1到k＝K，进行如下迭代运算：计算损失函数在处的一阶导数向量计算损失函数在处的二阶导数向量计算伪残差向量基于伪残差训练数据集确定弱随机权网络RWNk的初始输出层权重：其中，Hk为RWNk的隐含层输出矩阵，I为L×L阶单位矩阵；确定RWNk最优输出层权重对当前的集成学习模型或梯度提升随机权网...

【专利技术属性】
技术研发人员：何玉林，敖威，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东,44