一种梯度下降宽度学习系统实现方法技术方案

本发明专利技术提供一种梯度下降宽度学习系统实现方法，梯度下降宽度学习系统由特征层、增强层和输出层三个密集层和一个合并层构成，特征层使用随机映射将输入数据映射为映射特征以形成特征节点，增强层对特征层输出的映射特征进行增强以形成增强节点，合并层将特征节点和增强节点的输出进行合并后作为一个整体输入到输出层，输出层将合并层的输出进行映射成网络最终的输出，训练时小批量训练样本被不断输入梯度下降宽度学习系统，梯度下降宽度学习系统采用梯度下降法来更新网络的权重，使均方误差MSE损失函数的损失逐渐减小。本方法实现的梯度下降宽度学习系统在不断进行小批量训练样本训练时，能够明显提升分批训练时的回归性能，可应用于回归任务。

A realization method of gradient descent width learning system

The invention provides an implementation method of gradient descent width learning system, which is composed of three dense layers of feature layer, enhancement layer and output layer and one merging layer. The feature layer uses random mapping to map input data into mapping features to form feature nodes, and the enhancement layer enhances the mapping features of feature layer output to form enhancement nodes and merging layers The output of the feature node and the enhancement node are combined and input to the output layer as a whole. The output layer maps the output of the combination layer to the final output of the network. During the training, small batch of training samples are continuously input into the gradient descent width learning system. The gradient descent width learning system uses the gradient descent method to update the weight of the network, so as to make MSE loss function of mean square error The loss is gradually reduced. The gradient descent width learning system implemented by this method can significantly improve the regression performance of batch training, and can be applied to regression tasks.

【技术实现步骤摘要】
一种梯度下降宽度学习系统实现方法
本专利技术涉及宽度学习
，具体涉及一种梯度下降宽度学习系统实现方法。
技术介绍
宽度学习系统(BroadLearningSystem，BLS)是一种可替代深度结构神经网络(deepstructureneuralnetwork)的模型，由Chen等人提出，能有效地运用于分类和回归任务。与目前流行的深度神经网络(DeepNeuralNetwork，DNN)不同，BLS是在随机向量函数链接神经网络(RandomVectorFunctionalLinkNeuralNetwork，RVFLNN)的基础上提出的，有着扁平的网络架构(networkarchitecture)。它的基本思想是：首先，从输入数据生成映射特征(mappedfeature)以形成特征节点(featurenode)，一个映射特征可以形成多个特征节点。其次，映射特征被增强为具有随机生成权重的增强节点(enhancementnode)。最后，所有映射特征和增强节点直接连接到输出端，所需的连接权重可以通过伪逆(pseudoinverse)的岭回归(ri本文档来自技高网...

【技术保护点】
1.一种梯度下降宽度学习系统实现方法，其特征在于，所述梯度下降宽度学习系统的架构包括特征层、增强层和输出层共三个密集层及一个合并层，所述方法包括以下步骤：/nS1、梯度下降宽度学习系统构建：/n设训练集为

【技术特征摘要】
1.一种梯度下降宽度学习系统实现方法，其特征在于，所述梯度下降宽度学习系统的架构包括特征层、增强层和输出层共三个密集层及一个合并层，所述方法包括以下步骤：
S1、梯度下降宽度学习系统构建：
设训练集为其中X为样本集，为矩阵，n为样本个数，d为样本的维度，Y为样本标签集，c为类别个数；构建流程包括：
首先，让密集层中的特征层使用随机映射φ将样本集X映射为一个映射特征以形成特征节点Z：
Z＝φ(XWe+βe)式(1)
其中，连接权重We和偏置βe是随机生成的向量；
其次，使用密集层中的增强层对特征层输出的映射特征进行增强，形成一组增强节点H：
H＝ξ(ZWh+βh)式(2)
其中，ξ是随机映射，Wh是随机生成的连接权重，βh是随机生成的偏置；
然后，使用合并层将特征节点和增强节点的输出进行合并，并将合并的结果A作为一个整体输出到输出层：
A＝[Z|H]式(3)
最后，使用密集层中的输出层将合并层的输出结果通过随机映射映射为梯度下降宽度学习系统的最终输出



其中...

【专利技术属性】
技术研发人员：刘然，刘亚琼，田逢春，钱君辉，郑杨婷，赵洋，陈希，崔珊珊，王斐斐，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50