一种神经网络初始化方法、装置、可读介质及存储控制器制造方法及图纸

本发明专利技术提供了一种神经网络初始化方法、装置、可读介质及存储控制器，该方法包括：根据待训练神经网络的结构以及权重值数量，构建离散神经网络，并确定所述离散神经网络对应的权重值的取值范围；在确定出的所述取值范围内，确定当前离散训练值；利用所述离散神经网络，确定与所述当前离散训练值对应的梯度值；确定所述梯度值是否不大于预设第一阈值；如果是，根据所述当前离散训练值，确定全局最优离散权重参数；将确定出的所述最优离散权重参数赋值给所述待训练神经网络，利用所述全局最优离散权重参数，对所述待训练神经网络进行训练。本方案能缩短神经网络的训练时间。

A neural network initialization method, device, readable medium and storage controller

The present invention provides a method of neural network initialization, device, computer-readable medium and storage controller, the method comprises: according to the structure for the training of the neural network and the number of weights, constructing discrete neural network, and to determine the range of weights of the discrete neural network corresponding value; in the range determined in sure, the current value of the discrete training; using discrete neural network, and determine the current value of the corresponding discrete training gradient value; determining the gradient value is not greater than a preset first threshold value; if it is, according to the current discrete training value, to determine the global optimal weights of the discrete parameter; optimal weighting parameters the assignment is determined to the training of the neural network, using the global optimal discrete weight parameters of the neural network is trained to be training. This scheme can shorten the training time of the neural network.

【技术实现步骤摘要】
一种神经网络初始化方法、装置、可读介质及存储控制器
本专利技术涉及计算机
，特别涉及一种神经网络初始化方法、装置、可读介质及存储控制器。
技术介绍
随着计算机技术的发展，神经网络已经语音识别、文本处理和视觉目标识别等多个领域表现出强大的能力。神经网络的特征的层数越多，训练好的神经网络的识别性能越强。在传统神经网络的训练时，通常有多个训练过程同时进行，每个训练过程采用随机初始化的方式对神经网络的权重值进行初始化。传统神经网络的权重值一般为一定取值范围内的浮点数，随机初始化的方式即从该取值范围内的任一浮点数开始进行训练。在该训练过程中，大量浮点数以及多个训练过程使得神经网络的训练需要较长的时间。
技术实现思路
本专利技术实施例提供了一种神经网络初始化方法、装置、可读介质及存储控制器，能缩短神经网络的训练时间。第一方面，本专利技术实施例提供了一种神经网络初始化方法，包括：根据待训练神经网络的结构以及权重值数量，构建离散神经网络，并确定所述离散神经网络对应的权重值的取值范围；在确定出的所述取值范围内，确定当前离散训练值；利用所述离散神经网络，确定与所述当前离散训练值对应的梯度值；确定所述梯本文档来自技高网...

【技术保护点】
一种神经网络初始化方法，其特征在于，包括：根据待训练神经网络的结构以及权重值数量，构建离散神经网络，并确定所述离散神经网络对应的权重值的取值范围；在确定出的所述取值范围内，确定当前离散训练值；利用所述离散神经网络，确定与所述当前离散训练值对应的梯度值；确定所述梯度值是否不大于预设第一阈值；如果是，根据所述当前离散训练值，确定全局最优离散权重参数；将确定出的所述最优离散权重参数赋值给所述待训练神经网络，利用所述全局最优离散权重参数，对所述待训练神经网络进行训练。

【技术特征摘要】
1.一种神经网络初始化方法，其特征在于，包括：根据待训练神经网络的结构以及权重值数量，构建离散神经网络，并确定所述离散神经网络对应的权重值的取值范围；在确定出的所述取值范围内，确定当前离散训练值；利用所述离散神经网络，确定与所述当前离散训练值对应的梯度值；确定所述梯度值是否不大于预设第一阈值；如果是，根据所述当前离散训练值，确定全局最优离散权重参数；将确定出的所述最优离散权重参数赋值给所述待训练神经网络，利用所述全局最优离散权重参数，对所述待训练神经网络进行训练。2.根据权利要求1所述的方法，其特征在于，当确定出所述当前离散训练值对应的梯度值大于预设第一阈值时，进一步包括：根据所述离散神经网络的梯度方向，在所述取值范围中，确定临近离散训练值；将所述临近离散训练值作为当前离散训练值，执行所述利用所述离散神经网络，确定与所述当前离散训练值对应的梯度值。3.根据权利要求1所述的方法，其特征在于，所述根据所述当前离散训练值，确定全局最优离散权重参数，包括：利用所述离散神经网络，确定与所述当前离散训练值对应的损失值；确定所述损失值是否小于预设第二阈值，如果是，将所述当前离散训练值作为所述全局最优离散权重参数。4.根据权利要求1所述的方法，其特征在于，所述在确定出的所述取值范围内，确定当前离散训练值，包括：确定离散训练值的个数；根据所述离散训练值的个数，将所述取值范围划分为至少两个取值域；其中，每一个所述取值域对应一个所述离散训练值；从各个所述离散训练值中，选择所述当前离散训练值。5.一种神经网络初始化装置，其特征在于，包括：构建单元、确定单元和训练单元；其中，所述构建单元，用于根据待训练神经网络的结构以及权重值数量，构建离散神经网络，并确定所述离散神经网络对应的权重...

【专利技术属性】
技术研发人员：张旭，段成德，于治楼，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东,37