一种静态策略定点化训练方法及装置制造方法及图纸

一种静态策略定点化训练方法及装置。本申请公开一种用于深度神经网络的基于静态定点参数的定点训练方法及装置。更具体地，针对深度神经网络(例如，LSTM神经网络)的计算结构，提出一种相应的定点训练方法，在神经网络的重训过程中，使用定点的方式进行前向计算，在若干训练周期之内，将网络精度恢复到浮点计算的水平。

【技术实现步骤摘要】
一种静态策略定点化训练方法及装置专利
本申请涉及一种用于深度神经网络的定点训练方法及装置。更具体地，本申请涉及一种用于LSTM神经网络的基于静态定点参数的定点训练方法及装置。
技术介绍
人工神经网络人工神经网络(ArtificialNeuralNetworks,ANNs)，又称神经网络(NNs)，是一种模仿动物神经网络的行为特征，进行分布式并行信息处理的数学计算模型。近年来，神经网络得到快速发展，被广泛应用于诸多领域，如图像识别、语音识别、自然语言处理、基因表达、内容推送等等。在神经网络模型，存在大量彼此连接的节点(也称“神经元”)。每个神经元，通过某种特定的输出函数(也称“激活函数”(ActivationFunction))计算处理来自其它相邻神经元的加权输入值，并且神经元之间的信息传递强度用“权值”来定义。算法通过自我学习，调整该权值。早期的神经网络只有输入和输出层两层，无法处理复杂的逻辑，限制了其实用性。如图1所示，深度神经网络(DeepNeuralNetwork,DNNs)通过在输入和输出层之间添加隐藏的中间层，有效提升了网络在处理复杂问题时的表现。为了适应不同的应用场景，深本文档来自技高网...

【技术保护点】
一种浮点神经网络的定点训练方法，包括：定点参数确定步骤，用于确定用于所述浮点神经网络的前向计算过程的定点参数；神经网络定点步骤，用于对浮点神经网络进行定点，以获得相应的定点神经网络；定点前向计算步骤，用于使训练数据集通过所述定点神经网络，并根据所述定点参数进行定点前向计算；以及神经网络更新步骤，用于根据所述定点前向计算的计算结果来更新浮点神经网络的权重。

【技术特征摘要】
1.一种浮点神经网络的定点训练方法，包括：定点参数确定步骤，用于确定用于所述浮点神经网络的前向计算过程的定点参数；神经网络定点步骤，用于对浮点神经网络进行定点，以获得相应的定点神经网络；定点前向计算步骤，用于使训练数据集通过所述定点神经网络，并根据所述定点参数进行定点前向计算；以及神经网络更新步骤，用于根据所述定点前向计算的计算结果来更新浮点神经网络的权重。2.根据权利要求1所述的方法，还包括：迭代执行所述定点参数确定步骤、神经网络定点步骤、定点前向计算步骤和神经网络更新步骤，直到浮点神经网络达到期望精度。3.根据权利要求1所述的方法，所述定点参数包括：用于表示浮点数的定点数的总比特数和小数位长。4.根据权利要求1所述的方法，其中，所述定点参数确定步骤还包括：使验证集通过所述浮点神经网络以进行浮点前向计算，确定所述浮点前向计算过程的中间数据的数值范围，以及根据该数值范围确定所述定点参数。5.根据权利要求1所述的方法，所述神经网络定点步骤还包括：利用浮点数转定点数法则来定点所述浮点神经网络的以浮点数表示的权重参数。6.根据权利要求1所述的方法，所述定点前向计算步骤还包括：在所述定点前向计算过程中，根据所述定点参数确定训练数据集的总比特数和小数位长以及中间计算结果的总比特数和小数位长。7.根据权利要求1所述的方法，其中，所述神经网络更新步骤还包括：比较所述定点前向计算的计算结果与标准值以获得损失值；以及根据所述损失值计算浮点梯度，并根据所述浮点梯度更新浮点神经网络。8.根据权利要求1所述的方法，其中，所述浮点神经网络是LSTM神经网络，所述训练数据集是语音数据集。9.一种浮点神经网络的定点训练方法，包括：初始训练步骤，用于对浮点神经网络进行初始训练，以获得具有期望精度的中间神经网络；定点参数确定步骤，用于使验证集通过所述中间神经网络并进行浮点前向计算，从而确定用于所述中间神经网络的前向计算过程的定点参数；神经网络定点步骤，用于对所述中间神经网络进行定点，以获得相应的定点神经网络；定点前向计算步骤，用于使训练数据集通过所述定点神经网络并根据所述定点参数进行定点前向计算；以及中间神经网络更新步骤，根据所述定点前向计算的计算结果更新所述中间神经网络。10.根据权利要求9所述的方法，还包括：迭代执行所述定点参数确定步骤、神经网络定点步骤、定点前向计算步骤和中间神经网络更新步骤，直到所述中间神经网络恢复所述期...

【专利技术属性】
技术研发人员：李鑫，孟通，
申请(专利权)人：北京深鉴科技有限公司，
类型：发明
国别省市：北京,11