【技术实现步骤摘要】
训练神经网络的方法及装置、电子设备
本申请涉及神经网络
，尤其涉及一种训练神经网络的方法及装置、电子设备。
技术介绍
神经网络在图像识别、语音识别、机器翻译、疾病诊断等领域的应用远远超过了以往的其他解决方案。然而，神经网络的模型复杂度和计算效率常常会限制更加广泛的在各种场合应用神经网络模型。因此减少神经网络模型大小、加快神经网络模型推理速度，可以大大拓宽神经网络应用的领域。
技术实现思路
为了解决上述技术问题，期望提供一种训练神经网络的方法及装置、电子设备，以获得计算简单并且精度又接近原始神经网络的定点化神经网络，从而在提高计算效率和节省硬件资源的同时获得较高精度的运算结果。根据本申请的一个方面，提供了一种训练神经网络的方法，包括：量化卷积神经网络中卷积层的第一组浮点型参数，以获得所述卷积层的第一组定点型参数，所述第一组浮点型参数是通过样本数据对所述卷积神经网络进行训练得到的浮点型数据；基于与所述卷积层相对应的归一化层的第二组浮点型参数和所述第一组定点型参数，确定所述卷积层的...
【技术保护点】
1.一种训练神经网络的方法，包括：/n量化卷积神经网络中卷积层的第一组浮点型参数，以获得所述卷积层的第一组定点型参数，所述第一组浮点型参数是通过样本数据对所述卷积神经网络进行训练得到的浮点型数据；/n基于与所述卷积层相对应的归一化层的第二组浮点型参数和所述第一组定点型参数，确定所述卷积层的第三组浮点型参数，所述第三组浮点型参数为浮点型数据；以及/n量化所述第三组浮点型参数为第二组定点型参数，以得到定点化的卷积神经网络。/n
【技术特征摘要】
1.一种训练神经网络的方法，包括：
量化卷积神经网络中卷积层的第一组浮点型参数，以获得所述卷积层的第一组定点型参数，所述第一组浮点型参数是通过样本数据对所述卷积神经网络进行训练得到的浮点型数据；
基于与所述卷积层相对应的归一化层的第二组浮点型参数和所述第一组定点型参数，确定所述卷积层的第三组浮点型参数，所述第三组浮点型参数为浮点型数据；以及
量化所述第三组浮点型参数为第二组定点型参数，以得到定点化的卷积神经网络。
2.根据权利要求1所述的方法，其中，所述第二组定点型参数的位宽由执行所述卷积神经网络运算的硬件支持的数据位宽确定。
3.根据权利要求1所述的方法，其中，量化卷积神经网络中卷积层的第一组浮点型参数，包括：
转换所述卷积层的第一组浮点型参数为定点型数据；以及，
利用所述转换得到的定点型数据和与所述卷积层相对应的归一化层的第二组浮点型参数训练所述卷积神经网络，以得到所述卷积层的第一组定点型参数。
4.根据权利要求3所述的方法，其中，转换所述卷积层的第一组浮点型参数为定点型数据，包括：
对当前卷积层的第一组浮点型参数执行除法操作，所述除法操作的除数由对应当前卷积层的预定移位值确定；以及
对所述除法操作的结果依次执行取整操作和对应预定位宽值的截取操作，以得到对应当前卷积层的第一组浮点型参数的定点型数据。
5.根据权利要求1所述的方法，其中，
所述归一化层的第二组浮点型参数包括尺度因子和平移因子；所述卷积层的第一组定点型参数包括第一定点型权重和第一定点型偏置量，所述卷积层的第三组浮点型参数包括第三浮点型权重和第三浮点型偏置量；
基于与所述卷积层相对应的归一化层的第二组浮点型参数和所述第一组定点型参数，确定所述卷积层的第三组浮点型参数，包括：根据所述尺度因子和所述第一定点型权重，计算所述第三浮点型权重；以及，根据所述尺度因子、平移因子以及所述第一定点型偏置量，计算所述第三浮点型偏置量。
6.根据权利要求5所述的方法，其中，
所述归一化层的第二组浮点型参数还包括方差和归一化常数；
根据所述尺度因子和所述第一定点型权重，计算所述第三浮点型权重，包括：
由对应每个通道维度的尺度因子除以归一化常数和相应通道维度的所述方差之和，得到对应每个通道维度的第一商值；以及
计算对应每个通道维度的第一商值与所述第一定点型权重中对应所述通道维度的核中的数据的乘积，得到所述第三浮点型权重中每个核中的数据；
其中，所述通...
【专利技术属性】
技术研发人员：罗恒，张健，耿益锋，黄畅，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。