【技术实现步骤摘要】
神经网络模型量化方法、装置及电子设备
本专利技术涉及机器学习
，尤其是涉及一种神经网络模型量化方法、装置及电子设备。
技术介绍
目前神经网络模型在语音识别、文字识别、以及图像视频识别等许多领域中已经有了广泛而成功的应用。在一些指定的目标任务中，训练好的神经网络模型需要进一步部署到目标设备进行加速，由于一般的神经网络模型都是双精度或单精度浮点数运算，为了使尽可能多地目标设备满足运算需求，研究人员对神经网络模型进行了量化，以降低神经网络模型的运算复杂度及运算单元开销。然而，现有的量化后的神经网络模型在归一化层依然存在浮点参数，所以仍需要浮点运算单元，无法运行在只支持定点或低位宽运算的目标设备上。因此，现有的量化后的神经网络模型，还存在因计算复杂度较高而无法运行在只支持定点或低位宽运算的目标设备上的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种神经网络模型量化方法、装置及电子设备，降低了神经网络模型的运算复杂度，使得量化后的神经网络模型在只支持定点或低位宽运算的目标设备上可以加速运行。
【技术保护点】
1.一种神经网络模型量化方法，其特征在于，包括：/n获取神经网络模型；其中，所述神经网络模型包括卷积层、归一化层和量化激活层，所述量化激活层的输出特征为整数型特征；/n将所述卷积层的参数转换为整数型参数；/n对所述归一化层和所述量化激活层进行合并，得到合并层；/n将所述合并层的参数转换为整数型参数，得到量化后的神经网络模型。/n
【技术特征摘要】
1.一种神经网络模型量化方法，其特征在于，包括：
获取神经网络模型；其中，所述神经网络模型包括卷积层、归一化层和量化激活层，所述量化激活层的输出特征为整数型特征；
将所述卷积层的参数转换为整数型参数；
对所述归一化层和所述量化激活层进行合并，得到合并层；
将所述合并层的参数转换为整数型参数，得到量化后的神经网络模型。
2.根据权利要求1所述的方法，其特征在于，
所述对所述归一化层和所述量化激活层进行合并的步骤，包括：
将所述归一化层的输出特征作为所述量化激活层的输入特征，对所述归一化层和所述量化激活层进行合并，得到合并层的初始输出特征；
对所述合并层的初始输出特征进行限值运算，得到所述合并层的目标输出特征。
3.根据权利要求2所述的方法，其特征在于，所述对所述合并层的初始输出特征进行限值运算，得到所述合并层的目标输出特征的步骤，包括：
将所述合并层的初始输出特征的大小限值在[0，2F-1]内，当所述合并层的初始输出特征小于0时，将所述合并层的目标输出特征设置为0，当所述合并层的初始输出特征大于2F-1时，将所述合并层的目标输出特征设置为2F-1。
4.根据权利要求2或3所述的方法，其特征在于，所述合并层的初始输出特征为其中，N为所述归一化层的输入特征，b为所述合并层的偏移量，t为所述合并层的量化间隔，b和t均为浮点数，b和t均是基于所述归一化层和所述量化激活层的参数合并得到的。
5.根据权利要求4所述的方法，其特征在于，所述将所述合并层的参数转换为整数型参数的步骤，包括：
利用预设的运算等效算法确定所述合并层的公用正整数；
基于所述公用正整数将所述合并层的参数b和t分别由浮点数转换为整数型参数，得到所述合并层的初始输出特征为
其中，B为整数型偏移量，T为整数型量化间隔，K为所述公用正整数。
6.根据权利要求5所述的方法，其特征在于，所述利用预设的运算等效算法确定所述合并层的公用正整数的步骤，包括：
从预设范围中选取满足预设条件的各个候选序列；其中，所述预设范围为[1，2F-1]；
从各个所述候选序列中提取最小值，得到目标序列；
将所述目标序列中的最大值作为所述合并层的公用正整数。
7.根据权利要求1所述的方法，其特征在于，所述将所述卷积层的参数转存为整数型参数的步骤，包括：
对所述卷积层的权重进行缩放和偏移处理，得到所述卷积层的整数型权重。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述神经网络模型通过以下方式训练：
在神经网络模型的迭代训练过程中，基于预设的量化位宽值确定所述卷积层的权重的候选取值，并根据所述候选取值和所述卷...
【专利技术属性】
技术研发人员：周舒畅，林大超，李翔，张志华，杨弋，王田，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。