神经网络模型的量化方法和装置制造方法及图纸

本申请公开了神经网络模型的量化方法和装置，涉及人工智能、深度学习和图像处理技术领域。该方法的一具体实施方式包括：基于当前的量化映射函数，对待量化的神经网络模型进行量化并测试基于当前的量化映射函数量化得到的当前量化后神经网络模型的性能，量化映射函数为预设的函数；基于当前量化后神经网络模型的性能对待量化的神经网络模型的参数和当前的量化映射函数的参数进行迭代调整；响应于确定当前量化后神经网络模型满足预设的收敛条件，确定当前量化后神经网络模型为目标神经网络模型。该实施方式提升了量化后神经网络模型的精度。

【技术实现步骤摘要】
神经网络模型的量化方法和装置
本申请的实施例涉及计算机
，具体涉及人工智能、深度学习和图像处理
，尤其涉及一种神经网络模型的量化方法和装置。
技术介绍
最近几年，深度学习技术在很多应用领域都取得了巨大的成功，深度学习技术中，神经网络结构的好坏对模型的效果有非常重要的影响。实践中为了获得较高的性能，神经网络的结构复杂度较高，相应地，网络参数的数量庞大。存储神经网络的参数需要消耗较大的内存空间，并且在运行神经网络时，由于参数众多且精度较高，对处理器的要求较高。为了保证神经网络运算的实时性，减小处理器的运算压力，同时确保神经网络的性能，需要对神经网络模型进行量化。
技术实现思路
提供了一种神经网络模型的量化方法、量化装置、电子设备以及计算机可读介质。根据第一方面，提供了一种神经网络模型的量化方法，上述方法包括：基于当前的量化映射函数，对待量化的神经网络模型进行量化并测试基于当前的量化映射函数量化得到的当前量化后神经网络模型的性能，量化映射函数为预设的函数；基于当前量化后神经网络模型的性能对待量化的神经网本文档来自技高网...

【技术保护点】
1.一种神经网络模型的量化方法，包括：/n基于当前的量化映射函数，对待量化的神经网络模型进行量化并测试基于当前的量化映射函数量化得到的当前量化后神经网络模型的性能，所述量化映射函数为预设的函数；/n基于所述当前量化后神经网络模型的性能对所述待量化的神经网络模型的参数和所述当前的量化映射函数的参数进行迭代调整；/n响应于确定当前量化后神经网络模型满足预设的收敛条件，确定所述当前量化后神经网络模型为目标神经网络模型。/n

【技术特征摘要】
1.一种神经网络模型的量化方法，包括：
基于当前的量化映射函数，对待量化的神经网络模型进行量化并测试基于当前的量化映射函数量化得到的当前量化后神经网络模型的性能，所述量化映射函数为预设的函数；
基于所述当前量化后神经网络模型的性能对所述待量化的神经网络模型的参数和所述当前的量化映射函数的参数进行迭代调整；
响应于确定当前量化后神经网络模型满足预设的收敛条件，确定所述当前量化后神经网络模型为目标神经网络模型。


2.根据权利要求1所述的方法，其中，所述量化映射函数的参数包括：映射变换参数，或者所述量化映射函数的参数包括映射变换参数和映射区间阈值；
其中，所述映射变换参数包括表征待量化的神经网络模型的参数与量化后神经网络模型的参数之间的数学变换关系的参数，所述映射区间阈值表征待量化的神经网络模型的参数所属区间与量化后神经网络模型的参数所属区间之间的映射关系。


3.根据权利要求1所述的方法，所述方法还包括：
将所述目标神经网络模型发送至任务执行端，以在任务执行端侧部署所述目标神经网络模型并执行对应的媒体数据处理任务。


4.根据权利要求3所述的方法，其中，所述方法还包括：
基于所述任务执行端的硬件运行环境信息确定量化位宽，根据所述量化位宽确定当前的量化映射函数。


5.根据权利要求1-4任一项所述的方法，还包括：
响应于确定对所述待量化的神经网络模型的参数和所述当前的量化映射函数的参数迭代调整的次数超过预设的次数阈值且当前量化后神经网络模型的性能未达到预设的性能阈值，基于所述当前量化后神经网络模型的性能从预设的量化映射函数搜索空间内确定出量化映射函数，以更新所述当前的量化映射函数。


6.一种神经网络模型的量化装置，包括：
量化单元，被配置成基于当前的量化映射函数，对待量化的神经网络模型进行量化并测试基于当前的量化映射函数量化得到的当前量化后神经网络模型的性能，所述量化映射函数为预设的函数；
调整单元，被配置成基于所述当前量化后神...

【专利技术属性】
技术研发人员：希滕，张刚，温圣召，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11