一种深度神经网络的量化方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种深度神经网络的量化方法、装置、电子设备及计算机可读存储介质，该方法包括：获取预训练生成的深度神经网络的浮点型模型；计算深度神经网络中各量化单元的重要性评估值；量化单元的类型包括深度神经网络的权重参数通道和/或隐含层，权重参数通道作为量化单元时用于进行权重参数量化，隐含层作为量化单元时用于进行激活输出量化；确定各个量化单元分别对应的量化位数；量化位数与各个量化单元的重要性评估值正向变化；根据量化位数对浮点型模型进行量化。本申请为不同权重参数通道和/或隐含层分别设置了与信息重要性相关变化的量化位数，在保障精度的同时进行了最大限度地量化压缩，减少了数据处理量并加快了计算。

A quantization method, device, electronic equipment and medium of deep neural network

【技术实现步骤摘要】
一种深度神经网络的量化方法、装置、电子设备及介质
本申请涉及人工智能
，特别涉及一种深度神经网络的量化方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着人工智能技术的不断发展，人工智能技术已逐渐应用于我们的生活中。在人工智能
，深度学习是较典型的技术之一。虽然深度神经网络在图像分类，检测等方面的能力已接近或超越人类，但在实际部署中，仍然存在模型大，计算复杂度高等问题，对硬件成本要求较高。而在实际应用中多将神经网络部署于一些终端设备或者边缘设备上，而终端设备或边缘设备一般只有较低的计算能力，而且内存和电量消耗也都受限。因此真正实现深度神经网络模型的部署，在保证模型精度不变的情况下将模型变小，使其推理更快、耗电更低是非常有必要的，深度神经网络的训练后量化由此得到了推广应用。但是，现有技术中在对深度神经网络进行训练后量化时，并未考虑到训练生成的网络结构本身所存在的冗余信息，这些冗余信息对最终推理结果的影响不大，但却增大了计算处理复杂度和速度。鉴于此，提供一种解决上述技术问题的方案，已经是本领域技术人员所亟需关注的。本文档来自技高网...

【技术保护点】
1.一种深度神经网络的量化方法，其特征在于，包括：/n获取预训练生成的深度神经网络的浮点型模型；/n计算所述深度神经网络中各量化单元的重要性评估值；所述量化单元的类型包括所述深度神经网络的权重参数通道和/或隐含层，所述权重参数通道作为量化单元时用于进行权重参数量化，所述隐含层作为量化单元时用于进行激活输出量化；/n确定各个所述量化单元分别对应的量化位数；所述量化位数与各个所述量化单元的所述重要性评估值正向变化；/n根据所述量化位数对所述浮点型模型进行量化。/n

【技术特征摘要】
1.一种深度神经网络的量化方法，其特征在于，包括：
获取预训练生成的深度神经网络的浮点型模型；
计算所述深度神经网络中各量化单元的重要性评估值；所述量化单元的类型包括所述深度神经网络的权重参数通道和/或隐含层，所述权重参数通道作为量化单元时用于进行权重参数量化，所述隐含层作为量化单元时用于进行激活输出量化；
确定各个所述量化单元分别对应的量化位数；所述量化位数与各个所述量化单元的所述重要性评估值正向变化；
根据所述量化位数对所述浮点型模型进行量化。


2.根据权利要求1所述的深度神经网络的量化方法，其特征在于，当所述量化单元的类型为所述深度神经网络的权重参数通道时，
所述计算所述深度神经网络中各量化单元的重要性评估值包括：计算各权重参数通道中的滤波器权重参数的目标范数的平均值，将所述平均值作为对应权重参数通道的所述重要性评估值；
所述确定各个所述量化单元分别对应的量化位数包括：确定各个权重参数通道分别对应的通道量化位数。


3.根据权利要求2所述的深度神经网络的量化方法，其特征在于，所述确定各个权重参数通道分别对应的通道量化位数，包括：
判断所述平均值是否高于第一预设重要性阈值；
若是，则将对应权重参数通道的通道量化位数确定为第一位数；
若否，则将对应权重参数通道的通道量化位数确定为第二位数；
其中，所述第一位数大于所述第二位数。


4.根据权利要求1所述的深度神经网络的量化方法，其特征在于，当所述量化单元的类型为所述深度神经网络的隐含层时，所述计算所述深度神经网络中各量化单元的重要性评估值，包括：
将标定图片输入至所述浮点型模型中运行以计算各隐含层的特征图；
计算各隐含层的特征图与上一层网络的特征图的相似度；
将所述相似度取反后作为对应隐含层的所述重要性评估值；
所述确定各个所述量化单元分别对应的量化位数包括：确定各个隐含层分别对应的层量化位数。


5.根据权利要求4所述的深度...

【专利技术属性】
技术研发人员：梁玲燕，董刚，赵雅倩，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11