深度学习模型的压缩方法及装置、电子设备、存储介质制造方法及图纸

本申请提供一种深度学习模型的压缩方法及装置、电子设备、存储介质，包括：控制深度学习模型对输入参数执行定点前向计算，得到输出参数；基于所述输入参数和所述输出参数计算损失，并以所述损失执行浮点后向计算，得到所述深度学习模型中每一网络层中权重的梯度；根据每一网络层中权重的梯度，更新所述深度学习模型的每一网络层的权重；根据每一网络层中权重的梯度，对所述深度学习模型逐个网络层进行权重剪枝；重复从执行定点前向计算到进行权重剪枝的步骤，直至所述深度学习模型收敛。本申请方案，可以协同执行量化和剪枝操作，对深度学习模型进行有效压缩。

【技术实现步骤摘要】

本申请涉及机器学习，特别涉及一种深度学习模型的压缩方法及装置、电子设备、计算机可读存储介质。

技术介绍

1、深度学习模型在越来越多的场景下得到了广泛的应用。对于低功耗或者实时性要求较高的应用场景中，规模过大的深度学习模型无法满足需要，一般需要对深度学习模型进行压缩。其中，压缩方式包括量化(quantization)和剪枝(prune)；量化的目的是将模型的权重、输入和输出由浮点数转换为定点数，由于定点运算的速度一般比浮点运算块，因此，量化可以提高计算速度；剪枝的目的是将深度学习模型的权重做修饰，剪掉对模型结果影响较小或者基本没有影响的权重，从而将模型的权重由密集转为稀疏，稀疏的权重可以更好地被支持稀疏运算的硬件支持，从而提高模型的计算速度。

2、相关技术中，一般可以在不同场景中选择量化或者剪枝的方式来压缩模型，两者无法协同进行，也就是说，量化和剪枝之间的关系不是确定的。这种情况下，如果只选择量化，则无法充分利用支持稀疏运算的硬件产品的功能；如果只选择剪枝，则无法利用定点运算快速、低位宽的优势。

技术实现思路<本文档来自技高网...

【技术保护点】

1.一种深度学习模型的压缩方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据每一网络层中张量的梯度，对所述深度学习模型逐个网络层进行权重剪枝，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据第i个网络层中权重的梯度，确定第i个网络层的剪枝参数，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据第i个网络层的剪枝参数，确定第i个网络层的剪枝掩码，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据第i个网络层的剪枝参数，确定第i个网络层对应的采样次数，包括：

6.根据权利要求4所述...

【技术特征摘要】

1.一种深度学习模型的压缩方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据每一网络层中张量的梯度，对所述深度学习模型逐个网络层进行权重剪枝，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据第i个网络层中权重的梯度，确定第i个网络层的剪枝参数，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据第i个网络层的剪枝参数，确定第i个网络层的剪枝掩码，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据第i个网络层的剪枝参数，确定第i个网络层对...

【专利技术属性】
技术研发人员：巩宁，李倩，
申请(专利权)人：恒玄科技上海股份有限公司，
类型：发明
国别省市：