一种模型压缩方法、装置、电子设备、存储介质及产品制造方法及图纸

技术编号:43889246 阅读:11 留言:0更新日期:2025-01-03 13:05
本申请实施例提供了一种模型压缩方法、装置、电子设备、存储介质及产品,涉及深度学习技术领域,方法包括:针对同一输入数据,分别利用待压缩模型和量化模型进行处理;计算待压缩模型与量化模型的输出数据之间的差异,作为量化模型对应的第一差异;按照第一差异对待压缩模型中每一网络层的量化参数进行调整;基于每一网络层的最优量化参数计算该网络层的连续域量化位宽;从需要部署模型的硬件平台所支持的各离散域量化位宽中,确定大于该网络层的连续域量化位宽且与该网络层的连续域量化位宽的差值最小的离散域量化位宽;从利用多个稀疏度组合分别进行压缩得到的各备选压缩模型中,确定对应的第二差异最小的目标压缩模型。可以提高模型的适用性。

【技术实现步骤摘要】

本申请涉及深度学习,特别是涉及一种模型压缩方法、装置、电子设备、存储介质及产品


技术介绍

1、随着技术的发展,神经网络模型的应用越来越广泛,例如,神经网络模型可以应用于图像检测、文本检测、音频检测等。然而,神经网络模型往往包含较多的参数,且网络结构较为复杂,需要消耗较多的存储资源和计算资源。这对用于运行神经网络模型的电子设备的存储空间和性能要求较高,导致神经网络模型的适用性不高。


技术实现思路

1、本申请实施例的目的在于提供一种模型压缩方法、装置、电子设备、存储介质及产品,以减少模型所需消耗的存储资源和计算资源,提高模型的适用性。具体技术方案如下:

2、本申请实施例的第一方面,提供了一种模型压缩方法,所述方法包括:

3、针对同一输入数据,分别利用待压缩模型和当前的量化模型进行处理;其中,当前的量化模型为:按照基于所述待压缩模型中每一网络层当前的量化参数得到的量化位宽,对该网络层的第一网络参数进行量化得到的;任一网络层的量化参数包含该网络层的截断系数和量化间隔;p>

4、计算所本文档来自技高网...

【技术保护点】

1.一种模型压缩方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述从利用多个稀疏度组合分别进行压缩得到的各备选压缩模型中,确定对应的第二差异最小的备选压缩模型,作为目标压缩模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述第二收敛条件为:当前的备选压缩模型对应的第二差异与当前最优的第二差异之间的差值小于预设阈值,或者,对最优的第二差异进行更新的次数为预设次数。

4.根据权利要求2所述的方法,其特征在于,计算所述待压缩模型与当前的备选压缩模型得到的输出数据之间的差异,作为当前的备选压缩模型对应的第二差异,包括:...

【技术特征摘要】

1.一种模型压缩方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述从利用多个稀疏度组合分别进行压缩得到的各备选压缩模型中,确定对应的第二差异最小的备选压缩模型,作为目标压缩模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述第二收敛条件为:当前的备选压缩模型对应的第二差异与当前最优的第二差异之间的差值小于预设阈值,或者,对最优的第二差异进行更新的次数为预设次数。

4.根据权利要求2所述的方法,其特征在于,计算所述待压缩模型与当前的备选压缩模型得到的输出数据之间的差异,作为当前的备选压缩模型对应的第二差异,包括:

5.根据权利要求1所述的方法,其特征在于,计算所述待压缩模型与当前的量化模型得到的输出数据之间的差异,作为当前的量化模型对应的第一差异,包括:

6.根据权利要求1-5...

【专利技术属性】
技术研发人员:王督彭博李哲暘谭文明
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1