神经网络模型的压缩方法、装置、设备和介质制造方法及图纸

技术编号:41522663 阅读:17 留言:0更新日期:2024-06-03 22:55
本申请实施例提供了一种神经网络模型的压缩方法、装置、设备和介质,其中的方法具体包括:利用神经网络模型对训练数据进行训练,以得到神经网络模型中网络层包含的通道对应的通道权重;根据通道权重,确定通道得分;从神经网络模型中网络层包含的通道中获取通道得分最低、且所在网络层包含的通道数大于网络层对应的通道数目标值的一个或多个目标通道;从神经网络模型中网络层包含的通道中删除目标通道、以及对目标通道对应的关联通道进行更新;判断神经网络模型中每个网络层包含的通道数是否均等于对应的通道数目标值,否则返回执行利用神经网络模型对训练数据进行训练。本申请实施例可以降低神经网络模型所消耗的计算资源,且可以提高处理速度。

【技术实现步骤摘要】

本申请涉及计算机,特别是涉及一种神经网络模型的压缩方法、装置、设备和介质


技术介绍

1、随着计算机技术的发展,深度学习在多个领域得到了迅速发展,神经网络模型在目标检测、语音识别等众多领域中得到了广泛应用。然而,随着深度神经网络性能的不断提升,神经网络模型的参数量和计算量越来越大、需要消耗的计算资源较多,严重制约神经网络模型的处理速度。

2、在自动驾驶汽车、智能机器人、智能手机等计算资源受限的智能设备上,资源需求高的神经网络模型通常无法满足实时性要求。采用神经网络模型训练时,为了追求更高的模型性能,选取的网络结构复杂度往往大于问题所需,导致训练好的网络模型具有一定的冗余性;或者,网络提取的特征维度较高,造成模型实际应用推理时复杂度提升。因此,在保持模型精度的前提下,对神经网络模型进行压缩,受到越来越多的关注。


技术实现思路

1、本申请实施例提供了一种神经网络模型的压缩方法,可以在降低通道的压缩对于神经网络模型的性能的影响的情况下,降低神经网络模型所消耗的计算资源,且可以提高神经网络模型的处理速度。本文档来自技高网...

【技术保护点】

1.一种神经网络模型的压缩方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述通道权重,确定通道得分,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述通道权重,确定通道得分,包括:

4.根据权利要求1所述的方法,其特征在于,所述从所述神经网络模型中网络层包含的通道中获取通道得分最低、且所在网络层包含的通道数大于所述网络层对应的通道数目标值的一个或多个目标通道,包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述目标通道对应的关联通道进行更新,包括:

6.根据权利要求1至5...

【技术特征摘要】

1.一种神经网络模型的压缩方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述通道权重,确定通道得分,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述通道权重,确定通道得分,包括:

4.根据权利要求1所述的方法,其特征在于,所述从所述神经网络模型中网络层包含的通道中获取通道得分最低、且所在网络层包含的通道数大于所述网络层对应的通道数目标值的一个或多个目标通道,包括:

5.根据权利要求1所述的方法,其特征...

【专利技术属性】
技术研发人员:杨敏艾国杨作兴
申请(专利权)人:深圳比特微电子科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1