神经网络模型压缩方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40901428 阅读:22 留言:0更新日期:2024-04-18 11:19
本公开提供了一种神经网络模型压缩方法、装置、电子设备及存储介质,涉及一种人工智能技术领域,具体技术方案为:获取神经网络模型中每个层级的层级信息;根据每个层级的层级信息对每个层级进行打分处理,得到每个层级的分数信息;基于每个层级的分数信息和至少一个分数阈值,确定每个层级对应的压缩方式;根据每个层级对应的压缩方式对对应层级进行压缩,得到压缩后的神经网络模型,这样基于神经网络模型中不同层级的层级信息对每个层级以不同压缩方式进行压缩,可以在不明显降低神经网络模型性能的情况下,减小神经网络模型的规模,以便于节省存储空间以及提高神经网络模型的训练速度。

【技术实现步骤摘要】

本公开涉及一种人工智能,尤其涉及一种神经网络模型压缩方法、装置、电子设备及存储介质


技术介绍

1、随着人工智能技术的发展,神经网络模型的资源开销也不断增长。为了减小神经网络模型的计算资源与存储资源的开销,模型压缩技术已成为人工智能领域的一个重要研究方向。但是,目前尚缺乏用于压缩神经网络模型以降低资源开销的有效手段。


技术实现思路

1、本公开提供一种神经网络模型压缩方法、装置、电子设备及存储介质。

2、根据本公开实施例的第一方面,提供一种神经网络模型压缩方法,包括:

3、获取神经网络模型中每个层级的层级信息;

4、根据每个层级的层级信息对每个层级进行打分处理,得到每个层级的分数信息;

5、基于每个层级的分数信息和至少一个分数阈值,确定每个层级对应的压缩方式;

6、根据每个层级对应的压缩方式对对应层级进行压缩,得到压缩后的神经网络模型。

7、在本公开一些实施例中,层级信息包括一些至少一项:权重尺度影响信息;参数数量信息;参数更新速度信息;重本文档来自技高网...

【技术保护点】

1.一种神经网络模型压缩方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述至少一个分数阈值包括第一分数阈值和第二分数阈值,所述第一分数阈值小于所述第二分数阈值;其中,所述基于每个所述层级的分数信息和至少一个分数阈值,确定每个所述层级对应的压缩方式,包括以下至少一项:

3.如权利要求2所述的方法,其特征在于,所述根据每个所述层级对应的压缩方式对对应层级进行压缩,得到压缩后的神经网络模型,包括以下至少一项:

4.如权利要求3所述的方法,其特征在于,所述层级对应的压缩方式为所述第一压缩方式;所述第一压缩方式包括二值化压缩方式;所述...

【技术特征摘要】

1.一种神经网络模型压缩方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述至少一个分数阈值包括第一分数阈值和第二分数阈值,所述第一分数阈值小于所述第二分数阈值;其中,所述基于每个所述层级的分数信息和至少一个分数阈值,确定每个所述层级对应的压缩方式,包括以下至少一项:

3.如权利要求2所述的方法,其特征在于,所述根据每个所述层级对应的压缩方式对对应层级进行压缩,得到压缩后的神经网络模型,包括以下至少一项:

4.如权利要求3所述的方法,其特征在于,所述层级对应的压缩方式为所述第一压缩方式;所述第一压缩方式包括二值化压缩方式;所述根据每个所述层级对应的压缩方式对对应层级进行压缩,得到每个压缩后的层级,包括:

5.如权利要求3所述的方法,其特征在于,所述层级对应的压缩方...

【专利技术属性】
技术研发人员:周实奇黄倚霄
申请(专利权)人:中国移动通信集团广东有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1