【技术实现步骤摘要】
本公开属于人工智能，具体涉及一种深度学习模型的压缩方法、装置和电子设备。
技术介绍
1、随着深度学习模型在各种任务中的成功应用，模型部署设备硬件资源的受限与模型规模的庞大之间的矛盾使得模型压缩技术成为当前热点。模型压缩指通过一系列技术手段，减少模型的参数数量、计算复杂度和存储空间，从而在保持或提高模型性能的同时，使其更适合在资源受限的设备上运行。
2、模型剪枝是一种常见的模型压缩技术。模型剪枝可以移除对模型输出贡献较小的参数，从而在显著降低模型参数量的前提下，同时保持模型性能的最小化损失。现在的模型剪枝方法依赖于基于梯度信息计算参数的费舍尔（fisher）重要度以删除重要度较小的参数。
3、但是，梯度信息本质上是一种局部信息，基于费舍尔重要度并不能从全局维度评估参数的重要度。因此，基于费舍尔重要度的剪枝方法往往不能取得全局最优的剪枝效果。
技术实现思路
1、本公开实施例提出了一种深度学习模型的剪枝方案，以解决现阶段基于费舍尔重要度的剪枝方法剪枝效果往往不是全局最优的问题。
2、本公开实施例的第一方面提供了一种深度学习模型的压缩方法，包括：
3、获取待压缩的深度学习模型，分别确定模型参数的费舍尔重要度与参数关联重要度；
4、基于费舍尔重要度与参数关联重要度确定协同重要度；
5、基于模型参数的协同重要度对所述深度学习模型进行剪枝。
6、在本公开的一些实施例中，所述确定模型参数的费舍尔重要度包括：
...【技术保护点】
1.一种深度学习模型的压缩方法，其特征在于，包括：
2.根据权利要求1所述方法，其特征在于，所述确定模型参数的费舍尔重要度包括：
3.根据权利要求2所述方法，其特征在于，所述从Hessian矩阵确定费舍尔重要度包括：
4.根据权利要求1所述方法，其特征在于，确定模型参数的参数关联重要度包括：
5.根据权利要求4所述方法，其特征在于，所述基于参数关联强度确定参数关联重要度包括：
6.根据权利要求1所述方法，其特征在于，所述基于费舍尔重要度与参数关联重要度确定协同重要度包括：
7.根据权利要求1所述方法，其特征在于，所述对所述深度学习模型进行剪枝之后，还包括：
8.根据权利要求1所述方法，其特征在于，所述方法还包括：
9.一种深度学习模型的压缩装置，其特征在于，包括：
10.一种电子设备，其特征在于：包括存储器和处理器，
【技术特征摘要】
1.一种深度学习模型的压缩方法，其特征在于，包括：
2.根据权利要求1所述方法，其特征在于，所述确定模型参数的费舍尔重要度包括：
3.根据权利要求2所述方法，其特征在于，所述从hessian矩阵确定费舍尔重要度包括：
4.根据权利要求1所述方法，其特征在于，确定模型参数的参数关联重要度包括：
5.根据权利要求4所述方法，其特征在于，所述基于参数关联强度确定参数关联重要...
【专利技术属性】
技术研发人员：张朝，李艳鹏，薛润佳，
申请(专利权)人：人民中科北京智能技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。