【技术实现步骤摘要】
本公开涉及人工智能，尤其涉及深度学习、模型压缩、剪枝和知识蒸馏等。
技术介绍
1、深度神经网络，依赖于较大的模型参数和优秀的推理能力，已经在工业和学术界取得了一定的成功。然而，受限于有限的资源，很多设备无法安装较大的神经网络模型。
2、因此，需要模型压缩技术。模型压缩是深度学习领域中的一项关键技术，它旨在减少模型的大小和计算复杂度，以减低模型对存储资源(如内存)和计算资源的消耗，最终能够在资源受限的设备上部署和运行模型。
技术实现思路
1、本公开提供了一种模型压缩方法、装置、电子设备及存储介质。
2、根据本公开的一方面，提供了一种模型压缩方法，包括：
3、在基于教师网络向学生网络进行知识转移的过程中，基于剪枝损失和蒸馏损失从学生网络中筛选出至少一个待剪枝通道；
4、基于至少一个待剪枝通道，压缩学生网络。
5、根据本公开的另一方面，提供了一种模型压缩装置，包括：
6、筛选模块，用于在基于教师网络向学生网络进行知识转移的过...
【技术保护点】
1.一种模型压缩方法，包括：
2.根据权利要求1所述的方法，其中，所述基于剪枝损失和蒸馏损失从所述学生网络中筛选出至少一个待剪枝通道，包括：
3.根据权利要求2所述的方法，其中，所述基于所述多个通道的缩放因子，筛选出所述至少一个待剪枝通道，包括：
4.根据权利要求2所述的方法，其中，所述基于所述剪枝损失和所述蒸馏损失确定所述学生网络中多个通道的缩放因子，包括：
5.根据权利要求4所述的方法，其中，所述基于所述剪枝损失和所述蒸馏损失确定总损失的表达式，包括：
6.根据权利要求4所述的方法，其中，确定所述蒸馏损失
【技术特征摘要】
1.一种模型压缩方法，包括：
2.根据权利要求1所述的方法，其中，所述基于剪枝损失和蒸馏损失从所述学生网络中筛选出至少一个待剪枝通道，包括：
3.根据权利要求2所述的方法，其中，所述基于所述多个通道的缩放因子，筛选出所述至少一个待剪枝通道，包括：
4.根据权利要求2所述的方法，其中，所述基于所述剪枝损失和所述蒸馏损失确定所述学生网络中多个通道的缩放因子，包括：
5.根据权利要求4所述的方法，其中，所述基于所述剪枝损失和所述蒸馏损失确定总损失的表达式，包括：
6.根据权利要求4所述的方法，其中，确定所述蒸馏损失，包括：
7.根据权利要求4所述的方法，所述总损失的表达式中包括可学习的剪枝超参数和蒸馏超参数，其中：
8.根据权利要求7所述的方法，其中，所述剪枝超参数为所述剪枝损失的权重；
9.根据权利要求7所述的方法，其中，确定所述剪枝超参数和所述蒸馏超参数，包括：
10.根据权利要求1-9中任一项所述的方法，还包括：
11.根据权利要求1所述的方法，其中，所述学生网络为计算机视觉模型，所述计算机视觉模型用于对输入的图像执行目标检测、目标分割和目标分类任务中的至少一种。
12.根据权利要求1所述的方法，其中，所述学生网络为语言处理模型，所述语言处理模型用于对输入的语音和/或文本信息进行推理分析，以完成人机对话、语义理解和文生图任务中的至少一种任务。
13.根据权利要求1所述的方法，其中，所述学生网络为多模态模型，所述多模态模型用于对输入的多模态信息进行分析，以完成资源推荐、提供自动驾驶决策的依据中的至少一种任务。
14.一种模型压缩装置，包括：
15.根据权利要求14所述的装...
【专利技术属性】
技术研发人员：石昌帅，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。