模型压缩方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:26846538 阅读:33 留言:0更新日期:2020-12-25 13:09
本发明专利技术涉及人工智能技术领域,尤其涉及一种模型压缩方法、装置、设备及存储介质。该模型压缩方法包括获取预先训练好的图像识别模型和待训练的第二骨干网络;将待测试图像输入至图像识别模型中进行测试,得到模型测试结果;根据模型测试结果,计算通道权重向量;将训练图像分别输入至第一骨干网络和第二骨干网络中进行特征提取,得到第一骨干网络输出的第一特征图和第二骨干网络输出的第二特征图;基于第一特征图、第二特征图以及通道权重向量,计算模型损失;根据模型损失更新优化第二骨干网络,以得到压缩后的图像识别模型。该模型压缩方法有效目前模型压缩需要对整个人工智能模型进行蒸馏压缩的效率低且通用性不高的问题。

【技术实现步骤摘要】
模型压缩方法、装置、计算机设备及存储介质
本专利技术涉及人工智能
,尤其涉及一种模型压缩方法、装置、计算机设备及存储介质。
技术介绍
在人工智能领域模型生命周期通常可分为模型训练和模型推理两个环节。在模型训练环节,为追求模型具有更高的识别精准度,模型往往不可避免的存在冗余。而在模型推理环节,由于受到不同的推理应用环境的影响,除了需要关注模型的精准度的同时,还需要模型具有推理速度快、资源占用小、文件尺寸小等高性能特点。目前,模型压缩是将模型从模型训练环节向模型推理环节转变的常用优化手段。但当前模型压缩都是面向整个人工智能模型进行蒸馏压缩的,而不同的模型由于其应用场景复杂多样,因此在对不同的模型进行模型压缩时,还需要进行定制化开发压缩方案,效率低且通用性不高。
技术实现思路
本专利技术实施例提供一种模型压缩方法、装置、计算机设备及存储介质,以解决目前模型压缩的效率低且通用性不高的问题。一种模型压缩方法,包括:获取预先根据训练图像训练好的图像识别模型和待训练的第二骨干网络;其中,所述图像识别模型包括第本文档来自技高网...

【技术保护点】
1.一种模型压缩方法,其特征在于,包括:/n获取预先根据训练图像训练好的图像识别模型和待训练的第二骨干网络;其中,所述图像识别模型包括第一骨干网络;/n将多个待测试图像输入至所述图像识别模型中进行测试,得到所述多个待测试图像对应的模型测试结果;/n根据所述模型测试结果,计算通道权重向量;其中,所述通道权重向量用于描述所述第一骨干网络输出的特征图所对应的特征通道的重要性;/n将所述训练图像分别输入至所述第一骨干网络和所述第二骨干网络中进行特征提取,得到所述第一骨干网络输出的第一特征图和所述第二骨干网络输出的第二特征图;/n基于所述第一特征图、所述第二特征图以及所述通道权重向量,计算模型损失;/n...

【技术特征摘要】
1.一种模型压缩方法,其特征在于,包括:
获取预先根据训练图像训练好的图像识别模型和待训练的第二骨干网络;其中,所述图像识别模型包括第一骨干网络;
将多个待测试图像输入至所述图像识别模型中进行测试,得到所述多个待测试图像对应的模型测试结果;
根据所述模型测试结果,计算通道权重向量;其中,所述通道权重向量用于描述所述第一骨干网络输出的特征图所对应的特征通道的重要性;
将所述训练图像分别输入至所述第一骨干网络和所述第二骨干网络中进行特征提取,得到所述第一骨干网络输出的第一特征图和所述第二骨干网络输出的第二特征图;
基于所述第一特征图、所述第二特征图以及所述通道权重向量,计算模型损失;
根据所述模型损失更新优化所述第二骨干网络,以得到压缩后的图像识别模型。


2.如权利要求1所述模型压缩方法,其特征在于,所述图像识别模型包括与所述第一骨干网络相连的掩膜层以及与所述掩膜层相连的识别网络。


3.如权利要求2所述模型压缩方法,其特征在于,所述将多个待测试图像输入至所述图像识别模型中进行测试,得到所述多个待测试图像对应的模型测试结果,包括:
采用所述第一骨干网络对每一所述待测试图像进行特征提取,输出每一所述待测试图像对应的测试特征图;其中,所述测试特征图包括多个特征通道;
采用所述掩膜层对每一所述测试特征图中的同一特征通道进行通道屏蔽处理,得到每一所述待测试图像对应的第三特征图;
采用所述识别网络对每一所述第三特征图进行识别,得到每一所述第三特征图对应的识别结果;
根据所述识别结果和所述待测试图像对应的真实结果,得到每一所述特征通道对应的测试结果分量;
将包含每一所述特征通道对应的测试结果分量的数据集,作为所述多个待测试图像对应的模型测试结果。


4.如权利要求3所述模型压缩方法,其特征在于,所述根据所述模型测试结果,计算通道权重向量,包括:
将所述模型测试结果中,所述测试结果分量的最大值与每一所述测试结果分量的差值作为第一差值;
将所述最大值与所述模型测试结果中所述测试结果分量的最小值的差值作为第二差值;
计算所述第一差值和所述第二差值的比值,并将所述比值与预定义的常数项进行加和处理,得到每一所述测试特征图对应的通道权重分量;
将包含每一所述测试特征图对应的通道权重分量的数据集,作为所述通道权重向量。


5.如权利要求3所述模型压缩方法,其特征在于,所述根据所述模型测试结果,计算通道权重向量,包括:
将所述模型测试结果中,所述测试结果分量的最大值与每一所述测试结果分量的差值作为第一差值;
将所述最大值与所述模型测试结果中所述测试结果分量的最小值的差值作为第二差值;
计算所述第一差值和所述第二差值的比值,以及计算所述比...

【专利技术属性】
技术研发人员:郑强王晓锐高鹏王俊李葛谢国彤
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1