一种CNN分类模型的压缩方法、装置及介质制造方法及图纸

技术编号:41013732 阅读:25 留言:0更新日期:2024-04-18 21:50
本发明专利技术公开了一种CNN分类模型的压缩方法、装置及介质,所述方法包括:获取目标模型参数;使用初始模型加载目标模型参数,并冻结初始模型的原始参数,得到教师模型;其中,初始模型为CNN模型;通过稀疏训练的方式对教师模型进行剪枝,得到学生模型;对教师模型和学生模型的类激活图进行对齐处理和调参处理;通过对进行对齐处理和调参处理后教师模型和学生模型的参数进行迭代更新,使预设的损失函数收敛,得到压缩后的最终模型。本发明专利技术提出一种CNN分类模型的压缩方法、装置及介质,通过剪枝处理、对齐处理以及使损失函数收敛的方式,即可得到压缩后的最终模型,能够解决在小样本情况下,难以在保证模型性能的同时,有效降低模型的复杂度和大小的问题。

【技术实现步骤摘要】

本专利技术涉及机器学习,特别是涉及一种cnn分类模型的压缩方法、装置及介质。


技术介绍

1、深度学习领域中,同一架构的模型在训练时,参数量大的模型比参数量少的模型能更好地拟合数据集、有更好的泛化能力;在处理噪声和异常值时,也具有更好的鲁棒性、能够保持模型性能,同时可以更好地提取图像特征,完成分类、回归等任务。但参数量大的模型在计算资源受限的设备上的部署和应用比较困难,于此同时,训练参数量大的模型往往需要足够的训练数据以防止其过拟合;在专业领域中,常常伴有数据隐私和安全因素的挑战,因此参数量大的模型往往会受到小样本数据的限制;现有关于小样本的模型压缩技术主要是通过数据清洗、特征工程或者更换模型的方式来应对小样本数据的问题。

2、但是在实际应用中,现有技术手段难以有效解决少样本的问题;在给定每个类别少量样本的情况下,模型在训练集上的表现较差从而会影响模型的泛化能力,以及会导致模型在训练过程中无法充分学习数据的特征,从而降低模型的准确性和鲁棒性,因此现有技术手段难以在保证模型性能的同时,有效降低模型的复杂度和大小。


>

技术实本文档来自技高网...

【技术保护点】

1.一种CNN分类模型的压缩方法,其特征在于,包括:

2.如权利要求1所述的一种CNN分类模型的压缩方法,其特征在于,通过稀疏训练的方式对所述教师模型进行剪枝,得到学生模型,具体为:

3.如权利要求2所述的一种CNN分类模型的压缩方法,其特征在于,按各通道计算所述第一分组中各分组的平均重要性,得到平均重要性列表,具体为:

4.如权利要求1所述的一种CNN分类模型的压缩方法,其特征在于,对所述教师模型和所述学生模型的类激活图进行对齐处理,具体为:

5.如权利要求4所述的一种CNN分类模型的压缩方法,其特征在于,对所述教师模型和所述学生模型的类...

【技术特征摘要】

1.一种cnn分类模型的压缩方法,其特征在于,包括:

2.如权利要求1所述的一种cnn分类模型的压缩方法,其特征在于,通过稀疏训练的方式对所述教师模型进行剪枝,得到学生模型,具体为:

3.如权利要求2所述的一种cnn分类模型的压缩方法,其特征在于,按各通道计算所述第一分组中各分组的平均重要性,得到平均重要性列表,具体为:

4.如权利要求1所述的一种cnn分类模型的压缩方法,其特征在于,对所述教师模型和所述学生模型的类激活图进行对齐处理,具体为:

5.如权利要求4所述的一种cnn分类模型的压缩方法,其特征在于,对所述教师模型和所述学生模型的类激活图进行调参处理,具体为:

6.如权利要求1所述的一种cnn分类模型的压缩方法,其特征...

【专利技术属性】
技术研发人员:徐晨刘哲陈佳佳孙晋祥刘伟鑫李伟秋
申请(专利权)人:声瞳科技广州有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1