【技术实现步骤摘要】
本专利技术涉及机器学习,特别是涉及一种cnn分类模型的压缩方法、装置及介质。
技术介绍
1、深度学习领域中,同一架构的模型在训练时,参数量大的模型比参数量少的模型能更好地拟合数据集、有更好的泛化能力;在处理噪声和异常值时,也具有更好的鲁棒性、能够保持模型性能,同时可以更好地提取图像特征,完成分类、回归等任务。但参数量大的模型在计算资源受限的设备上的部署和应用比较困难,于此同时,训练参数量大的模型往往需要足够的训练数据以防止其过拟合;在专业领域中,常常伴有数据隐私和安全因素的挑战,因此参数量大的模型往往会受到小样本数据的限制;现有关于小样本的模型压缩技术主要是通过数据清洗、特征工程或者更换模型的方式来应对小样本数据的问题。
2、但是在实际应用中,现有技术手段难以有效解决少样本的问题;在给定每个类别少量样本的情况下,模型在训练集上的表现较差从而会影响模型的泛化能力,以及会导致模型在训练过程中无法充分学习数据的特征,从而降低模型的准确性和鲁棒性,因此现有技术手段难以在保证模型性能的同时,有效降低模型的复杂度和大小。
>技术实本文档来自技高网...
【技术保护点】
1.一种CNN分类模型的压缩方法,其特征在于,包括:
2.如权利要求1所述的一种CNN分类模型的压缩方法,其特征在于,通过稀疏训练的方式对所述教师模型进行剪枝,得到学生模型,具体为:
3.如权利要求2所述的一种CNN分类模型的压缩方法,其特征在于,按各通道计算所述第一分组中各分组的平均重要性,得到平均重要性列表,具体为:
4.如权利要求1所述的一种CNN分类模型的压缩方法,其特征在于,对所述教师模型和所述学生模型的类激活图进行对齐处理,具体为:
5.如权利要求4所述的一种CNN分类模型的压缩方法,其特征在于,对所述教师模
...【技术特征摘要】
1.一种cnn分类模型的压缩方法,其特征在于,包括:
2.如权利要求1所述的一种cnn分类模型的压缩方法,其特征在于,通过稀疏训练的方式对所述教师模型进行剪枝,得到学生模型,具体为:
3.如权利要求2所述的一种cnn分类模型的压缩方法,其特征在于,按各通道计算所述第一分组中各分组的平均重要性,得到平均重要性列表,具体为:
4.如权利要求1所述的一种cnn分类模型的压缩方法,其特征在于,对所述教师模型和所述学生模型的类激活图进行对齐处理,具体为:
5.如权利要求4所述的一种cnn分类模型的压缩方法,其特征在于,对所述教师模型和所述学生模型的类激活图进行调参处理,具体为:
6.如权利要求1所述的一种cnn分类模型的压缩方法,其特征...
【专利技术属性】
技术研发人员:徐晨,刘哲,陈佳佳,孙晋祥,刘伟鑫,李伟秋,
申请(专利权)人:声瞳科技广州有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。