检测方法及装置、设备、存储介质制造方法及图纸

技术编号:42164139 阅读:23 留言:0更新日期:2024-07-27 00:12
本申请实施例公开了一种检测方法及装置、设备、存储介质,包括:获取待处理图像;将待处理图像输入至检测模型,得到对待处理图像的处理结果,处理结果包括确定待处理图像中的目标对象是否存在缺陷,或对待处理图像的分类结果;检测模型是通过已训练的教师模型对学生模型进行蒸馏学习得到的,教师模型包括多个卷积层和通道注意力模块,每一卷积层包括多个通道,通道注意力模块用于评估目标卷积层中的每一通道的权重分数,权重分数用于反映对应通道对教师模型的重要程度;学生模型与教师模型的结构相同,学生模型卷积层数小于教师模型卷积层数,学生模型中卷积层的通道数小于教师模型中对应卷积层的通道数。

【技术实现步骤摘要】

本申请实施例涉及信息处理技术,涉及但不限于一种检测方法及装置、设备、存储介质


技术介绍

1、深度学习模型因其足够多的参数量,拟合学习能力很强,因此获得各个领域的青睐。无论分类检测、还是nlp、ocr领域以及推荐系统等方面都在探索希望推进深度学习在对应领域落地并实现很好地效果。但是,深度模型在落地方面确实存在很大的弊端,其参数量巨大,运算需要耗费成本很高,所以对硬件性能要求很高。

2、降低模型参数量即模型轻量化的方法包括剪枝蒸馏。其中剪枝蒸馏是将训练好的复杂模型作为教师模型,将教师模型学习出来的知识作为先验知识,让简单网络作为学生模型去模仿教师模型提取出的知识,而不是直接去学习真实标签,因为教师模型提取出的知识包括预测结果中数据结构间的相似性以及更精确的特征,可以让学生模型更好的学习真实标签所不具有的信息。

3、相关技术中在进行剪枝蒸馏时,学生模型无法学习到教师模型的有价值的信息,从而导致训练速度非常慢,且结果很难达到教师模型的表现。因此,寻求一种训练速度更快,精度更高,以使得训练后的模型能够提高运算精度的学生模型,是一个亟待解决的本文档来自技高网...

【技术保护点】

1.一种检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述将所述待检测图像输入至检测模型之前,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述已训练的教师模型,构建所述学生模型,包括:

4.根据权利要求2所述的方法,其特征在于,所述基于所述已训练的教师模型,构建所述学生模型,包括:

5.根据权利要求3或4所述的方法,其特征在于,所述通过所述教师模型,对所述学生模型进行蒸馏学习,得到所述检测模型,包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述排序后的通道分...

【技术特征摘要】

1.一种检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述将所述待检测图像输入至检测模型之前,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述已训练的教师模型,构建所述学生模型,包括:

4.根据权利要求2所述的方法,其特征在于,所述基于所述已训练的教师模型,构建所述学生模型,包括:

5.根据权利要求3或4所述的方法,其特征在于,所述通过所述教师模型,对所述学生模型进行蒸馏学习,得到所述检测模型,包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述排序后的通道分数和所述学生模型中的目标卷积层中的通道数量,对齐所述教师模型和所述学生模型的通道维度,得到所述学生模型对应的散度损失函数,包括:

7.根...

【专利技术属性】
技术研发人员:请求不公布姓名
申请(专利权)人:上海先导慧能技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1