一种提高缺陷检测能力的多轮多模型融合检测方法技术

本发明专利技术公开了一种提高缺陷检测能力的多轮多模型融合检测方法，涉及的方法包括设置初筛和精筛检测阶段，其中初筛用于前端处理，精筛用于后台处理，在初筛阶段尽可能的降低初筛难度，并保证初筛速度，同时对于所筛选出来的不合格工件图像将于后台通过多模型融合进行精筛，来精细化缺陷位置和分类。当应用于轧制板材表面缺陷检测时，在保证了检查出所有不合格工件，不存在漏检的情况下，每张图片的平均筛选时间短至0.019s，平均检测精度达到了97％。本发明专利技术通过采用多轮检测策略，在保证实时性的同时有效保证了检测精度和极大的避免了缺陷漏检现象的出现。了缺陷漏检现象的出现。了缺陷漏检现象的出现。

【技术实现步骤摘要】
一种提高缺陷检测能力的多轮多模型融合检测方法


[0001]本专利技术属于工业视觉检测
，具体涉及一种提高缺陷检测能力的多轮多模型融合检测方法。

技术介绍

[0002]在工件加工制造领域，表面存在缺陷等质量问题的工件，由于使用过程中缺陷周围的力分布不均匀，其使用寿命和可靠性将显著降低。因此，对工件表面进行缺陷检测以实现质量筛查非常重要。此外，对于工件表面缺陷检测，有效降低缺陷漏检率实现零漏检由于能最大程度降低售后风险和减少人工复核成本，是工业领域最迫切的需求。因此在有效降低缺陷漏检率的情况下再去追求缺陷分类准确率和检测效率才是工业领域的合理诉求导向。
[0003]伴随着卷积神经网络的兴起，基于深度学习的机器视觉技术由于其优越的直观性、实时性及智能性，为工件表面缺陷检测提供了高效低廉的解决方案。当前的一系列先进检测器虽然取得了不错的检测性能，但是目前提升单个模型的检测性能已经十分困难。即，通过单个模型实现苛刻工业环境下的高质量检测较为困难。融合多种先进模型，以通过各模型对不同缺陷检测能力取长补短的方式提升整体的检测性能是一种可行的方式。
[0004]近年来，多模型融合进行检测的方案已得到了成功的应用，但整体还存在一些问题。
[0005]申请号202111244219.2名称为一种基于多模型融合的目标检测方法、装置、设备及介质，公布了一种基于多模型融合的目标检测方法。该方法使用多个检测模型对同一图像进行检测后，采用一种加权方法对不同检测器的检测结果进行加权融合，这种多模型检测结果融合加权的方式一定程度可以改善检测性能。但是，上述公开的技术方案仍然存在如下技术问题：(1)该方法是以检测模型为对象，对不同检测模型的检测结果加权，而不是以待检目标为对象，对各待检目标上的检测结果进行加权，对待检目标的检测针对性不够强；(2)该方法采用单轮检测，且在该单轮检测中每个检测器均需要对每个缺陷类型进行分类和定位，耗时较长，直接用于工件合格筛查的实时性不足，工业环境下的应用能力有限。
[0006]期刊论文“基于“检测+分类”模型融合的物体识别应用分析[J]，电信科学，2020，36(S1)：276
‑
283”，提出了一种基于“检测+分类”模型两阶段融合的物体识别方法。该方法首先通过检测算法实现物体的定位，再将定位物体抠图后放入识别模型中进行物体分类，可同时实现目标的准确定位和分类。但是，上述公开的技术方案仍然存在如下技术问题：(1)该方法所提出的“检测+分类”的方案，中间衔接了分割。对于工业检测，为了精准标定缺陷位置用于后续处理，如果采用这种方案，会多增加两道工序，即，分类前分割和分类后粘回。这样将会增加工业检测系统复杂度，造成系统效率及稳定性不足；(2)该方法尚未在定位/分类阶段采用多个模型来融合以充分提升性能，将可能依然陷入单检测器检测瓶颈，工业环境下的泛化能力有限。
[0007]因此，由于工业环境的苛刻性，一般的检测模型和融合检测方法难以有效保证检
测性能，急需开发一种多机制融合的先进检测方法，通过先进的融合策略实现多种先进机制主导的检测器检测能力的互补，尽可能保证检测检出率和准确率，以满足高水平的工件表面质量检测。

技术实现思路

[0008]本专利技术目的在于提供一种提高缺陷检测能力的多轮多模型融合检测方法。在工业检测环境下，一方面环境复杂多变，另一方面缺陷类别多。因此，单一的检测器无法适应如此多变的检测环境，更难以满足这种检测环境下对检测检出率和准确率的高要求。多轮次融合多种先进模型，以通过各模型对不同缺陷检测能力取长补短的方式提升整体的检测性能是一种可行的方式。本专利技术提出的方法以如何充分保证复杂工业环境下对多类别工件表面缺陷的检出率和准确率为目标，采用机器视觉及深度学习技术，设计简单高效的模型融合方案，在保证了检测效率的前提下，解决了当下工件表面缺陷检测方法缺陷检出率低且可信度不高的问题，适宜于工业环境部署。
[0009]本专利技术解决其技术问题所采用的技术方案是：
[0010]一种提高缺陷检测能力的多轮多模型融合检测方法，其特征在于，包括如下步骤：
[0011]S1：对于任意采集的含缺陷类别数为m的数据集，确定精筛用先进检测器数量n(n>2且n：m>1：5)；
[0012]S2：对所采集数据集按一定比例划分训练集和验证集；
[0013]S3：对所划分的训练集采用两种方式标注，一种是对所有出现的缺陷全标注为缺陷，另一种是对所有缺陷进行分类标注；
[0014]S4：基于标注结果进行训练集重定义，定义第一类为初筛训练集，定义第二类为精筛训练集；
[0015]S5：选取当下快速且稳定的单阶段检测器为初筛检测器，基于初筛训练集进行训练，获得初筛预训练权重w；
[0016]S6：选择n个精度高的检测器为精筛检测器，基于精筛训练集进行训练，获得精筛预训练权重集合w
′
＝{w1，w2...w
n
}；
[0017]S7：对所有精筛检测器基于中对应预训练权重在步骤S2中所划分的验证集上进行测试，获取各自的缺陷检测情况，并根据各检测器缺陷检测精度的相对关系确定各缺陷的检测融合权重集合
[0018]S8：对于任意输入的图像，采用初筛检测器基于对应预训练权重w对检测对象进行检测，若未检测出异常，则继续检测下一张，若检测出异常，则将该图像投入至精筛检测器中，并继续检测下一张；
[0019]S9：多个精筛检测器基于w
′
中对应预训练权重w
n
同时对接受的图像进行检测，对每一个存在缺陷的位置，基于各精筛检测器检测类别和检测精度调用l
′
中对应缺陷的融合权重进行信息融合并判别，得到最终的缺陷类别和融合检测精度；
[0020]S10：基于所有检测框数量和位置坐标，重新生成新的检测框，基于融合得到的检测类别，精度和检测框完成融合检测。
[0021]本专利技术的有益效果为：
[0022]1.不同于传统的单轮单检测器检测或单轮多模型检测来同时实现合格件筛查和缺陷精细化分类的方法，本专利技术所采用的“初筛+精筛”的两轮检测策略，在用快速稳定的初筛检测器来持续对含缺陷的不合格件进行筛查的同时，采用多个准确度高的精筛检测器进行后端融合处理以对不合格件表面缺陷进行精细化分类，两轮检测未产生相互干预，在保证检测速度的前提下能有效保证缺陷的检出和分类准确度。
[0023]2.本专利技术所提出的初筛方法，一方面通过降低初筛分类类别数为1以降低分类难度，有效降低漏检率。另一方面采用结构简单且稳定的单阶段检测器，能有效保证筛查的鲁棒性和实时性。
[0024]3.不同于传统的以检测器为研究对象取权重进行多模型融合检测的方法，本专利技术所提出的精筛方法以缺陷为对象，对多各检测模型检测结果以动态权重进行融合，针对性强，能有效提高缺陷分类能力及检测准确率。
[0025]综上，所提出的一种提高缺陷检测能力的多轮多模型融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提高缺陷检测能力的多轮多模型融合检测方法，其特征在于，包括如下步骤：S1：对于任意采集的含缺陷类别数为m的数据集，确定精筛用先进检测器数量n(n>2且n:m>1:5)；S2：对所采集数据集按一定比例划分训练集和验证集；S3：对所划分的训练集采用两种方式标注，一种是对所有出现的缺陷全标注为缺陷，另一种是对所有缺陷进行分类标注；S4：基于标注结果进行训练集重定义，定义第一类为初筛训练集，定义第二类为精筛训练集；S5：选取当下快速且稳定的单阶段检测器为初筛检测器，基于初筛训练集进行训练，获得初筛预训练权重w；S6：选择n个精度高的检测器为精筛检测器，基于精筛训练集进行训练，获得精筛预训练权重集合w
′
＝{w1,w2...w
n
}；S7：对所有精筛检测器基于w
′
...

【专利技术属性】
技术研发人员：王冠强，陈明松，蔺永诚，谭先华，张驰洲，
申请(专利权)人：中南大学，
类型：发明
国别省市：