本发明专利技术公开一种结合梯度解耦与对比学习的小样本瑕疵检测方法，本发明专利技术方法主要包括目标检测数据集的预训练、生成符合瑕疵数据特征的锚点、调整目标检测模型并输入生成的锚点训练和瑕疵的检测四个阶段。预训练阶段使用大规模目标检测数据集训练目标检测模型，可以大幅度减少模型的训练时间，使模型具有目标定位能力，其中梯度解耦模块用于解耦候选框提取网络和候选框预测网络，可在训练时获取更符合网络特征的信息，加强模型学习能力。使用瑕疵数据集和锚点对调整后的目标检测模型进行训练生成瑕疵检测模型，训练冻结骨干网络权重并在候选框预测网络中添加对比分支，对比分支可以使不同类别的候选框特征差距更大，加强模型的分辨能力，精确度更高。精确度更高。精确度更高。
【技术实现步骤摘要】
一种结合梯度解耦与对比学习的小样本瑕疵检测方法
[0001]本专利技术属于机器视觉
，特别涉及一种结合梯度解耦与对比学习的小样本瑕疵检测方法，用于实现少量人工标注场景下对工业产品表面进行瑕疵检测。
技术介绍
[0002]随着现阶段工业生产技术的不断发展，对于工业产品质量的要求也不断提高。在一些高度自动化的工业制造场景中，对产品的良率要求特别高。但是由于加工、设计、器械故障等因素，生产出的产品表面常常会出现一些瑕疵损坏，导致生产成本的增加、资源的浪费，严重时甚至会对使用者的人身安全造成伤害。因此在产品生产后就需要及时进行瑕疵检测，以确认部件或产品表面有无存在异物、瑕疵以及缺陷。
[0003]解决工业缺陷检测小样本瑕疵的问题，通常主要有两种分别是工程路径和算法路径。其中工程路径有着两种常见的方法，一种是基于真实产品手动制造缺陷检测，另一种为基于真实图像手动仿真缺陷检测。基于真实产品手动制造缺陷检测成本较高，存在一定的操作难度，且产品若在检测时损坏则不可逆。而基于真实图像手动仿真缺陷检测则检测速度较慢、难度大，对于操作人员的要求较高。从算法路径解决小样本问题，基本的解决思路有两种，第一种是增加样本，第二种是减少算法对样本的依赖。目前的瑕疵检测方法主要是使用基于深度学习的目标检测算法进行的。
[0004]基于深度学习的目标检测算法是根据大量缺陷样本建立模型，但现实是由于缺陷样本并不全面因而导致模型难以投入使用。例如用于汽车行业的多型号小批量生产场景，每种型号的产品可能仅生产短短数日。可能在完成缺陷样本收集前，这些型号的产品就已经不再生产了。那么在这种场景下实现大量的缺陷样本收集就是非常困难的。此外，由于瑕疵缺陷是由生产过程中的非受控因素产生的，然而缺陷的形态是多种多样的，各种形态的样本也很难实现完全收集，也就限制了深度学习的工业检测领域的应用。因此，设计一种能有效在小样本场景下获得良好检测性能的瑕疵检测方法至关重要。
技术实现思路
[0005]本申请的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本申请的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0006]针对现有技术中存在的问题与不足，本专利技术目的在于提供一种结合梯度解耦与对比学习的小样本瑕疵检测方法，从迁移学习的角度出发，使用大规模数据集预训练目标检测模型可以大幅度的减少模型的训练时间，同时可以使模型有着一定的目标定位能力。梯度解耦模块在前向传播时可以让候选框预测网络和候选框提取网络在训练时获取更符合网络特征的信息，同时在反向传播时可使候选框预测网络和候选框提取网络实现不同程度上的优化，以加强模型的学习能力。使用自适应锚点算法生成锚点输入至候选框提取网络，可生成更加符合瑕疵数据集特征的候选框。添加的对比分支通过计算对比特征损失，使得
相同类别的候选框特征之间差别变小，不同类别的候选框特征之间差别变大，增强了目标检测模型对于容易混淆目标的分辨能力。用于解决上述
技术介绍
中提出的问题。
[0007]为实现上述目的，本专利技术提供如下技术方案：
[0008]本专利技术公开一种结合梯度解耦与对比学习的小样本瑕疵检测方法，主要包括如下步骤：
[0009]步骤1，使用大规模的目标检测数据集经过预训练得到目标检测模型，所述目标瑕疵检测模型包括骨干网络、特征金字塔网络、候选框提取网络、候选框预测网络和梯度解耦模块；
[0010]步骤2，通过自适应锚点算法为瑕疵数据集对应生成多个锚点；
[0011]步骤3，调整所述目标检测模型中的所述候选框预测网络，将所述候选框预测网络的候选框分类分支输出的数量设置为瑕疵类别的数量，并在所述候选框预测网络中添加对比分支；
[0012]步骤4，将所述瑕疵数据集和生成的所述锚点输入至调整后的所述目标检测模型中进行训练得到瑕疵检测模型；
[0013]步骤5，对于待检测的图像输入至所述瑕疵检测模型中，对应输出瑕疵目标的位置及其类别。
[0014]进一步的，步骤1中所述大规模的目标检测数据集经过预训练得到目标检测模型，具体包括如下步骤：
[0015]步骤1.1，初始化目标检测模型使用的数据加载器，提取图像和真实标注；
[0016]步骤1.2，通过所述骨干网络提取所述图像的多层特征图；
[0017]步骤1.3，使用所述特征金字塔网络融合所述多层特征图的信息得到金字塔各层特征图；
[0018]步骤1.4，利用所述梯度解耦模块对所述金字塔特征图进行两次仿射变换得到的两组仿射特征图；
[0019]步骤1.5，将两组所述仿射特征图分别输入至所述候选框提取网络和候选框预测网络中，所述候选框提取网络提取出含有目标的候选框，使用所述候选框预测网络计算出候选框类别和候选框回归参数；
[0020]步骤1.6，根据所述候选框类别和候选框回归参数计算网络的分类损失、回归损失和梯度；
[0021]步骤1.7，使用所述梯度解耦模块对所述候选框提取网络和候选框预测网络进行梯度解耦操作；
[0022]步骤1.8，判断达到最大训练轮次后结束输出所述目标检测模型。
[0023]进一步的，步骤2中所述通过自适应锚点算法为瑕疵数据集对应生成多个锚点，其具体包括如下步骤：
[0024]步骤2.1，从瑕疵数据集中所有样本的瑕疵标注中随机取k个作为当前聚类中心；
[0025]步骤2.2，判断是否有没计算过的所述瑕疵标注，若有则计算与当前所述瑕疵标注距离最近的聚类中心，并将当前所述瑕疵标注添加到所属聚类中心的列表中；
[0026]步骤2.3，判断是否计算完所有的所述瑕疵标注，若已完成则计算所有列表中所述瑕疵标注的均值作为新聚类中心；
[0027]步骤2.4，将所述当前聚类中心与新聚类中心进行比较，若一致则输出当前聚类中心对应瑕疵数据集的锚点，若不一致则返回步骤2.2继续执行。
[0028]进一步的，步骤4中所述瑕疵数据集和所述多个锚点经过训练得到瑕疵检测模型，具体包括如下步骤：
[0029]步骤4.1，初始化瑕疵检测模型使用的数据加载器，提取图像和真实标注；
[0030]步骤4.2，通过所述骨干网络提取所述瑕疵图像的多层特征图；
[0031]步骤4.3，使用所述特征金字塔网络融合所述多层瑕疵特征图的信息得到瑕疵金字塔特征图；
[0032]步骤4.4，利用所述梯度解耦模块对所述瑕疵金字塔特征图进行两次仿射变换得到的两组瑕疵仿射特征图；
[0033]步骤4.5，将两组所述瑕疵仿射特征图分别输入至所述候选框提取网络和候选框预测网络中，所述候选框提取网络提取出含有瑕疵的候选框，使用所述候选框预测网络计算出候选框类别和候选框回归参数；
[0034]步骤4.6，根据所述候选框类别和候选框回归参数计算网络的分类损失、回归损失、对比损失和梯度；
[0035]步骤4.7，使用所述梯度解耦模块对所述本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种结合梯度解耦与对比学习的小样本瑕疵检测方法，其特征在于，主要包括如下步骤：步骤1，使用大规模的目标检测数据集经过预训练得到目标检测模型，所述目标瑕疵检测模型包括骨干网络、特征金字塔网络、候选框提取网络、候选框预测网络和梯度解耦模块；步骤2，通过自适应锚点算法为瑕疵数据集对应生成多个锚点；步骤3，调整所述目标检测模型中的所述候选框预测网络，将所述候选框预测网络的候选框分类分支输出的数量设置为瑕疵类别的数量，并在所述候选框预测网络中添加对比分支；步骤4，将所述瑕疵数据集和生成的所述锚点输入至调整后的所述目标检测模型中进行训练得到瑕疵检测模型；步骤5，对于待检测的瑕疵图像输入至所述瑕疵检测模型中，对应输出瑕疵目标的位置及其类别。2.根据权利要求1所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法，其特征在于，步骤1中所述大规模的目标检测数据集经过预训练得到目标检测模型，具体包括如下步骤：步骤1.1，初始化目标检测模型使用的数据加载器，提取图像和真实标注；步骤1.2，通过所述骨干网络提取所述图像的多层特征图；步骤1.3，使用所述特征金字塔网络融合所述多层特征图的信息得到金字塔特征图；步骤1.4，利用所述梯度解耦模块对所述金字塔特征图进行两次仿射变换得到的两组仿射特征图；步骤1.5，将两组所述仿射特征图分别输入至所述候选框提取网络和候选框预测网络中，所述候选框提取网络提取出含有目标的候选框，使用所述候选框预测网络计算出候选框类别和候选框回归参数；步骤1.6，根据所述候选框类别和候选框回归参数计算网络的分类损失、回归损失和梯度；步骤1.7，使用所述梯度解耦模块对所述候选框提取网络和候选框预测网络进行梯度解耦操作；步骤1.8，判断达到最大训练轮次后结束输出所述目标检测模型。3.根据权利要求2所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法，其特征在于，步骤2中所述通过自适应锚点算法为瑕疵数据集对应生成多个锚点，其具体包括如下步骤：步骤2.1，从瑕疵数据集中所有样本的瑕疵标注中随机取k个作为当前聚类中心；步骤2.2，判断是否有没计算过的所述瑕疵标注，若有则计算与当前所述瑕疵标注距离最近的聚类中心，并将当前所述瑕疵标注添加到所属聚类中心的列表中；步骤2.3，判断是否计算完所有的所述瑕疵标注，若已完成则计算所有列表中所述瑕疵标注的均值作为新聚类中心；步骤2.4，将所述当前聚类中心与新聚类中心进行比较，若一致则输出当前聚类中心对应瑕疵数据集的锚点，若不一致则返回步骤2.2继续执行。
4.根据权利要求3所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法，其特征在于，步骤4中所述瑕疵数据集和所述多个锚点经过训练得到瑕疵检测模型，其训练的具体步骤如下：步骤4.1，初始化瑕疵检测模型使用的数据加载器，提取图像和真实标注；步骤4.2，通过所述骨干网络提取所述瑕疵图像的多层特征图；步骤4.3，使用所述特征金字塔网络融合所述多层瑕疵特征图的信息得到瑕疵金字塔特征图；步骤4.4，利用所述梯度解耦模块对所述瑕疵金字塔特征图进行两次仿射变换得到的两组瑕疵仿射特征图；步骤4.5，将两组所述瑕疵仿射特征图分别输入至所述候选框提取网络和候选框预测网络中，所述候选框提取网络提取出含有瑕疵的候选框，使用所述候选框预测网络计算出候选框类别和候选框回归参数；步骤4.6，根据所述候选框类别和候选框回归参数计算网络的分类损失、回归损失、对比损失和梯度；步骤4.7，使用所述梯度解耦模块对所述候选框提取网络和候选框预测网络进行梯度解耦操作；步骤4.8，判断达到...
【专利技术属性】
技术研发人员：周庆博，周嵩，李武军，
申请(专利权)人：南京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。