一种基于多任务孪生网络的工业图像缺陷检测方法及系统技术方案

本发明专利技术涉及到图像处理技术领域，具体公开了一种基于多任务孪生网络的工业图像缺陷检测方法。所述方法将待检测图像与对应模板图像共同作为网络输入，计算出二者差异的相关特征，并运用分割网络结构进行多任务辅助训练，使得骨干网络能够明确地在FPN特征提取的过程中有效区分背景信息，随后使用FPN特征进行检测网络的训练，完成缺陷的二分类检测任务。本发明专利技术采用孪生网络结构为模型的泛化能力提供了有效保障，多任务分割网络辅助检测网络训练使得网络训练更加容易，性能更好，为二分类检测任务提供了支撑。

【技术实现步骤摘要】
一种基于多任务孪生网络的工业图像缺陷检测方法及系统
本专利技术涉及图像检测
，特别涉及一种基于多任务孪生网络的工业图像缺陷检测方法及系统。
技术介绍
随着计算机视觉技术的快速发展与人工智能技术的广泛应用，机器视觉技术越来越多地应用于工业场景，在生产的各个环节中均有广泛的运用。而缺陷检测计算机视觉在工业领域近年来需求剧增的场景之一，该任务主要体现在计算机视觉可以快速、自动地通过图像传感器采集到的数据对产品外观图像进行检测，返回产品是否存在缺陷以及缺陷相关信息。缺陷检测过程中，产品二分类的准确率指标至关重要，直接影响检测结果的漏检与过检率。因此二分类准确率高的工业产品数据缺陷识别检测方案在产品缺陷检测领域具有很高的实用价值。现有的机器视觉工业图像数据二分类缺陷检测方案已经可以满足很多场景，甚至很多情况下多分类准确率已经高到可以实用，但现有的目前还存在以下缺陷：第一，现有的图像缺陷检测方案大多采用待测图像作为输入，此类方案难以保证检测方案的数据迁移能力。这个问题表现在当模型使用现有数据集进行训练后，由于模型泛化能力不足，面对需要检测新类型图像数据的场景时会产生异常，导致缺陷被误检或漏检，这是由于单一使用待测图像作为输入的模型无法将图像背景与前景进行明确区分所导致的。而共同运用待检测图像与对应模板图像信息的孪生网络可以很大程度上缓解单一输入模型的泛化性不足的问题。第二，目前存在的利用孪生网络进行缺陷检测的技术没有从网络特征层面深入挖掘模型的潜能，在模型训练过程中孪生网络的前、背景差异的先验信息没有加以充分利用，在模型泛化能力这一指标上还有提升的空间。因此，有必要基于孪生网络提出一种新的工业图像缺陷检测方法，将待检测产品与对应模板图像共同作为网络输入，在模型训练过程中充分运用孪生网络的前、背景差异的的先验信息，以提升模型的泛化能力及网络训练的性能，为二分类检测任务提供更好的支撑。
技术实现思路
本专利技术的目的在于提供一种基于多任务孪生网络的工业图像缺陷检测方法及系统，已解决上述现有技术中模型泛化性不足、孪生网络缺陷检测技术深入不够的缺陷。鉴于此，本专利技术具体方案如下：一种基于多任务孪生网络的工业图像缺陷检测方法，其特征在于，包括如下步骤：S1.获取待检测图像与对应的模板图像，并对图像数据进行预处理；S2.将待检测图像与模板图像输入孪生网络结构，完成图像数据处理，并将输入的图像数据表示成多尺度特征；S3.将图像数据表示特征送入FPN模块生成FPN特征；S4.将FPN特征送入检测网络，训练二分类缺陷工业图像陷检测网络；S5.使用训练后的检测网络对测试图像进行检测，得到图像的缺陷检测结果。进一步地，本专利技术所述工业图像缺陷检测方法中，构建分割网络结构对得到的FPN特征进行监督，将图像数据识别为前景与背景，对缺陷信息分割标注，再训练检测网络。进一步地，本专利技术所述工业图像缺陷检测方法中，所述步骤S5为：S51.裁剪训练过程中的网络，略去分割网络监督部分，保留剩余框架，生成网络模型；S52.加载训练好模型的权重；S53.加载待检测的图像与对应的模板图像；S54.将图像输入网络得到缺陷二分类检测结果。进一步地，本专利技术所述工业图像缺陷检测方法中：所述步骤S2为：S21.拆分骨干网络D2层特征之前的浅层网络结构为孪生网络结构，该孪生网络接受两组相同尺寸的图像输入，共享参数，并在输出D2特征之后进行特征相减，得到两组输入的数据表示差异特征，随后提取深层的骨干网络不再使用孪生结构，恢复正常的特征提取的运行方式；S22.使用S21中设计的孪生网络结构提取差异信息特征，从骨干网络深层特征提取层中提出D4、D8、D16、D32的特征。所述步骤S3为：S31.将D32特征经过1×1卷积转换成固定通道数量Cnum的特征FPN_D32；S32.将FPN_D32最近邻上采样得到的特征与D16经过1×1卷积转换成固定通道数量Cnum的特征求和得到FPN_D16；S33.将FPN_D16最近邻上采样得到的特征与D8经过1×1卷积转换成固定通道数量Cnum的特征求和得到FPN_D8；S34.将FPN_D8最近邻上采样得到的特征与D4经过1×1卷积转换成固定通道数量Cnum的特征求和得到FPN_D4；S35.将FPN_D32特征经过步长为2的最大值池化操作得到FPN_D64特征。所述监督调整FPN特征过程为：S100.将FPN_D4-FPN_D64五组FPN特征使用2层卷积压缩通道数为1，使用sigmoid函数激活：S200.将待检测图像的分割标注分别变换到原图D4-D64五种尺寸，生成五组bool矩阵作为标签，训练分割网络，训练的目标为：将缺陷部分预测为1，背景预测为0；损失函数使用二分类交叉熵BCE：所述步骤S4为：S41.在FPN_D4–FPN_D64特征上训练检测网络，使得网络在多个尺度的特征上提取出缺陷部分的检测框，使用缺陷的检测框标注信息对网络进行监督训练；S42.训练时五组分割网络的损失权重为Ws1-Ws5，检测网络的损失权重为Wd，整个网络的训练损失函数为：其中：Lsi与Ld为分割与检测网络的损失函数。进一步地，本专利技术所述工业图像缺陷检测方法中，所述步骤S1中所述预处理过程为将图像处理至统一尺寸，将对比度归一化，矫正仿射变换参数。本专利技术另一个目的在于，提出一种基于多任务孪生网络的工业图像缺陷检测系统，输入数据是由待检测图像与模板图像输入组成，所述检测系统包括：骨干网络模块，用于利用孪生网络的完成图像数据处理，将图像数据表示成多尺度特征；FPN特征提取模块，用于基于多尺度特征提取FPN特征；检测网络模块，用于以FPN特征为输入，训练二分类缺陷工业图像陷检测网络。进一步地，所述工业图像缺陷检测系统还包括分割网络监督模块，用于对得到的FPN特征进行监督，将图像数据识别为前景与背景，对缺陷信息分割标注，再训练检测网络。相对于现有技术，本专利技术的有益效果为：1.本专利技术提出部分拆分骨干网络提取孪生输入图像基础特征，并重点分析差异特征的二分类缺陷检测框架。该检测框架能更有效地利用输入待检测图像与模板图像的信息，针对性地分析缺陷产生的区域，可以有效地使网络重点关注缺陷部分，提高了模型对新数据的泛化能力；2.本专利技术使用分割网络结构监督检测网络所使用特征的模型训练方案，由于我们可以充分利用输入孪生图像之间的差异先验知识，确定缺陷部分应该是被“点亮”的区域，可以在各个尺度上对FPN特征进行网络中间结果的监督调整，有利于网络对缺陷区域的关注能力，提升了模型二分类检测能力；3.本专利技术提出的方法适用于各种骨干网络、监督网络、检测网络结构，面对不同的数据形式和算力要求等实际情况，可以灵活调整。4.本专利技术提出的框架训练出的模型本文档来自技高网...

【技术保护点】
1.一种基于多任务孪生网络的工业图像缺陷检测方法，其特征在于，包括如下步骤：/nS1.获取待检测图像与对应的模板图像，并对图像数据进行预处理；/nS2.将待检测图像与模板图像输入孪生网络结构，完成图像数据处理，并将输入的图像数据表示成多尺度特征；/nS3.将图像数据表示特征送入FPN模块生成FPN特征；/nS4.将FPN特征送入检测网络，训练二分类缺陷工业图像陷检测网络；/nS5.使用训练后的检测网络对测试图像进行检测，得到图像的缺陷检测结果。/n

【技术特征摘要】
1.一种基于多任务孪生网络的工业图像缺陷检测方法，其特征在于，包括如下步骤：
S1.获取待检测图像与对应的模板图像，并对图像数据进行预处理；
S2.将待检测图像与模板图像输入孪生网络结构，完成图像数据处理，并将输入的图像数据表示成多尺度特征；
S3.将图像数据表示特征送入FPN模块生成FPN特征；
S4.将FPN特征送入检测网络，训练二分类缺陷工业图像陷检测网络；
S5.使用训练后的检测网络对测试图像进行检测，得到图像的缺陷检测结果。


2.根据权利要求1所述的工业图像缺陷检测方法，其特征在于，构建分割网络结构对得到的FPN特征进行监督，将图像数据识别为前景与背景，对缺陷信息分割标注，再训练检测网络。


3.根据权利要求2所述的的工业图像缺陷检测方法，其特征在于，所述步骤S5为：
S51.裁剪训练过程中的网络，略去分割网络监督部分，保留剩余框架，生成网络模型；
S52.加载训练好模型的权重；
S53.加载待检测的图像与对应的模板图像；
S54.将图像输入网络得到缺陷二分类检测结果。


4.根据权利要求2所述的工业图像缺陷检测方法，其特征在于，所述步骤S2为：
S21.拆分骨干网络D2层特征之前的浅层网络结构为孪生网络结构，该孪生网络接受两组相同尺寸的图像输入，共享参数，并在输出D2特征之后进行特征相减，得到两组输入的数据表示差异特征，随后提取深层的骨干网络不再使用孪生结构，恢复正常的特征提取的运行方式；
S22.使用S21中设计的孪生网络结构提取差异信息特征，从骨干网络深层特征提取层中提出D4、D8、D16、D32的特征。


5.根据权利要求4所述的工业图像缺陷检测方法，其特征在于，所述步骤S3为：
S31.将D32特征经过1×1卷积转换成固定通道数量Cnum的特征FPN_D32；
S32.将FPN_D32最近邻上采样得到的特征与D16经过1×1卷积转换成固定通道数量Cnum的特征求和得到FPN_D16；
S33.将FPN_D16最近邻上采样得到的特征与D8经过1×1卷积转换成固定通道数量Cnum的特征求和得到...

【专利技术属性】
技术研发人员：张逸为，余燕清，
申请(专利权)人：聚时科技上海有限公司，
类型：发明
国别省市：上海;31