一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法技术

本发明专利技术公开了一种基于孪生残差网络的二阶段多分类缺陷检测方法，将待检测图像与其模板信息共同输入到网络中，提取差异特征，并将差异特征按照残差网络设计思想结合到以模板信息为输入的残差网络中，提取多分类特征；利用差异特征训练二分类检测网络；使用检测网络的提案检测框用于多分类检测网络的训练，完成缺陷多分类检测任务。本发明专利技术中，孪生网络结构与残差网络结构解耦了缺陷与模板信息，使得网络更加明确地学习缺陷部分与分类部分，并且具有很强的迁移能力，同时结合了二分类检测网络与多分类检测网络的特点和优势，设计出了既能准确检测出缺陷又能准确多分类的网络结构。准确检测出缺陷又能准确多分类的网络结构。准确检测出缺陷又能准确多分类的网络结构。

【技术实现步骤摘要】
一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法


[0001]本专利技术涉及图像检测
，特别涉及一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法。

技术介绍

[0002]随着人工智能技术在数字媒体处理领域中的快速发展和近年来硬件性能的飞速提升，计算机视觉技术的性能在不断提升，部署成本不断降低。因此与视觉相关的人工智能算法落地条件趋于成熟，并且事实上越来越多地应用于各种工业场景。计算机视觉落地的工业领域中，自动化缺陷检测是相关应用的重要应用场景。缺陷检测需要传感器采集工业产品信息，将其送入到预先设定好的检测系统中，输出产品是否存在缺陷以及缺陷相关信息。
[0003]缺陷检测过程中，产品上不同的缺陷会对产品有不同的影响，因此厂商对不同类型的缺陷往往有不同的检测标准。那么为了提高检测精度，需要检测系统具有优秀的缺陷多分类能力；同时，当产品背景纹理复杂，品种多样时，我们需要检测系统具有一定的迁移能力，在未学习过的应用场景下也能尽可能地正确分类缺陷。而面对上述需求，当前的检测方案还存在以下缺陷：
[0004]第一，现有的缺陷检测方案大多采用待检测图像作为单独的输入数据，此类方案很可能导致网络学习到一些与特定背景相关的辅助信息，这种情况下模型的迁移能力无法得到保证。系统在训练时缺陷信息与背景信息耦合度很高，模型难以学习到仅针对缺陷本身的信息。因此当检测系统遇到新的产品时，关注点难以放在缺陷之上，容易对此类数据产生大量误检或漏检的现象；
[0005]第二，当前缺陷检测系统对中间特征的先验知识利用的不够充分，若能构造出存在先验信息的特征层，即可利用这个信息对模型中间进行监督训练，使得网络更加容易训练，性能更佳；
[0006]第三，当前缺陷检测系统多分类与二分类完全分开，没有结合二者的优势，也没有将二者在网络结构上进行解耦，导致网络多分类能力和迁移能力存在瓶颈，难以提升。

技术实现思路

[0007]本专利技术的目的在于提供一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法，已至少解决上述现有技术出现的诸多问题之一。
[0008]鉴于此，本专利技术具体方案如下：
[0009]一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法，包括如下步骤：
[0010]S1.获取待检测图像与对应的模板图像并对图像数据进行预处理；
[0011]S2.将待检测图像与模板图像输入至孪生骨干网络，完成图像数据处理，将形成的数据表示特征输入至孪生FPN网络得到孪生FPN特征；
[0012]S3.将模板数据输入残差网络，结合孪生网络特征提取得到残差网络特征，再输入至残差FPN网络得到残差FPN特征；
[0013]S4.将孪生FPN特征送入分割网络进行监督训练，对特征进行优化处理；
[0014]S5.将孪生FPN特征输入二分类检测网络进行二分类监督训练，提取该检测网络的提议检测框；
[0015]S6.以提议检测框和残差FPN特征训练多分类检测网络；
[0016]S7.用多分类检测网络检测图像样本输出检测结果。
[0017]本专利技术中，所述步骤S5为：
[0018]S51.将孪生FPN特征送入RPN网络，计算得到提议检测框；
[0019]S52.将提议检测框与孪生FPN特征送入二分类检测网络，得到检测框输出和对应的二分类得分，以检测框标注为标签进行训练。
[0020]本专利技术中，所述步骤S6为：
[0021]S61.将残差FPN特征与二分类检测网络的提议检测框输入多分类检测网络；
[0022]S62.以缺陷的多分类检测框标注为标签，训练多分类检测网络。
[0023]本专利技术中，所述步骤S2中孪生骨干网络特征通道数与与所述步骤S3中残差网络对应的特征层相同。
[0024]进一步地，所述步骤S2中拆分孪生骨干网络浅层特征提取层成为两个输入端，享有共同参数的孪生网络，分别输出两组特征，特征相减的结果输入到网络的后续部分，合并为一股数据，后续恢复骨干网络的正常特征提取。
[0025]进一步地，所述步骤S3包括：
[0026]S31.将模板图像送入残差网络，提取输入数据的中间特征；
[0027]S32.找到中间特征提取前最后一个残差块，将步骤S2中提取的孪生网络特征对应尺寸合并入残差块结构当中，得到残差网络特征；
[0028]S33.将残差网络特征送入到FPN特征提取模块，得到具有固定通道数的残差FPN特征。
[0029]优选地，所述孪生FPN特征及残差FPN特征均为D4
‑
D64的特征。
[0030]相对于现有技术，本专利技术的有益效果为：
[0031]1.本专利技术使用孪生网络结构针对缺陷区域特征进行提取和学习，重点分析差异特征，将缺陷信息与背景模板信息解耦分析，这种网络结构可以更敏感地检测缺陷部分，提升了对缺陷的检测精度，并且提升了网络对缺陷检测的迁移能力；
[0032]2.本专利技术构造出了背景期望为0的差异特征结构，并在网络训练过程中加入了分割网络监督学习这部分特征之前的网络结构，充分利用了上述先验信息，使得网络更容易训练，精度更高；
[0033]3.本专利技术设计了孪生残差网络结构，将缺陷部分与背景信息解耦的同时又进行了特征层面的融合，使得网络具有更强的迁移检测能力；
[0034]4.本专利技术融合了差异特征信息与背景信息在检测网络中的作用，使用差异特征寻找缺陷的提议检测框，使用背景信息与差异特征信息的融合特征进行检测框的分类，使得检测系统在保持了二分类性能的基础上拥有了缺陷多分类的能力。
附图说明
[0035]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0036]图1为本专利技术所述的二阶段多分类工业图像缺陷检测方法总体示意图。
[0037]图2为本专利技术所述的二阶段多分类工业图像缺陷检测方法概要流程图。
[0038]图3为本专利技术所述的二阶段多分类工业图像缺陷检测方法网络特征提取流程图。
[0039]图4为本专利技术所述的二阶段多分类工业图像缺陷检测方法网络特征使用方法示意图。
具体实施方式
[0040]为了使本专利技术的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本专利技术进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本专利技术，并不是为了限定本专利技术。
[0041]本专利技术提出一种基于孪生残差网络的二阶段多分类缺陷检测方法，以残差网络结构的信息传递方式为核心设计思想，使用孪生网络结构提取残差特征信息，并结合到残差网络结构当中，获得了检测能力和迁移能力的双重性能提升，所述检测方法总体示意图如图1所示。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法，其特征在于，包括如下步骤：S1.获取待检测图像与对应的模板图像并对图像数据进行预处理；S2.将待检测图像与模板图像输入至孪生骨干网络，完成图像数据处理，将形成的数据表示特征输入至孪生FPN网络得到孪生FPN特征；S3.将模板数据输入残差网络，结合孪生网络特征提取得到残差网络特征，再输入至残差FPN网络得到残差FPN特征；S4.将孪生FPN特征送入分割网络进行监督训练，对特征进行优化处理；S5.将孪生FPN特征输入二分类检测网络进行二分类监督训练，提取该检测网络的提议检测框；S6.以提议检测框和残差FPN特征训练多分类检测网络；S7.用多分类检测网络检测图像样本输出检测结果。2.根据权利要求1所述的工业图像缺陷检测方法，其特征在于，所述步骤S5为：S51.将孪生FPN特征送入RPN网络，计算得到提议检测框；S52.将提议检测框与孪生FPN特征送入二分类检测网络，得到检测框输出和对应的二分类得分，以检测框标注为标签进行训练。3.根据权利要求1所述的工业图像缺陷检测方法，其特征在于，所述步骤S6为：S61.将残差FPN特...

【专利技术属性】
技术研发人员：张逸为，郑军，
申请(专利权)人：聚时科技上海有限公司，
类型：发明
国别省市：