一种基于深度孪生网络的图像缺陷检测方法及系统技术方案

本申请公开了一种基于深度孪生网络的图像缺陷检测方法及系统，方法包括：获取正常图像和缺陷图像；将正常图像以及缺陷图像分块成预设大小的图像块；采用孪生网络对正常图像和缺陷图像对应位置的图像块进行相似度测量；将相似度大于预设阈值的图像块作为背景，剩余的图像块即为含缺陷的图像块。本申请通过利用孪生网络进行图像的相似性度量，提高了缺陷检测的泛化能力。

【技术实现步骤摘要】
一种基于深度孪生网络的图像缺陷检测方法及系统
本申请涉及计算机视觉
，尤其涉及一种基于深度孪生网络的图像缺陷检测方法及系统。
技术介绍
随着人工智能和计算机视觉技术的发展，机器视觉技术在工业场景的应用越来越多，其所占据的地位也越来越高。工业生产过程中的质量控制环节尤为重要，该环节的好坏往往决定产品是否能顺利出厂。视觉缺陷检测技术的出现极大地提高了检测的效率，也加快了工业生产效率。对于工业产品的缺陷检测，可用传统图像处理方法和深度学习方法来处理。传统图像处理方法中的模板匹配技术是该方法下的技术核心，而深度学习方法做缺陷检测的核心则是深度学习目标检测、语义分割等算法。模板匹配技术是视觉图像处理中的一种最原始与最基本的识别方法，它以小图像为模板，在大图像搜寻与该模板相同或相似的部分，即对大图像中所关注的对象进行匹配识别。深度学习是机器学习的一种，它对现实世界里人类所关注的某些特定问题进行建模，而所建立的模型通常是一个具有多个隐藏层的神经网络。卷积神经网络能够在不需要任何输入输出之间精确表达式的情况下学习输入输出关系，因此在处理图像的过程中避免了显式的特征提取而能够有效地提高检测精度，故而在基于深度学习的视觉缺陷检测方法中卷积网络是必不可少的。视觉缺陷检测是针对图像的检测技术，其网络模型中嵌入了大量卷积神经网络(CNN)。传统图像处理方法通过像素比对的方式获取缺陷特征，其在用于一些背景单一的缺陷图像时能够获得较好的检测效果，但对图像采集的一致性要求较高，对于如复杂纹理背景、光照不均、存在遮挡等条件则不敏感，故而泛化能力低；而深度学习方法能够从不同条件下采集得到的图像中获取良好的特征，因此在样本充足的前提下能够获得很好的性能。
技术实现思路
本申请实施例提供了一种基于深度孪生网络的图像缺陷检测方法及系统，克服了现有缺陷检测技术泛化能力差、易受采集条件影响的缺点。有鉴于此，本申请第一方面提供了一种基于深度孪生网络的图像缺陷检测方法，所述方法包括：获取正常图像和缺陷图像；将所述正常图像以及所述缺陷图像分块成预设大小的图像块；采用孪生网络对所述正常图像和所述缺陷图像对应位置的所述图像块进行相似度测量；将相似度大于预设阈值的所述图像块作为背景，剩余的所述图像块即为含缺陷的图像块。可选的，在所述将所述正常图像以及所述缺陷图像分块成预设大小的图像块，之前还包括：对所述正常图像和所述缺陷图像进行预处理。可选的，所述对所述正常图像和所述缺陷图像进行预处理具体为：将所述正常图像和所述缺陷图像进行滤波；对滤波后的所述正常图像和所述缺陷图像依次进行泛洪填充、灰度化、开运算、闭运算、二值化、寻找最小外接矩形的操作；获得感兴趣区域。可选的，所述将所述正常图像和所述缺陷图像进行滤波具体为：式中，Sxy表示卷积核的中心在(x,y)处，m，n表示卷积核的大小为m×n，g(s,t)表示输入的所述正常图像或所述缺陷图像，f(x,y)表示滤波结束后的所述正常图像或所述缺陷图像。可选的，在所述将所述正常图像以及所述缺陷图像分块成预设大小的图像块，之前还包括：对所述正常图像和所述缺陷图像进行图像对齐。可选的，所述对所述正常图像和所述缺陷图像进行图像对齐具体为：分别对所述正常图像和所述缺陷图像进行检测；计算所述正常图像和所述缺陷图像的特征点及描述符；分别对所述正常图像和所述缺陷图像进行检测；计算所述正常图像和所述缺陷图像的特征点及描述符；对所述描述符进行匹配判断，并根据判断结果进行排序，计算所述正常图像和所述缺陷图像的匹配置信度；根据所述描述符及所述特征点计算所述正常图像和所述缺陷图像之间的单应性矩阵；根据所述单向性矩阵进行图片扭转操作消除投影畸形，使得所述缺陷图像向所述正常图像对齐。可选的，所述采用孪生网络对所述正常图像和所述缺陷图像对应位置的所述图像块进行相似度测量具体为：采用两个权重共享的多层卷积层作为孪生特征提取网络，分别提取所述正常图像和所述缺陷图像对应位置图像块的特征；将所述正常图像和所述缺陷图像对应位置图像块的特征分别经过VGG-16网络进行抽象化；由决策网络计算所述孪生网络中所述正常图像和所述缺陷图对应的两部分网络输出特征映射的距离，即为所述正常图像和所述缺陷图的相似度。本申请第二方面提供一种复杂纹理图像缺陷检测系统，所述系统包括：图像获取模块，用于获取正常图像和缺陷图像；图像分块模块，用于将所述正常图像以及所述缺陷图像分块成预设大小的图像块；相似度计算模块，用于采用孪生网络对所述正常图像和所述缺陷图像对应位置的所述图像块进行相似度测量；缺陷获取模块，用于将相似度大于预设阈值的所述图像块作为背景，剩余的所述图像块即为含缺陷的图像块。可选的，还包括：预处理模块，用于对所述正常图像和所述缺陷图像进行预处理。可选的，还包括：图像对齐模块，用于对所述正常图像和所述缺陷图像进行图像对齐。从以上技术方案可以看出，本申请具有以下优点：本申请实施例中，提供了一种基于深度孪生网络的图像缺陷检测方法及系统，方法包括：获取正常图像和缺陷图像；将正常图像以及缺陷图像分块成预设大小的图像块；采用孪生网络对正常图像和缺陷图像对应位置的图像块进行相似度测量；将相似度大于预设阈值的图像块作为背景，剩余的图像块即为含缺陷的图像块。本申请通过将正常图像和缺陷图像分块后，对图像中同一位置的图像块计算相似度找到缺陷的图像块，通过采用孪生网络进行图像的相似性度量，提高了缺陷检测的泛化能力。利用孪生网络处理特征提取问题，解决了拍照条件不一致性带来的图像配准困难的问题。附图说明图1为本申请一种基于深度孪生网络的图像缺陷检测方法的一个实施例的方法流程图；图2为本申请一种基于深度孪生网络的图像缺陷检测方法的另一个实施例的方法流程图；图3为本申请一种基于深度孪生网络的图像缺陷检测系统的一个实施例的系统架构图；图4为本专利技术实施例中对图像预处理的流程示意图；图5为本专利技术实施例中将图像对齐的流程示意图；图6为本专利技术实施例中采用孪生网络对正常图像和缺陷图像对应位置的图像块进行相似度测量的流程示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1为一种基于深度孪生网络的图像缺陷检测方法的一个实施例的方法流程图，如图1所示，图1中包括：101、获取正常图像和缺陷图像。需要说明的是，本申请中可以采用工业相机采集本文档来自技高网...

【技术保护点】
1.一种基于深度孪生网络的图像缺陷检测方法，其特征在于，包括：/n获取正常图像和缺陷图像；/n将所述正常图像以及所述缺陷图像分块成预设大小的图像块；/n采用孪生网络对所述正常图像和所述缺陷图像对应位置的所述图像块进行相似度测量；/n将相似度大于预设阈值的所述图像块作为背景，剩余的所述图像块即为含缺陷的图像块。/n

【技术特征摘要】
1.一种基于深度孪生网络的图像缺陷检测方法，其特征在于，包括：
获取正常图像和缺陷图像；
将所述正常图像以及所述缺陷图像分块成预设大小的图像块；
采用孪生网络对所述正常图像和所述缺陷图像对应位置的所述图像块进行相似度测量；
将相似度大于预设阈值的所述图像块作为背景，剩余的所述图像块即为含缺陷的图像块。


2.根据权利要求1所述的基于深度孪生网络的图像缺陷检测方法，其特征在于，在所述将所述正常图像以及所述缺陷图像分块成预设大小的图像块，之前还包括：
对所述正常图像和所述缺陷图像进行预处理。


3.根据权利要求2所述的基于深度孪生网络的图像缺陷检测方法，其特征在于，所述对所述正常图像和所述缺陷图像进行预处理具体为：
将所述正常图像和所述缺陷图像进行滤波；
对滤波后的所述正常图像和所述缺陷图像依次进行泛洪填充、灰度化、开运算、闭运算、二值化、寻找最小外接矩形的操作；
获得感兴趣区域。


4.根据权利要求3所述的基于深度孪生网络的图像缺陷检测方法，其特征在于，所述将所述正常图像和所述缺陷图像进行滤波具体为：



式中，Sxy表示卷积核的中心在点(x,y)处，m，n表示卷积核的大小为m×n，g(s,t)表示输入的所述正常图像或所述缺陷图像，f(x,y)表示滤波结束后的所述正常图像或所述缺陷图像。


5.根据权利要求1所述的基于深度孪生网络的图像缺陷检测方法，其特征在于，在所述将所述正常图像以及所述缺陷图像分块成预设大小的图像块，之前还包括：
对所述正常图像和所述缺陷图像进行图像对齐。


6.根据权利要求1所述的基于深度孪生网络的图像缺陷检测方法，其特征在于，所述对所述正常图像和所述缺陷图像进行图像对齐具体为：
分别对所述...

【专利技术属性】
技术研发人员：王涛，胡伟华，王洋赛，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44