缺陷检测方法、装置、电子设备、存储介质和程序产品制造方法及图纸

本公开涉及一种图像数据处理技术领域，尤其涉及一种缺陷检测方法、装置、电子设备、存储介质和程序产品。所述方法包括：获取待检测图像以及所述待检测图像对应的模板图像；获得所述待检测图像与所述模板图像的差异图像；根据所述差异图像，确定所述待检测图像中的缺陷的候选框；获得所述候选框在所述模板图像上的第一图像块，以及所述候选框在所述差异图像上的第二图像块；通过预先训练的第一神经网络对所述第一图像块和所述第二图像块进行处理，得到所述候选框对应的缺陷检测结果。本公开利用第一神经网络对缺陷的候选框在模板图像上的第一图像块和在差异图像上的第二图像块进行处理，以对候选框进行缺陷检测，能够提高缺陷检测的准确性。测的准确性。测的准确性。

【技术实现步骤摘要】
缺陷检测方法、装置、电子设备、存储介质和程序产品


[0001]本公开涉及图像数据处理
，尤其涉及一种缺陷检测方法、装置、电子设备、存储介质和程序产品。

技术介绍

[0002]智能化工业质检是计算机视觉及工业质检领域的重要问题。如何提高对产品进行缺陷检测的准确性，是亟待解决的技术问题。

技术实现思路

[0003]本公开提供了一种缺陷检技术方案。
[0004]根据本公开的一方面，提供了一种缺陷检方法，包括：获取待检测图像以及所述待检测图像对应的模板图像；获得所述待检测图像与所述模板图像的差异图像；根据所述差异图像，确定所述待检测图像中的缺陷的候选框；获得所述候选框在所述模板图像上的第一图像块，以及所述候选框在所述差异图像上的第二图像块；通过预先训练的第一神经网络对所述第一图像块和所述第二图像块进行处理，得到所述候选框对应的缺陷检测结果。
[0005]根据本公开的一方面，提供了一种用于缺陷检测的机器学习模型的训练方法，包括：获取训练图像以及所述训练图像对应的模板图像；获得所述训练图像与所述模板图像的差异图像；根据所述差异图像，确定所述训练图像中的缺陷的候选框；获得所述候选框在所述模板图像上的第一图像块，以及所述候选框在所述差异图像上的第二图像块；通过预先训练的第一神经网络对所述第一图像块进行处理，得到所述第一图像块对应的第一深度特征，并通过所述第一神经网络对所述第二图像块进行处理，得到所述第二图像块对应的第二深度特征；至少将所述第一深度特征和所述第二深度特征输入机器学习模型，经由所述机器学习模型得到所述候选框对应的缺陷预测结果；根据所述候选框对应的标注信息，以及所述缺陷预测结果，训练所述机器学习模型。
[0006]根据本公开的一方面，提供了一种缺陷检测装置，包括：第一获取模块，用于获取待检测图像以及所述待检测图像对应的模板图像；第一获得模块，用于获得所述待检测图像与所述模板图像的差异图像；第一确定模块，用于根据所述差异图像，确定所述待检测图像中的缺陷的候选框；
第二获得模块，用于获得所述候选框在所述模板图像上的第一图像块，以及所述候选框在所述差异图像上的第二图像块；检测模块，用于通过预先训练的第一神经网络对所述第一图像块和所述第二图像块进行处理，得到所述候选框对应的缺陷检测结果。
[0007]根据本公开的一方面，提供了一种用于缺陷检测的机器学习模型的训练装置，包括：第二获取模块，用于获取训练图像以及所述训练图像对应的模板图像；第三获得模块，用于获得所述训练图像与所述模板图像的差异图像；第二确定模块，用于根据所述差异图像，确定所述训练图像中的缺陷的候选框；第四获得模块，用于获得所述候选框在所述模板图像上的第一图像块，以及所述候选框在所述差异图像上的第二图像块；特征提取模块，用于通过预先训练的第一神经网络对所述第一图像块进行处理，得到所述第一图像块对应的第一深度特征，并通过所述第一神经网络对所述第二图像块进行处理，得到所述第二图像块对应的第二深度特征；预测模块，用于至少将所述第一深度特征和所述第二深度特征输入机器学习模型，经由所述机器学习模型得到所述候选框对应的缺陷预测结果；训练模块，用于根据所述候选框对应的标注信息，以及所述缺陷预测结果，训练所述机器学习模型。
[0008]根据本公开的一方面，提供了一种电子设备，包括：一个或多个处理器；用于存储可执行指令的存储器；其中，所述一个或多个处理器被配置为调用所述存储器存储的可执行指令，以执行上述方法。
[0009]根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
[0010]根据本公开的一方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述方法。
[0011]在本公开实施例中，通过获取待检测图像以及所述待检测图像对应的模板图像，获得所述待检测图像与所述模板图像的差异图像，根据所述差异图像，确定所述待检测图像中的缺陷的候选框，获得所述候选框在所述模板图像上的第一图像块，以及所述候选框在所述差异图像上的第二图像块，并通过预先训练的第一神经网络对所述第一图像块和所述第二图像块进行处理，得到所述候选框对应的缺陷检测结果，由此利用第一神经网络对缺陷的候选框在模板图像上的第一图像块和在差异图像上的第二图像块进行处理，以对候选框进行缺陷检测，能够提高缺陷检测的准确性。
[0012]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
[0013]根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
[0014]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
[0015]图1示出本公开实施例提供的缺陷检测方法的流程图。
[0016]图2示出本公开实施例提供的用于缺陷检测的机器学习模型的训练方法的流程图。
[0017]图3示出本公开实施例提供的用于缺陷检测的机器学习模型的训练方法中的模板图像的示意图。
[0018]图4示出本公开实施例提供的用于缺陷检测的机器学习模型的训练方法中的训练图像及其标注数据的示意图。
[0019]图5示出本公开实施例提供的缺陷检测装置的框图。
[0020]图6示出本公开实施例提供的用于缺陷检测的机器学习模型的训练装置的框图。
[0021]图7示出本公开实施例提供的电子设备1900的框图。
具体实施方式
[0022]以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0023]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0024]本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
[0025]另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
[0026]本公开实施例提供了一种缺陷检测方法、装置、电子设备、存储介质和程序产品，通过获取待检测图像以及所述待检测图像对应的模板图像，获得所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种缺陷检测方法，其特征在于，包括：获取待检测图像以及所述待检测图像对应的模板图像；获得所述待检测图像与所述模板图像的差异图像；根据所述差异图像，确定所述待检测图像中的缺陷的候选框；获得所述候选框在所述模板图像上的第一图像块，以及所述候选框在所述差异图像上的第二图像块；通过预先训练的第一神经网络对所述第一图像块和所述第二图像块进行处理，得到所述候选框对应的缺陷检测结果。2.根据权利要求1所述的方法，其特征在于，所述通过预先训练的第一神经网络对所述第一图像块和所述第二图像块进行处理，得到所述候选框对应的缺陷检测结果，包括：通过预先训练的第一神经网络对所述第一图像块进行处理，得到所述第一图像块对应的第一深度特征；通过所述第一神经网络对所述第二图像块进行处理，得到所述第二图像块对应的第二深度特征；至少根据所述第一深度特征和所述第二深度特征，确定所述候选框对应的缺陷检测结果。3.根据权利要求2所述的方法，其特征在于，所述至少根据所述第一深度特征和所述第二深度特征，确定所述候选框对应的缺陷检测结果，包括：对所述第一图像块和所述第二图像块分别进行灰度统计，得到所述第一图像块对应的第一灰度统计结果和所述第二图像块对应的第二灰度统计结果；至少根据所述第一深度特征、所述第二深度特征、所述第一灰度统计结果和所述第二灰度统计结果，确定所述候选框对应的缺陷检测结果。4.根据权利要求3所述的方法，其特征在于，所述第一灰度统计结果包括：所述第一图像块中灰度值为0的像素数和灰度值为255的像素数；所述第二灰度统计结果包括：所述第二图像块中灰度值为0的像素数和灰度值为255的像素数。5.根据权利要求2所述的方法，其特征在于，所述至少根据所述第一深度特征和所述第二深度特征，确定所述候选框对应的缺陷检测结果，包括：获得所述第一图像块对应的第一轮廓信息，以及所述第二图像块对应的第二轮廓信息；至少根据所述第一深度特征、所述第二深度特征、所述第一轮廓信息和所述第二轮廓信息，确定所述候选框对应的缺陷检测结果。6.根据权利要求5所述的方法，其特征在于，所述第一轮廓信息包括：第一二值化图像块中最大的N个轮廓的几何信息，以及所述第一二值化图像块中的轮廓的数量，其中，N为大于或等于1的整数；所述第二轮廓信息包括：第二二值化图像块中最大的N个轮廓的几何信息，以及所述第二二值化图像块中的轮廓的数量。7.根据权利要求2所述的方法，其特征在于，所述至少根据所述第一深度特征和所述第
二深度特征，确定所述候选框对应的缺陷检测结果，包括：获得所述第一图像块的宽度和高度；至少根据所述第一深度特征、所述第二深度特征、所述宽度和所述高度，确定所述候选框对应的缺陷检测结果。8.根据权利要求2所述的方法，其特征在于，所述至少根据所述第一深度特征和所述第二深度特征，确定所述候选框对应的缺陷检测结果，包括：获得所述第一图像块的梯度信息，以及所述第二图像块的梯度信息；至少根据所述第一深度特征、所述第二深度特征、所述第一图像块的梯度信息和所述第二图像块的梯度信息，确定所述候选框对应的缺陷检测结果。9.根据权利要求2所述的方法，其特征在于，所述至少根据所述第一深度特征和所述第二深度特征，确定所述候选框对应的缺陷检测结果，包括：获得所述第一图像块对应的第一二值化图像块与所述第二图像块对应的第二二值化图像块的差异图像块；获得所述差异图像块的特征信息；至少根据所述第一深度特征、所述第二深度特征和所述差异图像块的特征信息，确定所述候选框对应的缺陷检测结果。10.根据权利要求9所述的方法，其特征在于，所述差异图像块中像素值不为0的像素数包括：所述差异图像块的每行像素中像素值不为0的像素数，以及所述差异图像块的每列像素中像素值不为0的像素数。11.根据权利要求1至10中任意一项所述的方法，其特征在于，所述获得所述待检测图像与所述模板图像的差异图像，包括：对所述待检测图像和所述模板图像分别进行模糊操作，得到所述待检测图像对应的第一模糊图像和所述模板图像对应的第二模糊图像；根据所述第一模糊图像和所述第二模糊图像，确定所述待检测图像与所述模板图像的差异图像。12.根据权利要求11所述的方法，其特征在于，所述根据所述第一模糊图像和所述第二模糊图像，确定所述待检测图像与所述模板图像的差异图像，包括：对所述第一模糊图像和所述第二模糊图像分别进行二值化操作，得...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：摩尔线程智能科技上海有限责任公司，
类型：发明
国别省市：