图像配准与缺陷检测方法、模型、训练方法、装置及设备制造方法及图纸

本申请提供一种图像配准与缺陷检测方法、模型、训练方法、装置及设备，通过将未进行缺陷标记的训练集图片输入图像配准与缺陷检测模型的编码器‑解码器网络中得到第一特征图，然后通过变换参数回归网络，得到配准参数；接着空间变换操作模块基于配准参数，对训练集图片和第一特征图进行空间变换，得到配准图片和配准特征图，将配准特征图输入语义分割网络，得到缺陷热力图。最后根据配准图片、缺陷热力图以及预设的基准图片计算网络损失，并进行反向传播更新参数。这样，即实现了无监督的机器学习，降低了缺陷检测的成本，拓宽了适用范围。此外，可以将缺陷检测和配准工作统一进行处理，不仅可以减少处理时间，还可在保持一致性的同时提高了准确度。

Image registration and defect detection method, model, training method, device and equipment

【技术实现步骤摘要】
图像配准与缺陷检测方法、模型、训练方法、装置及设备
本申请涉及缺陷检测领域，具体而言，涉及一种图像配准与缺陷检测方法、模型、训练方法、装置及设备。
技术介绍
在工业产品加工过程中，由于原材料、轧制设备和工艺等原因，使得生产出的工业产品往往不可避免会出现不同类型的缺陷，常见的缺陷包括划痕，气孔和夹杂物等，这些缺陷不仅影响产品的外观，还会降低产品的耐腐蚀性、耐磨性和疲劳强度等性能，给企业造成巨大的经济损失。如何在生产过程中自动检测出产品缺陷以控制和提高产品质量，是企业十分关注的问题。目前，在工业产品缺陷检测的过程中，通常使用的是有监督的机器学习方法，即通过提供人工标注的准确分割结果的训练集图片训练得到一个缺陷检测模型，进而依据该缺陷检测模型进行缺陷检测。但是该方案，在训练缺陷检测模型时需要提供大量人力资源和时间资源来进行训练集图片的标注，极大地提高了实现产品缺陷检测的成本。
技术实现思路
本申请实施例的目的在于提供一种图像配准与缺陷检测方法、模型、训练方法、装置、设备及存储介质，用以解决目前的缺陷检测模型，需要提供大量人力资源和时间资源来进行训练集图片的标注，极大地提高了实现产品缺陷检测的成本的问题。本申请实施例提供了一种图像配准与缺陷检测模型的训练方法，包括：将未进行缺陷标记的训练集图片输入图像配准与缺陷检测模型的编码器-解码器网络中，以得到所述训练集图片的第一特征图；所述训练集图片中包括针对同一种对象拍摄得到的存在缺陷的图片和不存在缺陷的图片，且所述训练集图片为预设尺寸的灰度图片；将所述第一特征图输入所述图像配准与缺陷检测模型的变换参数回归网络，得到配准参数；所述图像配准与缺陷检测模型的空间变换操作模块基于所述配准参数，对所述训练集图片和所述第一特征图进行空间变换，得到所述训练集图片对应的配准图片和所述第一特征图对应的配准特征图；将所述配准特征图输入所述图像配准与缺陷检测模型的语义分割网络，得到所述配准特征图对应的缺陷热力图；根据所述配准图片、所述缺陷热力图以及预设的基准图片计算网络损失；所述基准图片为与所述训练集图片为同一种对象的不存在缺陷的灰度图片，且所述基准图片的尺寸与所述训练集图片的尺寸相同；根据所述网络损失的计算结果进行反向传播，更新所述图像配准与缺陷检测模型的参数。在上述实现过程中，通过未进行缺陷标记的训练集图片即可实现对图像配准与缺陷检测模型的训练，通过编码器-解码器网络进行特征提取得到第一特征图，然后利用变换参数回归网络，得到配准参数，从而利用该配准参数即可得到各训练集图片配准图片以及各第一特征图对应的配准特征图。而基于配准特征图可以通过语义分割网络得到缺陷热力图，基于配准图片以及预设的基准图片即可确定出实际的缺陷位置，进而确定缺陷热力图的损失程度并进行反向传播，更新图像配准与缺陷检测模型的参数。这样，即实现了无监督的机器学习，工程师只需提供训练集图片，无需进行人工标注，因此节约了人力资源和时间资源，降低了实现产品缺陷检测的成本，拓宽了适用范围。此外，通过上述实现过程训练得到的图像配准与缺陷检测模型，可以在进行缺陷检测的同时，实现对于待检测图片的配准，这样，将缺陷检测和配准工作统一进行处理，不仅可以减少处理时间，同时二者可以互为参照，在保持一致性的同时提高了准确度。进一步地，将所述第一特征图输入所述变换参数回归网络，得到配准参数，包括：通过所述变换参数回归网络的n个卷积与下采样层对所述第一特征图进行n次卷积与下采样操作，得到第二特征图；所述n个卷积与下采样层的通道数与所述第一特征图的通道数一致；所述n为大于等于1的正整数；将所述第二特征图依次通过第一全连接层和第二全连接层，得到所述配准参数；所述第二全连接层的大小等于所需的配准参数的个数。在上述实现过程中，通过n个卷积与下采样层以及两个全连接层，可以有效得到配准所需参数，从而确保进行空间变换后得以得到相应的配准图片和配准特征图。进一步地，所述语义分割网络包括：依次连接的k个卷积与下采样层，以及激活函数；所述k大于等于1；将所述配准特征图输入语义分割网络，得到所述配准特征图对应的缺陷热力图，包括：将所述配准特征图依次通过所述k个卷积与下采样层，得到第三特征图；使用所述激活函数对所述第三特征图进行处理，得到所述配准特征图对应的缺陷热力图。在上述实现过程中，配准特征图依次通过k个卷积与下采样层后得到的第三特征图中，各尺度的特征信息得以汇集，使用激活函数进行处理后，即可得到表征缺陷情况的缺陷热力图。进一步地，根据所述配准图片、所述缺陷热力图以及预设的基准图片计算网络损失，包括：按照下述损失函数计算网络损失：式中：L(A,H,G)为根据所述配准图片、所述缺陷热力图以及预设的基准图片计算得到的网络损失；A表示配准图片、H表示缺陷热力图、G表示基准图片；p表示任一像素点，其在配准图片、缺陷热力图以及基准图片中的值表示为Ap、Hp与Gp；Png为缺陷热力图中热力值处于最高范围内的像素点集合；Pok为缺陷热力图中热力值处于最低范围内的像素点集合；|Pok|表示集合Pok中元素的个数，|Png|表示集合Png中元素的个数；λ为预设的权值。在上述实现过程中，通过公式来计算得到网络损失，可以可靠地预测当前图像配准与缺陷检测模型的可靠性，从而能够准确衡量出图像配准与缺陷检测模型是否足够用于进行缺陷检测。进一步地，所述Png为缺陷热力图中热力值最高的x％的像素点构成的集合；Pok为缺陷热力图中热力值最低的y％的像素点构成的集合；所述x和y为大于0的常数。在上述实现过程中，取缺陷热力图中热力值最高的x％的像素点以及缺陷热力图中热力值最低的y％的像素点来计算网络损失，可以在有效反映缺陷热力图中各像素点为缺陷点的准确度的同时，降低计算量，提高整个模型的训练效率。本申请实施例还提供了一种图像配准与缺陷检测方法，应用于上述任一训练方法训练得到的图像配准与缺陷检测模型中，所述图像配准与缺陷检测方法包括：接收待检测图片；所述图像配准与缺陷检测模型的输入编码器-解码器网络对所述待检测图片进行特征提取，得到所述待检测图片的第一特征图；将所述第一特征图输入所述图像配准与缺陷检测模型的变换参数回归网络，得到配准参数；所述图像配准与缺陷检测模型的空间变换操作模块使用所述配准参数，对所述待检测图片和所述第一特征图进行空间变换，得到所述待检测图片对应的配准图片和所述第一特征图对应的配准特征图；所述图像配准与缺陷检测模型的语义分割网络对所述配准特征图进行处理，得到所述配准特征图对应的缺陷热力图。在上述实现过程中，可以在进行缺陷检测的同时，实现对于待检测图片的配准，将缺陷检测和配准工作统一进行处理，不仅可以减少处理时间，同时二者可以互为参照，在保持一致性的同时提高了准确度。本申请实施例还提供了一种图像配准与缺陷检测模型，包括：编码器-解码器网络，用于对待检测图片进行特征提取，得到所述待检测图片的第一特征图；变换参数回归网络，用于对所述第一特征图进行处理，得到配准参数；空间变本文档来自技高网...

【技术保护点】
1.一种图像配准与缺陷检测模型的训练方法，其特征在于，包括：/n将未进行缺陷标记的训练集图片输入图像配准与缺陷检测模型的编码器-解码器网络中，以得到所述训练集图片的第一特征图；所述训练集图片中包括针对同一种对象拍摄得到的存在缺陷的图片和不存在缺陷的图片，且所述训练集图片为预设尺寸的灰度图片；/n将所述第一特征图输入所述图像配准与缺陷检测模型的变换参数回归网络，得到配准参数；/n所述图像配准与缺陷检测模型的空间变换操作模块基于所述配准参数，对所述训练集图片和所述第一特征图进行空间变换，得到所述训练集图片对应的配准图片和所述第一特征图对应的配准特征图；/n将所述配准特征图输入所述图像配准与缺陷检测模型的语义分割网络，得到所述配准特征图对应的缺陷热力图；/n根据所述配准图片、所述缺陷热力图以及预设的基准图片计算网络损失；所述基准图片为与所述训练集图片为同一种对象的不存在缺陷的灰度图片，且所述基准图片的尺寸与所述训练集图片的尺寸相同；/n根据所述网络损失的计算结果进行反向传播，更新所述图像配准与缺陷检测模型的参数。/n

【技术特征摘要】
1.一种图像配准与缺陷检测模型的训练方法，其特征在于，包括：
将未进行缺陷标记的训练集图片输入图像配准与缺陷检测模型的编码器-解码器网络中，以得到所述训练集图片的第一特征图；所述训练集图片中包括针对同一种对象拍摄得到的存在缺陷的图片和不存在缺陷的图片，且所述训练集图片为预设尺寸的灰度图片；
将所述第一特征图输入所述图像配准与缺陷检测模型的变换参数回归网络，得到配准参数；
所述图像配准与缺陷检测模型的空间变换操作模块基于所述配准参数，对所述训练集图片和所述第一特征图进行空间变换，得到所述训练集图片对应的配准图片和所述第一特征图对应的配准特征图；
将所述配准特征图输入所述图像配准与缺陷检测模型的语义分割网络，得到所述配准特征图对应的缺陷热力图；
根据所述配准图片、所述缺陷热力图以及预设的基准图片计算网络损失；所述基准图片为与所述训练集图片为同一种对象的不存在缺陷的灰度图片，且所述基准图片的尺寸与所述训练集图片的尺寸相同；
根据所述网络损失的计算结果进行反向传播，更新所述图像配准与缺陷检测模型的参数。


2.如权利要求1所述的图像配准与缺陷检测模型的训练方法，其特征在于，将所述第一特征图输入所述变换参数回归网络，得到配准参数，包括：
通过所述变换参数回归网络的n个卷积与下采样层对所述第一特征图进行n次卷积与下采样操作，得到第二特征图；所述n个卷积与下采样层的通道数与所述第一特征图的通道数一致；所述n为大于等于1的正整数；
将所述第二特征图依次通过第一全连接层和第二全连接层，得到所述配准参数；所述第二全连接层的大小等于所需的配准参数的个数。


3.如权利要求1所述的图像配准与缺陷检测模型的训练方法，其特征在于，所述语义分割网络包括：依次连接的k个卷积与下采样层，以及激活函数；所述k大于等于1；
将所述配准特征图输入语义分割网络，得到所述配准特征图对应的缺陷热力图，包括：
将所述配准特征图依次通过所述k个卷积与下采样层，得到第三特征图；
使用所述激活函数对所述第三特征图进行处理，得到所述配准特征图对应的缺陷热力图。


4.如权利要求1-3任一项所述的图像配准与缺陷检测模型的训练方法，其特征在于，根据所述配准图片、所述缺陷热力图以及预设的基准图片计算网络损失，包括：
按照下述损失函数计算网络损失：



式中：L(A，H，G)为根据所述配准图片、所述缺陷热力图以及预设的基准图片计算得到的网络损失；A表示配准图片、H表示缺陷热力图、G表示基准图片；p表示任一像素点，其在配准图片、缺陷热力图以及基准图片中的值表示为Ap、Hp与Gp；Png为缺陷热力图中热力值处于最高范围内的像素点集合；Pok为缺陷热力图中热力值处于最低范围内的像素点集合；|Pok|表示集合Pok中元素的个数，|Png|表示集合Png中元素的个数；λ为预设的权值。


5.如权利要求4所述的图像配准与缺陷检测模型的训练方法，其特征在于，所述Png为缺陷热力图中热力值最高的x％的像素点构成的集合；Pok为缺陷热力图中热力值最低的y％的像素点构成的集合；所述x和y为大于0的常数。


6.一种图像配准与缺陷检测方法，其特征在于，应用于如权利要求1-5任一项所述的方法训练得到的图像配准与缺陷检测模型中，所述图像配准与缺陷检测方法包括：
接收待检测图片；
所述图像配准与缺陷检测模型的输入编码器-解码器网络对所述待检测图片进行特征提取，得到所述待检测图片的第一特征图；
将所述第一特征图输入所述图像配准与缺陷检测模型的变换参数...

【专利技术属性】
技术研发人员：黄家水，王忠强，唐永亮，
申请(专利权)人：创新奇智成都科技有限公司，
类型：发明
国别省市：四川;51