缺陷检测及相关模型的训练方法、电子设备和存储装置制造方法及图纸

本申请公开了一种缺陷检测及相关模型的训练方法、电子设备和存储装置，其中缺陷检测方法包括：获取待测物件的多个图像；对多个图像进行特征提取，得到包含多个图像的特征信息的融合特征图；利用融合特征图，得到关于待测物件缺陷的检测结果；其中，待测物件的任一部分对应于多个图像的同一区域，且多个图像满足以下至少一个条件：至少两个图像是在不同波长的光源照射下拍摄得到的，至少两个图像是在摄像机的光轴与光源的入射方向呈不同夹角状态下拍摄的。上述方案，能够提高缺陷检测的准确性。

【技术实现步骤摘要】
缺陷检测及相关模型的训练方法、电子设备和存储装置
本申请涉及机器视觉
，特别是涉及一种缺陷检测及相关模型的训练方法、电子设备和存储装置。
技术介绍
近年来，随着计算机信息技术的快速发展，计算机技术在诸如电子产品制造、汽车制造、印刷包装等场景中，发挥着越来越重要的作用。在诸多场景中，利用机器视觉进行缺陷检测，能够加速生产信息化，并指导企业对生产环节及时有效地进行干预，有利于降本增效，提高产品良品率。有鉴于此，如何提高缺陷检测的准确性成为极具研究价值的课题。
技术实现思路
本申请主要解决的技术问题是提供一种缺陷检测及相关模型的训练方法、电子设备和存储装置，能够提高缺陷检测的准确性。为了解决上述问题，本申请第一方面提供了一种缺陷检测方法，包括：获取待测物件的多个图像；对多个图像进行特征提取，得到包含多个图像的特征信息的融合特征图；利用融合特征图，得到关于待测物件缺陷的检测结果；其中，待测物件的任一部分对应于多个图像的同一区域，且多个图像满足以下至少一个条件：至少两个图像是在不同波长的光源照射下拍摄得到的，至少两个图像是在摄像机的光轴与光源的入射方向呈不同夹角状态下拍摄的。为了解决上述问题，本申请第二方面提供了一种缺陷检测模型的训练方法，包括：获取样本物件的多个样本图像；其中，多个样本图像中均标注有关于样本物件缺陷的实际结果；利用缺陷检测模型的融合子网络对多个样本图像进行特征提取，得到包含多个样本图像的特征信息的样本融合特征图；利用缺陷检测模型的检测子网络处理样本融合特征图，得到关于样本物件缺陷的预测结果；利用实际结果和预测结果的差异，调整缺陷检测模型的网络参数；其中，样本物件的任一部分对应于多个样本图像的同一区域，且多个样本图像满足以下至少一个条件：至少两个样本图像是在不同波长的光源照射下拍摄得到的，至少两个样本图像是在不同入射方向的光源照射下拍摄得到的。为了解决上述问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的缺陷检测方法，或实现上述第二方面中的缺陷检测模型的训练方法。为了解决上述问题，本申请第四方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的缺陷检测方法，或实现上述第二方面中的缺陷检测模型的训练方法。上述方案，通过获取待测物件的多个图像，且待测物件的任一部分对应于多个图像的同一区域，此外多个图像满足以下至少一个条件：至少两个图像是在不同波长的光源照射下拍摄得到的，至少两个图像是在摄像机的光轴与光源的入射方向呈不同夹角状态下拍摄的，在此基础上再对多个图像进行特征提取，得到包含多个图像的特征信息的融合特征图，从而利用融合特征图，得到关于待测物件缺陷的检测结果，由于多个图像为多角度成像和/或多光源成像，故对多个图像所提取到的融合特征图包含多角度图像的特征信息和/或多光源图像的特征信息，进而能够大大提高融合特征图的特征丰富度，能够提高缺陷检测的准确性。附图说明图1是本申请缺陷检测方法一实施例的流程示意图；图2是待测物件、摄像机和光源一实施例的位置示意图；图3是图1中多个图像的示意图；图4是本申请缺陷检测方法一实施例的状态示意图；图5是图1中步骤S12一实施例的流程示意图；图6是图4中输入支路二一实施例的框架示意图；图7是本申请缺陷检测模型的训练方法一实施例的流程示意图；图8是本申请电子设备一实施例的框架示意图；图9是本申请存储装置一实施例的框架示意图。具体实施方式下面结合说明书附图，对本申请实施例的方案进行详细说明。以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。请参阅图1，图1是本申请缺陷检测方法一实施例的流程示意图。具体而言，可以包括如下步骤：步骤S11：获取待测物件的多个图像。本公开实施例中，待测物件具体可以根据实际应用场景进行设置。例如，在电子产品制造场景中，待测物件可以包括但不限于：屏幕、外壳、LED(LightEmittingDiode，发光二极管)等等；或者，在汽车制造场景中，待测物件可以包括但不限于：挡风玻璃、后视镜、钣金零件等等；或者，在印刷包装等场景中，待测物件可以包括但不限于：包装盒、包装袋等等，在此不做限定。其他场景可以以此类推，在此不再一一举例。本公开实施例中，待测物件的任一部分对应于多个图像的同一区域。以待测物件为矩形物件为例，矩形物件包括A、B、C、D共四个角点，角点A可以对应于多个图像的左上角、角点B可以对应于多个图像的右上角、角点C可以对应于多个图像的右下角、角点D可以对应于多个图像的左下角。其他情况可以以此类推，在此不再一一举例。此外，本公开实施例中，多个图像满足以下至少一个条件：至少两个图像是在不同波长的光源照射下拍摄得到的，至少两个图像是在摄像机的光轴与光源的入射方向呈不同夹角状态下拍摄的。在一个实施场景中，不同波长的光源可以包括但不限于：白光源(如，LED灯、节能灯、卤素灯等等)、紫外光源(如，紫外线高压汞灯、紫外线氙灯、紫外线金属卤化物灯等等)，在此不做限定。例如，多个图像中包括图像1和图像2，其中，图像1可以是在白光源照射下拍摄得到的，而图像2可以是在紫外光源照射下拍摄得到的；或者，图像1可以是在紫外光源照射下拍摄得到的，而图像2可以是在白光源照射下拍摄得到的，在此不做限定。在多个图像包括其他数量(如，3个、4个等等)的图像的情况可以以此类推，在此不再一一举例。通过改变光源波长能够在待测物件存在缺陷的情况下，使得多个图像中所呈现出缺陷具有不同的成像特点，从而能够有利于提高后续缺陷检测的准确性。在另一个实施场景中，请结合参阅图2，图2是待测物件、摄像机和光源一实施例的位置示意图。如图2所示，虚线A表示摄像机光轴，虚线B1、B2表示光源入射方向。在一个具体的实施场景中，为了使得多张图像堆叠后，不同图像中待测物件的边缘能够对齐，在拍摄过程中，可以保持摄像机的位置不变，并改变光源的位置，以调整摄像头的光轴与光源入射方向之间的夹角。请结合参阅图2，光源可以以入射方向B1照射，此时光源入射方向与摄像机光轴A之间的夹角为θ1，光源也可以改变其入射方向为B2，此时光源入射方向与摄像机光轴A之间的夹角为θ2，由于摄像机位置未发生改变，故摄像机在上述两种情况下所拍摄到的图像堆叠后，两者中待测物件的边缘能够对齐，从而能够使得待测物件的任一部分对应于两者的同一区域。此外，在待测物件表面存本文档来自技高网...

【技术保护点】
1.一种缺陷检测方法，其特征在于，包括：/n获取待测物件的多个图像；/n对所述多个图像进行特征提取，得到包含所述多个图像的特征信息的融合特征图；/n利用所述融合特征图，得到关于所述待测物件缺陷的检测结果；/n其中，所述待测物件的任一部分对应于所述多个图像的同一区域，且所述多个图像满足以下至少一个条件：至少两个所述图像是在不同波长的光源照射下拍摄得到的，至少两个所述图像是在摄像机的光轴与光源的入射方向呈不同夹角状态下拍摄的。/n

【技术特征摘要】
1.一种缺陷检测方法，其特征在于，包括：
获取待测物件的多个图像；
对所述多个图像进行特征提取，得到包含所述多个图像的特征信息的融合特征图；
利用所述融合特征图，得到关于所述待测物件缺陷的检测结果；
其中，所述待测物件的任一部分对应于所述多个图像的同一区域，且所述多个图像满足以下至少一个条件：至少两个所述图像是在不同波长的光源照射下拍摄得到的，至少两个所述图像是在摄像机的光轴与光源的入射方向呈不同夹角状态下拍摄的。


2.根据权利要求1所述的方法，其特征在于，所述对所述多个图像进行特征提取，得到包含所述多个图像的特征信息的融合特征图，包括：
分别对每一所述图像进行特征提取，得到对应所述图像的顺序排列的至少一个第一特征图；
在所述多个图像的至少一个第一特征图中，分别选取排序相同的第一特征图，作为特征图组合；
基于所述特征图组合，得到所述融合特征图。


3.根据权利要求2所述的方法，其特征在于，所述特征提取是由编码器执行的，所述编码器包括顺序排列的至少一个卷积核；
所述分别对每一所述图像进行特征提取，得到对应所述图像的顺序排列的至少一个第一特征图，包括：
将每一所述图像分别输入对应一个编码器进行特征提取，得到对应于所述编码器中每一卷积核的第一特征图；
所述在所述多个图像的至少一个第一特征图中，分别选取排序相同的第一特征图，作为特征图组合包括：
将各个所述编码器中排序相同的卷积核提取到的第一特征图，作为所述特征图组合。


4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述多个图像进行融合处理，得到第一融合图像；
对所述第一融合图像进行特征提取，得到第一融合特征图；
所述基于所述特征图组合，得到所述融合特征图，包括：
将对每一所述特征图组合提取得到的第二特征图进行融合处理，得到第二融合图像；
对所述第二融合图像进行特征提取，得到第二融合特征图；
将所述第一融合特征图和所述第二融合特征图进行融合处理，得到所述融合特征图。


5.根据权利要求1所述的方法，其特征在于，所述检测结果包括以下至少一者：所述待测物件的缺陷类型、所述待测物件的缺陷区域。


6.根据权利要求1所述的方法，其特征在于，在所述检测结果包括所述待测物件的缺陷类型的情况下，所述利用所述融合特征图，得到关于所述待测物件缺陷的检测结果，包括：
对所述融合特征图进行特征映射，得到融合特征表示；
获取所述融合特征表示分别与多种预设缺陷类型的预设特征表示之间的特征相似度；
将满足预设条件的特征相似度对应的预设缺陷类型，作为所述待测物件的缺陷...

【专利技术属性】
技术研发人员：陈茂东，李翼，彭程，程大龙，
申请(专利权)人：科大讯飞华南人工智能研究院广州有限公司，
类型：发明
国别省市：广东;44