基于人工智能的器件的结构检测方法、装置及电子设备制造方法及图纸

本申请提供了一种基于人工智能的器件的结构检测方法、装置及电子设备；方法包括：对待检测对象的图像进行图像分割处理，得到所述待检测对象的连通域图像；基于所述待检测对象的连通域图像，获取所述待检测对象的第一特征向量；将所述第一特征向量与至少两个第二特征向量进行相似度比对，得到至少两个相似度比对结果，其中，所述第二特征向量为作为所述待检测对象的参考对象的特征向量；对所述至少两个相似度比对结果投票，基于投票结果确定所述待检测对象的连通域是否存在缺陷。本申请提供的基于人工智能的器件的结构检测方法，能够准确、快速地检测连通域是否存在异常。快速地检测连通域是否存在异常。快速地检测连通域是否存在异常。

【技术实现步骤摘要】
基于人工智能的器件的结构检测方法、装置及电子设备


[0001]本申请涉及图像处理技术，尤其涉及基于人工智能的器件的结构检测方法、装置及电子设备。

技术介绍

[0002]在现代工业生产中，利用机械化作业可以有效地减轻或减少人力操作，机械化布局旨在用机器人替代人做一些简单且重复性的操作。随着机械化程度的提高，一些需要人为判断的较高难度的机械操作也在尝试使用机器代替。随着深度学习模型的广泛应用，深度学习模型对器件等对象的缺陷检测率已经超过了人类对器件等对象的缺陷的检测率。利用深度学习模型如何快速、准确地检测对象的连通域是否存在异常是一直追求的目标。

技术实现思路

[0003]本申请实施例提供一种基于人工智能的器件的结构检测方法、装置及电子设备，能够如何快速、准确地检测连通域是否存在缺陷。
[0004]本申请实施例的技术方案是这样实现的：第一方面，本申请实施例提供一种基于人工智能的器件的结构检测方法，包括：对待检测对象的图像进行图像分割处理，得到所述待检测对象的连通域图像；基于所述待检测对象的连通域图像，获取所述待检测对象的第一特征向量；将所述第一特征向量与至少两个第二特征向量进行相似度比对，得到至少两个相似度比对结果，其中，所述第二特征向量为作为所述待检测对象的参考对象的特征向量；对所述至少两个相似度比对结果投票，基于投票结果确定所述待检测对象的连通域是否存在缺陷；每个所述投票结果，用于表征基于任一个所述参考对象确定所述待检测对象的连通域是否存在缺陷；其中，所述连通域图像基于图像分割模型确定，用于训练所述图像分割模型的对象样本图像中包括不存在缺陷的连通域；所述至少两个相似度比对结果基于特征比对模型确定，用于训练所述特征比对模型的正例连通域样本图像集合包括所述对象样本图像。
[0005]在一些实施例中，所述对待检测对象的图像进行图像分割处理，包括：获取所述待检测对象的图像中各像素的特征向量；基于所述各像素的特征向量，确定各像素所属的类别信息；基于各像素所属的类别信息确定所述待检测对象的图像中的连通域图像；基于所述连通域图像的边界对所述待检测对象的图像进行分割。
[0006]在一些实施例中，所述对待检测对象的图像进行图像分割处理之前，所述方法还包括：获取对象样本图像以及所述对象样本图像对应的连通域标签；获取所述对象样本图像中各像素的样本特征向量；
基于所述各像素的样本特征向量，确定各像素所属的样本类别信息；基于各像素所属的样本类别信息确定所述对象样本图像中的连通域样本图像；获取所述连通域标签与所述连通域样本图像之间的差异，并基于所述差异更新所述图像分割模型。
[0007]在一些实施例中，所述获取所述待检测对象的图像中各像素的特征向量，包括：对所述待检测对象的图像中每个像素进行至少两次连续下采样；对每次下采样得到的特征向量分别进行最大池化处理，得到每个像素的特征向量。
[0008]在一些实施例中，所述将所述第一特征向量与至少两个第二特征向量进行相似度比对，得到至少两个相似度比对结果包括：针对每个参考对象的连通域图像分别执行以下操作：将所述第一特征向量中的每个第一向量元素与所述第二特征向量中与所述第一向量元素对应的第二向量元素分别进行比对，得到每个向量元素的相似度；确定全部向量元素的相似度的平均值，将所述平均值作为所述相似度比对结果。
[0009]在一些实施例中，所述将所述第一特征向量与至少两个第二特征向量进行比对之前，所述方法还包括：获取包括不存在缺陷的连通域的正例连通域样本图像集合，以及负例连通域样本图像集合；其中，所述负例连通域样本图像集合中的负例连通域样本包括存在缺陷的连通域或不包括所述连通域；获取所述正例连通域样本图像集合中正例连通域样本图像的正例样本特征向量，以及所述负例连通域样本图像的负例样本特征向量；确定至少两个样本特征向量组及每个所述样本特征向量组包括的第一样本特征向量和第二样本特征向量的相似度标签；将所述第一样本特征向量中的每个第一向量元素样本与所述第二样本特征向量中与所述第一向量元素对应的第二向量元素样本分别进行比对，得到每个向量元素样本的样本相似度；确定全部向量元素样本的样本相似度的平均值；确定所述样本相似度的平均值与所述相似度标签的差异，基于所述差异调整所述特征比对模型的参数。
[0010]在一些实施例中，所述对所述至少两个相似度比对结果投票，基于投票结果确定所述待检测对象的连通域是否存在缺陷包括：对每个所述相似度比对结果进行投票；若投票结果中所述待检测对象的连通域存在缺陷的票数占总的票数的比例大于第一阈值，则确定所述待检测对象的连通域存在缺陷。
[0011]第二方面，本申请实施例提供一种基于人工智能的器件的结构检测装置，包括：图像分割模块，用于对待检测对象的图像进行图像分割处理，得到所述待检测对象的连通域图像；特征向量获取模块，用于基于所述待检测对象的连通域图像，获取所述待检测对象的第一特征向量；
特征比对模块，用于将所述第一特征向量与至少两个第二特征向量进行相似度比对，得到至少两个相似度比对结果，其中，所述第二特征向量为作为所述待检测对象的参考对象的特征向量；检测模块，用于对所述至少两个相似度比对结果投票，基于投票结果确定所述待检测对象的连通域是否存在缺陷；每个所述投票结果，用于表征基于任一个所述参考对象确定所述待检测对象的连通域是否存在缺陷；其中，所述连通域图像基于图像分割模型确定，用于训练所述图像分割模型的对象样本图像中包括不存在缺陷的连通域；所述至少两个相似度比对结果基于特征比对模型确定，用于训练所述特征比对模型的正例连通域样本图像集合包括所述对象样本图像。
[0012]在一些实施例中，所述图像分割模块，用于获取所述待检测对象的图像中各像素的特征向量；基于所述各像素的特征向量，确定各像素所属的类别信息；基于各像素所属的类别信息确定所述待检测对象的图像中的连通域图像；基于所述连通域图像的边界对所述待检测对象的图像进行分割。
[0013]在一些实施例中，所述对待检测对象的图像进行图像分割处理之前，所述图像分割模块还用于：获取对象样本图像以及所述对象样本图像对应的连通域标签；获取所述对象样本图像中各像素的样本特征向量；基于所述各像素的样本特征向量，确定各像素所属的样本类别信息；基于各像素所属的样本类别信息确定所述对象样本图像中的连通域样本图像；获取所述连通域标签与所述连通域样本图像之间的差异，并基于所述差异更新所述图像分割模型。
[0014]在一些实施例中，所述图像分割模块，用于对所述待检测对象的图像中每个像素进行至少两次连续下采样；对每次下采样得到的特征向量分别进行最大池化处理，得到每个像素的特征向量。
[0015]在一些实施例中，针对每个参考对象的连通域图像分别执行以下操作：所述特征比对模块，用于将所述第一特征向量中的每个第一向量元素与所述第二特征向量中与所述第一向量元素对应的第二向量元素分别进行比对，得到每个向量元素的相似度；确定全部向量元素的相似度的平均值，将所述平均值作为所述相似度比对结果。...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的器件的结构检测方法，其特征在于，所述方法包括：对待检测对象的图像进行图像分割处理，得到所述待检测对象的连通域图像；基于所述待检测对象的连通域图像，获取所述待检测对象的第一特征向量；将所述第一特征向量与至少两个第二特征向量进行相似度比对，得到至少两个相似度比对结果，其中，所述第二特征向量为作为所述待检测对象的参考对象的特征向量；对所述至少两个相似度比对结果投票，基于投票结果确定所述待检测对象的连通域是否存在缺陷；每个所述投票结果，用于表征基于任一个所述参考对象确定所述待检测对象的连通域是否存在缺陷；其中，所述连通域图像基于图像分割模型确定，用于训练所述图像分割模型的对象样本图像中包括不存在缺陷的连通域；所述至少两个相似度比对结果基于特征比对模型确定，用于训练所述特征比对模型的正例连通域样本图像集合包括所述对象样本图像。2.根据权利要求1所述的方法，其特征在于，所述对待检测对象的图像进行图像分割处理，包括：获取所述待检测对象的图像中各像素的特征向量，所述待检测对象的图像为二值化图像；基于所述各像素的特征向量，确定各像素所属的类别信息；基于各像素所属的类别信息确定所述待检测对象的图像中的连通域图像；基于所述连通域图像的边界对所述待检测对象的图像进行分割。3.根据权利要求1所述的方法，其特征在于，所述对待检测对象的图像进行图像分割处理之前，所述方法还包括：获取对象样本图像以及所述对象样本图像对应的连通域标签；获取所述对象样本图像中各像素的样本特征向量；基于所述各像素的样本特征向量，确定各像素所属的样本类别信息；基于各像素所属的样本类别信息确定所述对象样本图像中的连通域样本图像；获取所述连通域标签与所述连通域样本图像之间的差异，并基于所述差异更新所述图像分割模型。4.根据权利要求2所述的方法，其特征在于，所述获取所述待检测对象的图像中各像素的特征向量，包括：对所述待检测对象的图像中每个像素进行至少两次连续下采样；对每次下采样得到的特征向量分别进行最大池化处理，得到每个像素的特征向量。5.根据权利要求1所述的方法，其特征在于，所述将所述第一特征向量与至少两个第二特征向量进行相似度比对，得到至少两个相似度比对结果包括：针对每个所述参考对象的连通域图像分别执行以下操作：将所述第一特征向量中的每个第一向量元素与所述第二特征向量中与所述第一向量元素对应的第二向量元素分别进行比对，得到每个向量元素的相似度；确定全部向量元素的相似度的平均值，将所述平均值作为所述相似度比对结果。6.根据权利要求5所述的方法，其特征在于，所述将所述第一特征向量与至...

【专利技术属性】
技术研发人员：朱辉，李晶，周璐，
申请(专利权)人：浙江华睿科技股份有限公司，
类型：发明
国别省市：