缺陷检测识别方法、装置、计算机可读介质及电子设备制造方法及图纸

本申请的实施例提供了一种缺陷检测识别方法、装置、计算机可读介质及电子设备。该缺陷检测识别方法包括：获取目标产品图像；将所述目标产品图像与所述目标产品图像对应的模板图像进行匹配处理，得到所述目标产品图像的第一缺陷图；通过神经网络模型对所述目标产品图像进行缺陷检测处理，得到所述目标产品图像对应的第二缺陷图；结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷。本申请实施例的技术方案可以提高质检结果的准确性，同时也能够替代人工质检，有效提高了质检效率。

【技术实现步骤摘要】
缺陷检测识别方法、装置、计算机可读介质及电子设备
本申请涉及计算机及通信
，具体而言，涉及一种缺陷检测识别方法、装置、计算机可读介质及电子设备。
技术介绍
缺陷检测识别在工业生产制造和质量监测等领域都有着广泛的应用，如液晶面板缺陷识别、工件表面质量检测、布匹表面瑕疵识别、航空航天器材质量检测等。通过缺陷检测，可以发现产品表面存在的缺陷，供维修人员及时修正以保证产品质量，为准确判断产品质量是否合格、选择何种工序进行维修等，通常需要在得到疑似包括了产品缺陷的目标产品图像后，对目标产品图像进行仔细分析和精细识别。然而，目前主要都是通过人工质检的方式来保证质检结果的准确性，这种方式成本较高，且效率较低。
技术实现思路
本申请的实施例提供了一种缺陷检测识别方法、装置、计算机可读介质及电子设备，进而至少在一定程度上可以提高质检结果的准确性，同时也能够替代人工质检，有效提高了质检效率。本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。根据本申请实施例的一个方面，提供了一种缺陷检测识别方法，包括：获取目标产品图像；将所述目标产品图像与所述目标产品图像对应的模板图像进行匹配处理，得到所述目标产品图像的第一缺陷图；通过神经网络模型对所述目标产品图像进行缺陷检测处理，得到所述目标产品图像对应的第二缺陷图；结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷。根据本申请实施例的一个方面，提供了一种缺陷检测识别装置，包括：获取单元，配置为获取目标产品图像；第一处理单元，配置为将所述目标产品图像与所述目标产品图像对应的模板图像进行匹配处理，得到所述目标产品图像的第一缺陷图；第二处理单元，配置为通过神经网络模型对所述目标产品图像进行缺陷检测处理，得到所述目标产品图像对应的第二缺陷图；识别单元，配置为结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷。在本申请的一些实施例中，基于前述方案，所述识别单元配置为：若所述第一缺陷图和所述第二缺陷图中仅有一个缺陷图中包含有缺陷，则根据包含有缺陷的缺陷图确定所述目标产品图像中所包含的缺陷；若所述第一缺陷图和所述第二缺陷图中均包含有缺陷，则根据所述第一缺陷图或所述第二缺陷图确定所述目标产品图像中所包含的缺陷；若所述第一缺陷图和所述第二缺陷图中均不包含缺陷，则确定所述目标产品图像中不包含有缺陷。在本申请的一些实施例中，基于前述方案，所述识别单元配置为：将所述第一缺陷图和所述第二缺陷图进行叠加，生成组合缺陷图；若所述组合缺陷图中包含有缺陷，则根据所述组合缺陷图确定所述目标产品图像中所包含的缺陷；若所述组合缺陷图中不包含缺陷，则确定所述目标产品图像中不包含有缺陷。在本申请的一些实施例中，基于前述方案，所述的缺陷检测识别装置还包括：标识单元，配置为根据所述目标产品图像中所包含的缺陷，标识出所述目标产品图像中的缺陷连通区域；确定单元，配置为根据所述缺陷连通区域的前景图和所述目标产品图像中所包含的指定元件的前景图，确定所述指定元件与所述缺陷连通区域在视觉上的重叠程度；第三处理单元，配置为基于所述指定元件与所述缺陷连通区域在视觉上的重叠程度，确定所述目标产品图像中是否存在断线，或确定所述目标产品图像中是否存在短路。在本申请的一些实施例中，基于前述方案，所述确定单元配置为：根据所述缺陷连通区域的前景图和所述指定元件的前景图，构建所述指定元件对应的相交矩阵，所述相交矩阵用于表示所述指定元件与所述缺陷连通区域在视觉上的重叠程度，所述相交矩阵中的元素表示如下：其中，Aij表示第j个缺陷连通区域与所述指定元件的第i个实例在视觉上的重叠程度；Si表示所述指定元件的第i个实例的前景图；Sj表示第j个缺陷连通区域的前景图。在本申请的一些实施例中，基于前述方案，所述第三处理单元配置为：针对所述指定元件的第i个实例，对所述相交矩阵的行元素进行求和，若所述行元素的和值大于或等于设定值，则确定所述第i个实例存在断线；或者针对第j个缺陷连通区域，对所述相交矩阵的列元素进行求和，若所述列元素的和值大于或等于设定值，则确定所述指定元件的实例在所述第j个缺陷连通区域存在断线；或者若所述指定元件的第i个实例与第j个缺陷连通区域在视觉上的重叠程度大于或等于设定值，则确定所述第i个实例在所述第j个缺陷连通区域处存在断线。在本申请的一些实施例中，基于前述方案，所述第三处理单元配置为：对所述目标产品图像中的第一元件对应的相交矩阵和第二元件对应的相交矩阵的转置进行求积运算，得到目标矩阵；计算所述目标矩阵所包含的各个元素的和值；若所述第一元件对应的相交矩阵和所述第二元件对应的相交矩阵不相同，则在所述目标矩阵所包含的各个元素的和值为0的情况下，确定所述目标产品图像中不存在短路。在本申请的一些实施例中，基于前述方案，所述第三处理单元还配置为：若所述第一元件对应的相交矩阵和所述第二元件对应的相交矩阵相同，则计算所述目标矩阵所包含的各个元素的和值与所述目标矩阵的迹之间的差值；在所述差值为0的情况下，确定所述目标产品图像中不存在短路。在本申请的一些实施例中，基于前述方案，所述的缺陷检测识别装置还包括：定位单元，配置为定位所述目标产品图像中所包含的种子区域；第四处理单元，配置为基于所述目标产品图像在设计时的周期信息与所述种子区域之间的对应关系，确定所述目标产品图像中所包含的各个元件的位置。在本申请的一些实施例中，基于前述方案，所述第四处理单元还配置为：根据从所述目标产品图像中所识别出的缺陷，从所述目标产品图像中排除存在缺陷的区域，得到处理后的图像；基于所述处理后的图像估计所述目标产品图像在设计时的周期信息。在本申请的一些实施例中，基于前述方案，所述的缺陷检测识别装置还包括模板生成单元，所述模板生成单元配置为：获取在所述目标产品图像中所标识出的各个元件的信息；根据所述各个元件的信息生成所述各个元件对应的候选模板；基于所述各个元件对应的候选模板在所述目标产品图像中进行匹配，得到所述各个元件对应的分值图；根据所述各个元件对应的分值图，从所述目标产品图像中选择出至少两个元件；将所述至少两个元件分别对应的候选模板进行合并，以生成所述目标产品图像对应的模板图像。在本申请的一些实施例中，基于前述方案，所述第二处理单元配置为：获取所述目标产品图像所包含的目标元件的掩膜；根据所述目标元件的掩膜，调整所述目标元件所在位置对应的敏感阈值，所述敏感阈值用于所述神经网络模型识别所述目标产品图像中的感兴趣区域；基于所述敏感阈值，通过神经网络模型检测所述目标产品图像中的缺陷。根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的缺陷检测识别方法。根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个本文档来自技高网...

【技术保护点】
1.一种缺陷检测识别方法，其特征在于，包括：/n获取目标产品图像；/n将所述目标产品图像与所述目标产品图像对应的模板图像进行匹配处理，得到所述目标产品图像的第一缺陷图；/n通过神经网络模型对所述目标产品图像进行缺陷检测处理，得到所述目标产品图像对应的第二缺陷图；/n结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷。/n

【技术特征摘要】
1.一种缺陷检测识别方法，其特征在于，包括：
获取目标产品图像；
将所述目标产品图像与所述目标产品图像对应的模板图像进行匹配处理，得到所述目标产品图像的第一缺陷图；
通过神经网络模型对所述目标产品图像进行缺陷检测处理，得到所述目标产品图像对应的第二缺陷图；
结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷。


2.根据权利要求1所述的缺陷检测识别方法，其特征在于，结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷，包括：
若所述第一缺陷图和所述第二缺陷图中仅有一个缺陷图中包含有缺陷，则根据包含有缺陷的缺陷图确定所述目标产品图像中所包含的缺陷；
若所述第一缺陷图和所述第二缺陷图中均包含有缺陷，则根据所述第一缺陷图或所述第二缺陷图确定所述目标产品图像中所包含的缺陷；
若所述第一缺陷图和所述第二缺陷图中均不包含缺陷，则确定所述目标产品图像中不包含有缺陷。


3.根据权利要求1所述的缺陷检测识别方法，其特征在于，结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷，包括：
将所述第一缺陷图和所述第二缺陷图进行叠加，生成组合缺陷图；
若所述组合缺陷图中包含有缺陷，则根据所述组合缺陷图确定所述目标产品图像中所包含的缺陷；
若所述组合缺陷图中不包含缺陷，则确定所述目标产品图像中不包含有缺陷。


4.根据权利要求1所述的缺陷检测识别方法，其特征在于，在识别所述目标产品图像中所包含的缺陷之后，所述缺陷检测识别方法还包括：
根据所述目标产品图像中所包含的缺陷，标识出所述目标产品图像中的缺陷连通区域；
根据所述缺陷连通区域的前景图和所述目标产品图像中所包含的指定元件的前景图，确定所述指定元件与所述缺陷连通区域在视觉上的重叠程度；
基于所述指定元件与所述缺陷连通区域在视觉上的重叠程度，确定所述目标产品图像中是否存在断线，或确定所述目标产品图像中是否存在短路。


5.根据权利要求4所述的缺陷检测识别方法，其特征在于，根据所述缺陷连通区域的前景图和所述目标产品图像中所包含的指定元件的前景图，确定所述指定元件与所述缺陷连通区域在视觉上的重叠程度，包括：
根据所述缺陷连通区域的前景图和所述指定元件的前景图，构建所述指定元件对应的相交矩阵，所述相交矩阵用于表示所述指定元件与所述缺陷连通区域在视觉上的重叠程度，所述相交矩阵中的元素表示如下：



其中，Aij表示第j个缺陷连通区域与所述指定元件的第i个实例在视觉上的重叠程度；Si表示所述指定元件的第i个实例的前景图；Sj表示第j个缺陷连通区域的前景图。


6.根据权利要求5所述的缺陷检测识别方法，其特征在于，确定所述目标产品图像中是否存在断线，包括：
针对所述指定元件的第i个实例，对所述相交矩阵的行元素进行求和，若所述行元素的和值大于或等于设定值，则确定所述第i个实例存在断线；或者
针对第j个缺陷连通区域，对所述相交矩阵的列元素进行求和，若所述列元素的和值大于或等于设定值，则确定所述指定元件的实例在所述第j个缺陷连通区域存在断线；或者
若所述指定元件的第i个实例与第j个缺陷连通区域在视觉上的重叠程度大于或等于设定值，则确定所述第i个实例在所述第j个缺陷连通区域处存在断线。


7.根据权利要求5所述的缺陷检...

【专利技术属性】
技术研发人员：石康，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44