一种缺陷检测方法、装置、电子设备和存储介质制造方法及图纸

本申请涉及缺陷检测技术领域，尤其涉及一种缺陷检测方法、装置、电子设备和存储介质，用以提高缺陷检测效率和准确率。其中，方法包括：获取待检测对象对应的待检测图像，和待检测图像对应的法向量图像，其中，待检测图像是通过对待检测对象进行全光拍摄获得的；基于待检测图像和法向量图像进行至少三轮特征抽取，并对最后一轮特征抽取获得的两个待融合特征进行级联，获得目标融合特征；基于目标融合特征对待检测图像进行缺陷检测，获得至少一个候选缺陷区域。由于本申请通过基于待检测图像和法向量图像获得目标融合特征，并基于目标融合特征获得候选缺陷区域，无需人工进行缺陷检测，能够有效提高缺陷检测的效率和准确率。够有效提高缺陷检测的效率和准确率。够有效提高缺陷检测的效率和准确率。

【技术实现步骤摘要】
一种缺陷检测方法、装置、电子设备和存储介质


[0001]本申请涉及缺陷检测
，尤其涉及一种缺陷检测方法、装置、电子设备和存储介质。

技术介绍

[0002]在现代工业制造中，企业所生产的各类零部件中不可避免会有一定概率出现不良品。一方面，为保证产品质量，企业必须将不良品检出以进行后续处理；另一方面，找到不良品并且分析各类缺陷形态特征及占比，对于改良生产工艺、提高产线良率至关重要。
[0003]在相关技术中，企业多采用雇佣工人进行人工观察的方式对产品进行缺陷检测。然而，基于人工观察的方式进行缺陷检测，首先，由于一些缺陷通常仅具有非常小的空间尺寸，难以轻易观察到缺陷，观察每个缺陷都需要花费大量时间，检测效率较低；其次，由于人工观察的方式要做到仅凭肉眼对缺陷进行判定，而不同工人对缺陷的判定存在较大的主观差异性，容易出现误检、漏检等情况，因此导致检测误差较大，准确率低。
[0004]因此，如何提高缺陷检测的效率和准确率成为目前亟待解决的问题。

技术实现思路

[0005]本申请实施例提供一种缺陷检测方法、装置、电子设备和存储介质，用以提高缺陷检测的效率和准确率。
[0006]本申请实施例提供的一种缺陷检测方法，包括：
[0007]获取待检测对象对应的待检测图像，和所述待检测图像对应的法向量图像，其中，所述待检测图像是通过对所述待检测对象进行全光拍摄获得的，所述法向量图像中的各像素点的像素值为所述待检测图像中对应的像素点的法向量坐标，所述法向量坐标用于表征相应的像素点对应的所述待检测对象表面的对象点的朝向；
[0008]基于所述待检测图像和所述法向量图像进行至少三轮特征抽取，并对最后一轮特征抽取获得的两个待融合特征进行级联，获得目标融合特征；
[0009]基于所述目标融合特征对所述待检测图像进行缺陷检测，获得至少一个候选缺陷区域。
[0010]本申请实施例提供的一种缺陷检测装置，包括：
[0011]获取单元，用于获取待检测对象对应的待检测图像，和所述待检测图像对应的法向量图像，其中，所述待检测图像是通过对所述待检测对象进行全光拍摄获得的，所述法向量图像中的各像素点的像素值为所述待检测图像中对应的像素点的法向量坐标，所述法向量坐标用于表征相应的像素点对应的所述待检测对象表面的对象点的朝向；
[0012]抽取单元，用于基于所述待检测图像和所述法向量图像进行至少三轮特征抽取，并对最后一轮特征抽取获得的两个待融合特征进行级联，获得目标融合特征；
[0013]检测单元，用于基于所述目标融合特征对所述待检测图像进行缺陷检测，获得至少一个候选缺陷区域。
[0014]可选的，所述装置还包括确定单元，用于：
[0015]针对各候选缺陷区域，分别执行以下操作：
[0016]基于一个候选缺陷区域内的各像素点各自的法向量坐标，确定所述各像素点各自的深度值；
[0017]若各深度值中存在大于预设深度阈值的深度值，则将所述一个候选缺陷区域作为目标缺陷区域。
[0018]可选的，所述确定单元具体用于：
[0019]基于各像素点在所述一个候选缺陷区域内的位置，对所述各像素点进行划分，获得各边界像素点和各中间像素点；
[0020]分别将所述各边界像素点各自的深度值，设置为对应的预设值；
[0021]分别基于所述各中间像素点的各自的法向量坐标和关联点的深度值，确定所述各像素点各自的深度值，其中，一个中间像素点的关联点为与所述一个中间像素点之间的位置关系符合预设位置关系的像素点。
[0022]可选的，所述抽取单元具体用于：
[0023]在一轮特征抽取中，执行以下步骤：
[0024]基于特征提取网络分别对两个输入数据进行特征提取，获得所述两个输入数据各自对应的输入特征；
[0025]基于特征融合网络分别对两个输入特征进行特征融合，获得所述两个输入特征各自对应的初始融合特征；
[0026]其中，若所述一轮特征抽取为第一轮特征抽取，则所述两个输入数据为所述待检测图像和所述法向量图，否则，所述两个输入数据为上一轮特征抽取输出的两个初始融合特征。
[0027]可选的，所述特征提取网络包括图像特征提取层和法向量特征提取层，所述特征融合层包括图像特征融合层和法向量特征融合层；
[0028]则所述抽取单元具体用于：
[0029]基于所述图像特征提取层对图像输入数据进行特征提取，获得图像融合特征，所述图像输入数据为所述待检测图像或上一轮特征抽取中所述图像特征融合层输出的初始融合特征；
[0030]基于所述法向量特征提取层对法向量输入数据进行特征提取，获得法向量融合特征，所述法向量输入数据为所述法向量图像或上一轮特征抽取中所述法向量特征融合层输出的初始融合特征。
[0031]可选的，所述抽取单元具体用于：
[0032]基于所述图像特征融合层对所述图像融合特征和所述法向量融合特征进行图像特征融合，获得第一融合特征；
[0033]将所述第一融合特征与所述图像融合特征进行级联，获得所述图像融合特征对应的初始融合特征；
[0034]基于所述法向量特征融合层对所述图像融合特征和所述法向量融合特征进行法向量特征融合，获得第二融合特征；
[0035]将所述第二融合特征与所述法向量融合特征进行级联，获得所述法向量融合特征
对应的初始融合特征。
[0036]可选的，所述获取单元具体用于：在获取所述待检测图像之后，获取所述法向量图像之前，通过以下方式获得所述待检测图像中各像素点各自的法向量坐标：
[0037]分别采用从候选光源集中选取的至少三个偏光光源，对所述待检测对象进行拍摄，获得至少三个偏光图像，所述候选光源集中的各候选光源分别对应不同方向；
[0038]基于所述至少三个偏光图像中的各像素点的像素值，获得所述待检测图像中各像素点各自对应的法向量坐标。
[0039]可选的，所述获取单元具体用于：
[0040]将所述待检测图像中各像素点各自的像素值替换为对应的法向量坐标，并进行图像绘制，获得所述法向量图像。
[0041]可选的，所述抽取单元具体用于：
[0042]对所述图像融合特征进行特征映射，获得图像融合向量；
[0043]对所述法向量融合特征进行特征映射，获得第一融合向量和第二融合向量；
[0044]对所述图像融合向量、所述第一融合向量和第二融合向量进行图像特征融合，获得第一融合特征。
[0045]可选的，所述抽取单元具体用于：
[0046]对所述图像融合特征进行特征映射，获得第三融合向量和第四融合向量；
[0047]对所述法向量融合特征进行特征映射，获得法向量融合向量；
[0048]对所述第三融合向量、所述第四融合向量和所述法向量融合向量进行法向量特征融合，获得所述第二融合特征。
[0049]本申请实施例提供的一种电子设备，包括处理器和存储器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种缺陷检测方法，其特征在于，所述方法包括：获取待检测对象对应的待检测图像，和所述待检测图像对应的法向量图像，其中，所述待检测图像是通过对所述待检测对象进行全光拍摄获得的，所述法向量图像中的各像素点的像素值为所述待检测图像中对应的像素点的法向量坐标，所述法向量坐标用于表征相应的像素点对应的所述待检测对象表面的对象点的朝向；基于所述待检测图像和所述法向量图像进行至少三轮特征抽取，并对最后一轮特征抽取获得的两个待融合特征进行级联，获得目标融合特征；基于所述目标融合特征对所述待检测图像进行缺陷检测，获得至少一个候选缺陷区域。2.如权利要求1所述的方法，其特征在于，在所述基于所述目标融合特征对所述待检测图像进行缺陷检测，获得所述待检测对象中的至少一个候选缺陷区域之后，还包括：针对各候选缺陷区域，分别执行以下操作：基于一个候选缺陷区域内的各像素点各自的法向量坐标，确定所述各像素点各自的深度值；若各深度值中存在大于预设深度阈值的深度值，则将所述一个候选缺陷区域作为目标缺陷区域。3.如权利要求2所述的方法，其特征在于，所述基于一个候选缺陷区域内的各像素点各自的法向量坐标，确定所述各像素点各自的深度值，包括：基于各像素点在所述一个候选缺陷区域内的位置，对所述各像素点进行划分，获得各边界像素点和各中间像素点；分别将所述各边界像素点各自的深度值，设置为对应的预设值；分别基于所述各中间像素点的各自的法向量坐标和关联点的深度值，确定所述各像素点各自的深度值，其中，一个中间像素点的关联点为与所述一个中间像素点之间的位置关系符合预设位置关系的像素点。4.如权利要求1、2或3所述的方法，其特征在于，在一轮特征抽取中，执行以下步骤：基于特征提取网络分别对两个输入数据进行特征提取，获得所述两个输入数据各自对应的输入特征；基于特征融合网络分别对两个输入特征进行特征融合，获得所述两个输入特征各自对应的初始融合特征；其中，若所述一轮特征抽取为第一轮特征抽取，则所述两个输入数据为所述待检测图像和所述法向量图，否则，所述两个输入数据为上一轮特征抽取输出的两个初始融合特征。5.如权利要求4所述的方法，其特征在于，所述特征提取网络包括图像特征提取层和法向量特征提取层，所述特征融合层包括图像特征融合层和法向量特征融合层；则所述基于特征提取网络分别对两个输入数据进行特征提取，获得所述两个输入数据各自对应的输入特征，包括：基于所述图像特征提取层对图像输入数据进行特征提取，获得图像融合特征，所述图像输入数据为所述待检测图像或上一轮特征抽取中所述图像特征融合层输出的初始融合特征；基于所述法向量特征提取层对法向量输入数据进行特征提取，获得法向量融合特征，
所述法向量输入数据为所述法向量图像或上一轮特征抽取中所述法向量特征融合层输出的初始融合特征。6.如权利要求5所述的方法，其特征在于，所述基于特征融合网络分别对两个输入特征进行特征融合，获得所述两个输入特征各自对应的初始融合特征，包括：基于所述图像特征融合层对所述图像融合特征和所述法向量融合特征进行图像特征融合，获得第一融合特征；将所述第一融合特征与所述图像融合特征进行级联，获得所述图像融合特征对应的初始融合特征；基于所述法向量特征融合层对所述图像融合特征和所述法向量融合特征进行法向量特征融合，获得第二融合特征；将所述第二融合特征与所述法向量融合特征进行级联，获得所述法向量融合特征对应的初始融合特征...

【专利技术属性】
技术研发人员：包利强，曾怡，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：