本发明专利技术公开了一种基于灰度图像和深度数据融合的管材缺陷检测方法及装置，涉及机器视觉检测技术领域。包括：获取待检测样本的表面特征信息；其中，表面特征信息包括深度数据和灰度图像；根据深度数据，得到具备深度信息的缺陷候选区域根据灰度图像、以及训练好的目标检测模型，得到具备灰度特征的缺陷候选区域将具备深度信息的缺陷候选区域以及具备灰度特征的缺陷候选区域进行融合匹配，得到缺陷检测结果。本发明专利技术能够融合深度、色差等多维度特性，在定性分析基础上实现了对缺陷严重度的量化，大大提升了缺陷检测的准确度。准确度。准确度。
【技术实现步骤摘要】
基于灰度图像和深度数据融合的管材缺陷检测方法及装置
[0001]本专利技术涉及机器视觉检测
，特别是指一种基于灰度图像和深度数据融合的管材缺陷检测方法及装置。
技术介绍
[0002]管材产品表面缺陷是决定其质量特性的关键因素，有效的将缺陷检测出对于实现产品定级、减少客户投诉都至关重要。目前阶段常用的表面缺陷检测方法多依赖于工业相机采集表面二维灰度图像，并利用特定的检测算法进行缺陷的定位和识别。这种手段仅仅利用了光的反射特征对缺陷进行定性分析，缺乏对于缺陷深度方向维度的考量，因此识别到的缺陷会存在检测不准确、严重程度不明确等现实问题。
[0003]管材表面轮廓为圆弧形状，不同于传统的热轧带钢、中厚板等产品，不规则的表面轮廓使得缺陷检测的难度增加，导致现有的检测设备不足以支撑智能化检验任务。此外，深度信息虽然能通过距离传感器检测，但由于弧形表面的存在，无法直接确认管材表面上缺陷的深度，不能直接用于缺陷的深度度量。
技术实现思路
[0004]本专利技术针对现有技术识别到的缺陷会存在检测不准确、严重程度不明确，以及不规则的表面轮廓使得缺陷检测的难度增加，导致现有的检测设备不足以支撑智能化检验任务的问题，提出了本专利技术。
[0005]为解决上述技术问题，本专利技术提供如下技术方案：
[0006]一方面，本专利技术提供了一种基于灰度图像和深度数据融合的管材缺陷检测方法，该方法由电子设备实现，该方法包括：
[0007]S1、获取待检测样本的表面特征信息；其中，表面特征信息包括深度数据和灰度图像。
[0008]S2、根据深度数据，得到具备深度信息的缺陷候选区域
[0009]S3、根据灰度图像、以及训练好的目标检测模型，得到具备灰度特征的缺陷候选区域
[0010]S4、将具备深度信息的缺陷候选区域以及具备灰度特征的缺陷候选区域进行融合匹配，得到缺陷检测结果；其中，缺陷检测结果包括缺陷的位置坐标、尺寸大小、缺陷类别以及缺陷深度；缺陷类别包括一级缺陷类别以及二级缺陷类别。
[0011]可选地，S1中的获取待检测样本的表面特征信息包括：
[0012]利用3D相机采集待检测样本的深度数据和灰度图像。
[0013]深度数据包括待检测样本的表面三维特性。
[0014]灰度图像包括待检测样本的颜色、纹理以及形态特性。
[0015]可选地，S2中的根据深度数据，得到具备深度信息的缺陷候选区域包括：
[0016]根据深度数据，拟合得到待检测样本的表面的轮廓方程，将深度数据以拟合得到的表面的轮廓方程为基准面进行投影，得到表面相对深度特征，对表面相对深度特征进行阈值分割处理，得到具备深度信息的缺陷候选区域。
[0017]其中，具备深度信息的缺陷候选区域为超过指定深度大小的区域。
[0018]可选地，待检测样本的表面的轮廓方程，如下式(1)所示：
[0019]Ax2+Bz2+Cxz+Dx+Ez+F＝0
ꢀꢀ
(1)
[0020]其中A，B，C，D，E，F为轮廓方程参数；x为深度数据中横向位置分布坐标；z为深度数据中待检测样本表面深度值。
[0021]可选地，轮廓方程参数的拟合过程包括：
[0022]将深度数据逐行进行处理，每一行深度数据中的有效数据作为表面轮廓的采样点数据，将采样点数据经过RANSAC算法拟合，得到轮廓方程参数。
[0023]其中，有效数据为距离待检测样本表面的深度值，为大于0的数据。
[0024]可选地，将深度数据以拟合得到的表面的轮廓方程为基准面进行投影，得到表面相对深度特征包括：
[0025]将深度数据中x方向采样点X(x1,x2,...x
w
)，依次输入到表面的轮廓方程，得到z方向基准表面深度值Z
′
(z
′1,z
′2,...z
′
w
)，通过下式(2)计算得到投影后的表面相对深度特征：
[0026][0027]其中，为投影后的表面相对深度特征；Z为采样点x处的管材表面深度值；w为有效采样点数据的个数。
[0028]可选地，对表面相对深度特征进行阈值分割处理，得到具备深度信息的缺陷候选区域包括：
[0029]选取表面相对深度特征的绝对值大于预设检测阈值的独立连通区域，为具备深度信息的缺陷候选区域。
[0030]其中，具备深度信息的缺陷候选区域包含缺陷候选区域的位置坐标、尺寸大小及缺陷深度。
[0031]可选地，S3中的根据灰度图像、以及训练好的目标检测模型，得到具备灰度特征的缺陷候选区域包括：
[0032]将灰度图像输入到训练好的目标检测模型，得到具备灰度特征的缺陷候选区域。
[0033]目标检测模型的训练数据为真实缺陷图片。
[0034]具备灰度特征的缺陷候选区域包含缺陷候选区域的位置坐标、尺寸大小以及缺陷类别。
[0035]可选地，S4中的将具备深度信息的缺陷候选区域以及具备灰度特征的缺陷候选区域进行融合匹配，得到缺陷检测结果包括：
[0036]具备深度信息的缺陷候选区域的一级缺陷类别为深度类缺陷。
[0037]逐一遍历中的缺陷候选区域，若在具备灰度特征的缺陷候选区域中，存在与中的缺陷候选区域位置相对应的缺陷候选区域，则中识别得到的相对应的缺
陷候选区域类别，为中的缺陷候选区域的二级缺陷类别。
[0038]若在具备灰度特征的缺陷候选区域中，不存在与中的缺陷候选区域位置相对应的缺陷候选区域，则中的缺陷候选区域的二级缺陷类别为待分类。
[0039]中未与匹配的缺陷候选区域的一级缺陷类别为色差类缺陷，缺陷深度值为0，二级缺陷类别为中识别得到的缺陷类别。
[0040]另一方面，本专利技术提供了一种基于灰度图像和深度数据融合的管材缺陷检测装置，该装置应用于实现基于灰度图像和深度数据融合的管材缺陷检测方法，该装置包括：
[0041]获取模块，用于获取待检测样本的表面特征信息；其中，表面特征信息包括深度数据和灰度图像。
[0042]深度缺陷候选区域模块，用于根据深度数据，得到具备深度信息的缺陷候选区域
[0043]灰度缺陷候选区域模块，用于根据灰度图像、以及训练好的目标检测模型，得到具备灰度特征的缺陷候选区域
[0044]输出模块，用于将具备深度信息的缺陷候选区域以及具备灰度特征的缺陷候选区域进行融合匹配，得到缺陷检测结果；其中，缺陷检测结果包括缺陷的位置坐标、尺寸大小、缺陷类别以及缺陷深度；缺陷类别包括一级缺陷类别以及二级缺陷类别。
[0045]可选地，获取模块，进一步用于：
[0046]利用3D相机采集待检测样本的深度数据和灰度图像。
[0047]深度数据包括待检测样本的表面三维特性。
[0048]灰度图像包括待检测样本的颜色、纹理以及形态特性。
[0049]可选地，深度缺陷候选区域模块，进一步用于：
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于灰度图像和深度数据融合的管材缺陷检测方法，其特征在于，所述方法包括：S1、获取待检测样本的表面特征信息；其中，所述表面特征信息包括深度数据和灰度图像；S2、根据所述深度数据，得到具备深度信息的缺陷候选区域S3、根据所述灰度图像、以及训练好的目标检测模型，得到具备灰度特征的缺陷候选区域S4、将所述具备深度信息的缺陷候选区域以及具备灰度特征的缺陷候选区域进行融合匹配，得到缺陷检测结果；其中，所述缺陷检测结果包括缺陷的位置坐标、尺寸大小、缺陷类别以及缺陷深度；所述缺陷类别包括一级缺陷类别以及二级缺陷类别。2.根据权利要求1所述的方法，其特征在于，所述S1中的获取待检测样本的表面特征信息包括：利用3D相机采集待检测样本的深度数据和灰度图像；所述深度数据包括待检测样本的表面三维特性；所述灰度图像包括待检测样本的颜色、纹理以及形态特性。3.根据权利要求1所述的方法，其特征在于，所述S2中的根据所述深度数据，得到具备深度信息的缺陷候选区域包括：根据所述深度数据，拟合得到待检测样本的表面的轮廓方程，将所述深度数据以拟合得到的表面的轮廓方程为基准面进行投影，得到表面相对深度特征，对所述表面相对深度特征进行阈值分割处理，得到具备深度信息的缺陷候选区域；其中，所述具备深度信息的缺陷候选区域为超过指定深度大小的区域。4.根据权利要求3所述的方法，其特征在于，所述待检测样本的表面的轮廓方程，如下式(1)所示：Ax2+Bz2+Cxz+Dx+Ez+F＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中A，B，C，D，E，F为轮廓方程参数；x为深度数据中横向位置分布坐标；z为深度数据中待检测样本表面深度值。5.根据权利要求4所述的方法，其特征在于，所述轮廓方程参数的拟合过程包括：将所述深度数据逐行进行处理，每一行深度数据中的有效数据作为表面轮廓的采样点数据，将所述采样点数据经过RANSAC算法拟合，得到轮廓方程参数；其中，所述有效数据为距离待检测样本表面的深度值，为大于0的数据。6.根据权利要求3所述的方法，其特征在于，所述将所述深度数据以拟合得到的表面的轮廓方程为基准面进行投影，得到表面相对深度特征包括：将深度数据中x方向采样点X(x1,x2,...x
w
)，依次输入到表面的轮廓方程，得到z方向基准表面深度值Z
′
(z
′1,z
′2,...z...
【专利技术属性】
技术研发人员：吴昆鹏，石杰，杨朝霖，邓能辉，王少聪，
申请(专利权)人：北京科技大学设计研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。