一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法技术

本发明专利技术公开了一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法，包括：使用二维图像数据采集设备，对产品的表面进行拍照，得到产品表面的二维图像数据；利用三维点云数据采集设备，对产品表面进行扫描，得到产品表面的三维点云数据；通过投影计算将三维点云数据与二维图像数据进行坐标映射投影；建立融合感知数据集，对融合感知数据集进行数据标注，对二维图像使用最小矩形框包围标注，对三维点云使用最小包围矩形体标注，对二维图像与三维点云中同一处缺陷进行标记；将融合感知数据集送入融合感知神经网络训练，并根据融合感知神经网络自动生成产品表面缺陷信息，本申请可以更精确的检测到真实缺陷的方法，降低错误检测与检测漏失。检测与检测漏失。检测与检测漏失。

【技术实现步骤摘要】
一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法


[0001]本专利技术涉及机器视觉领域，具体涉及一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法。

技术介绍

[0002]我国已经成为制造业大国，迫切需要智能且高精度的自动缺陷检测设备，现有的缺陷检测方法大多利用二维相机采集产品图像，使用传统图像处理方法使用灰度值剃度变化、灰度值阈值分割、傅里叶变换频域空间等常规手段通过精确描述缺陷的属性进行处理，往往无法捕获位置随机出现、形态随机散布、深度不一致的缺陷，近些年也出现了基于深度学习卷积神经网络的目标检测与语义分割的二维图像缺陷检测方法，但往往都受限于打光条件、缺陷与产品背景高度相似、非无尘环境污染等因素的影响，其检测效果往往在产品表面缺陷检测方面表现不佳，由于脏污、灰尘和毛屑等环境因素的干扰，传统只有二维图像的检测方法难以在图像上区分和分辨真实缺陷与环境干扰，大量缺陷检测场景需要深度信息的辅助来辨别真假缺陷，二维相机由于自身限制，只能计算缺陷的面积、长宽，无法测量被测产品表面的缺陷深度用于真假缺陷的分辨，基于以上问题，我们提出了一种基于三维点云与二维图像深度融合感知网络的表面缺陷检测方法，可以更精确的检测到真实缺陷的方法，降低错误检测与检测漏失。

技术实现思路

[0003]本专利技术的专利技术目的是提供一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法，操作简单，效率高，且具有较好的通用性。
[0004]为达到上述专利技术目的，本专利技术采用的技术方案是：一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法，包括如下步骤，
[0005]S 1，使用二维图像数据采集设备，对产品的表面进行拍照，得到产品表面的二维图像数据；
[0006]S2，利用三维点云数据采集设备，对产品表面进行扫描，得到产品表面的三维点云数据；
[0007]S3，通过投影计算将三维点云数据与二维图像数据进行坐标映射投影；
[0008]S4，建立融合感知数据集，对融合感知数据集进行数据标注，对二维图像使用最小矩形框包围标注，对三维点云使用最小包围矩形体标注，对二维图像与三维点云中同一处缺陷进行标记；
[0009]S5，将融合感知数据集送入融合感知神经网络训练，并根据融合感知神经网络自动生成产品表面缺陷信息。
[0010]优选地，将融合感知数据集送入融合感知神经网络训练包括：二维图像
‑
卷积神经网络部分的训练，具体为：
[0011]使用根据精度、速度需求不同的应用场景，选取分类主干网进行特征二维图像的卷积操作，提取图像高中低维度的图像特征；
[0012]使用使用1*1卷积对主干网大、中和小多个尺寸进行降维操作提取物体表面在全局、中等和局部多重范围内的特征；
[0013]使用Yolov5对二维图像进行目标检测得到代表表面缺陷在二维图像中位置的XY
‑
xy二维检测框，XY为二维检测框的中心点坐标信息，xy为二维检测框的长宽信息。
[0014]进一步的，将融合感知数据集送入融合感知神经网络训练包括：三维点云
‑
卷积神经网络部分的训练，具体为：
[0015]使用PointNet系列卷积神经网络处理稠密三维点云信息，去除稠密点云信息中的冗余信息，得到代表稠密三维点云数据中物体表面立体结构关键变化点信息的稀疏三维点云；
[0016]使用PointNet系列卷积神经网络直接对三维点云数据进行目标检测得到代表表面缺陷所在位置的XYZ
‑
xyz三维立体检测框，XYZ为表面缺陷所在位置的空间中心坐标点信息，xyz分别对应在该xyz坐标轴上的立体检测框的长宽高信息。
[0017]优选地，将融合感知数据集送入融合感知神经网络训练包括：二维图像与三维点云深度融合感知网络部分的训练，具体为：
[0018]对二维图像进行切片；切片的形状为正方形，切片图像中缺陷的长宽各最低不低于切块图像长宽的5％，得到二维图像Patch序列，并根据标注信息生成Patch序列的标注序列；
[0019]将三维点云
‑
卷积神经网络部分得到的稀疏三维点云关键点信息切块得到三维点云Patch序列，切块规则为缺陷在三维点云中最小包围矩形体的体积不低于总切块的5％，并根据标注信息生成Patch序列的标注序列；
[0020]使用注意力机制神经网络处理二维图像Patch序列得到二维图像注意力特征；
[0021]使用注意力机制神经网络处理三维点云Patch序列得到三维点云注意力特征；
[0022]对二维图像注意力特征做线性投影变换得到Image
‑
Token集；
[0023]对三维点云注意力特征做线性投影变换得到Point
‑
Token集；
[0024]使用注意力机制神经网络同时处理Image
‑
Token集和Point
‑
Token集；
[0025]使用Image MLP Heads处理网络输出得到二维图像的多模态融合神经网络目标检测结果；
[0026]使用Point MLP Heads处理网络输出得到三维点云的多模态融合神经网络目标检测结果。
[0027]优选地，通过NMS算法过滤卷积神经网络检测结果与深度融合感知网络结果得到最终二维图像目标检测结果。
[0028]优选地，通过NMS算法过滤卷积神经网络检测结果与深度融合感知网络结果得到最终三维点云目标检测结果。
[0029]由于上述技术方案运用，本专利技术与现有技术相比具有下列优点：
[0030](1)本申请基于三维点云与二维图像深度融合感知网络进行产品表面缺陷检测，可以更精确的检测到真实缺陷的方法，降低错误检测与检测漏失。
[0031](2)通过二维图像与三维点云相结合能够在图像上区分和分辨真实缺陷与环境干
扰，同时能够针对缺陷的深度信息的辅助来辨别真假缺陷，防止因脏污、灰尘造成缺陷误判断。
附图说明
[0032]图1为本专利技术的基于三维点云与二维图像融合感知的产品表面缺陷检测方法流程图。
具体实施方式
[0033]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
[0034]实施例1
[0035]如图1所示，本专利技术公开了一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法，包括如下步骤，
[0036]S 1，使用二维图像数据采集设备，对产品的表面进行拍照，得到产品表面的二维图像数据；
[0037]S2，利用三维点云数据采集设备，对产品表面进行扫描，得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法，其特征在于，包括如下步骤，S1，使用二维图像数据采集设备，对产品的表面进行拍照，得到产品表面的二维图像数据；S2，利用三维点云数据采集设备，对产品表面进行扫描，得到产品表面的三维点云数据；S3，通过投影计算将三维点云数据与二维图像数据进行坐标映射投影；S4，建立融合感知数据集，对融合感知数据集进行数据标注，对二维图像使用最小矩形框包围标注，对三维点云使用最小包围矩形体标注，对二维图像与三维点云中同一处缺陷进行标记；S5，将融合感知数据集送入融合感知神经网络训练，并根据融合感知神经网络自动生成产品表面缺陷信息。2.如权利要求1所述的一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法，其特征在于，将融合感知数据集送入融合感知神经网络训练包括：二维图像
‑
卷积神经网络部分的训练，具体为：使用根据精度、速度需求不同的应用场景，选取分类主干网进行特征二维图像的卷积操作，提取图像高中低维度的图像特征；使用使用1*1卷积对主干网大、中和小多个尺寸进行降维操作提取物体表面在全局、中等和局部多重范围内的特征；使用Yolov5对二维图像进行目标检测得到代表表面缺陷在二维图像中位置的XY
‑
xy二维检测框，XY为二维检测框的中心点坐标信息，xy为二维检测框的长宽信息。3.如权利要求2所述的一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法，其特征在于，将融合感知数据集送入融合感知神经网络训练包括：三维点云
‑
卷积神经网络部分的训练，具体为：使用PointNet系列卷积神经网络处理稠密三维点云信息，去除稠密点云信息中的冗余信息，得到代表稠密三维点云数据中物体表面立体结构关键变化点信息的稀疏三维点云；使用PointNet系列卷积神经网络直接对三维点云数据进行目标检测得到代表表面缺陷所在位置的XYZ
‑
xyz三维立体检测框，XYZ为表面缺...

【专利技术属性】
技术研发人员：王远扬，王宗辉，胡秋桂，方正，李浩程，
申请(专利权)人：苏州鼎纳自动化技术有限公司，
类型：发明
国别省市：