一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法技术

本发明专利技术公开了一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法，包括：使用二维图像数据采集设备，对产品的表面进行拍照，得到产品表面的二维图像数据；利用三维点云数据采集设备，对产品表面进行扫描，得到产品表面的三维点云数据；通过投影计算将三维点云数据与二维图像数据进行坐标映射投影；建立融合感知数据集，对融合感知数据集进行数据标注，对二维图像使用最小矩形框包围标注，对三维点云使用最小包围矩形体标注，对二维图像与三维点云中同一处缺陷进行标记；将融合感知数据集送入融合感知神经网络训练，并根据融合感知神经网络自动生成产品表面缺陷信息，本申请可以更精确的检测到真实缺陷的方法，降低错误检测与检测漏失。检测与检测漏失。检测与检测漏失。

【技术实现步骤摘要】
一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法


[0001]本专利技术涉及机器视觉领域，具体涉及一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法。

技术介绍

[0002]我国已经成为制造业大国，迫切需要智能且高精度的自动缺陷检测设备，现有的缺陷检测方法大多利用二维相机采集产品图像，使用传统图像处理方法使用灰度值剃度变化、灰度值阈值分割、傅里叶变换频域空间等常规手段通过精确描述缺陷的属性进行处理，往往无法捕获位置随机出现、形态随机散布、深度不一致的缺陷，近些年也出现了基于深度学习卷积神经网络的目标检测与语义分割的二维图像缺陷检测方法，但往往都受限于打光条件、缺陷与产品背景高度相似、非无尘环境污染等因素的影响，其检测效果往往在产品表面缺陷检测方面表现不佳，由于脏污、灰尘和毛屑等环境因素的干扰，传统只有二维图像的检测方法难以在图像上区分和分辨真实缺陷与环境干扰，大量缺陷检测场景需要深度信息的辅助来辨别真假缺陷，二维相机由于自身限制，只能计算缺陷的面积、长宽，无法测量被测产品表面的缺陷深度用于真假缺陷的分辨，基于以上问题，我们提出了一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法，其特征在于，包括如下步骤，S1，使用二维图像数据采集设备，对产品的表面进行拍照，得到产品表面的二维图像数据；S2，利用三维点云数据采集设备，对产品表面进行扫描，得到产品表面的三维点云数据；S3，通过投影计算将三维点云数据与二维图像数据进行坐标映射投影；S4，建立融合感知数据集，对融合感知数据集进行数据标注，对二维图像使用最小矩形框包围标注，对三维点云使用最小包围矩形体标注，对二维图像与三维点云中同一处缺陷进行标记；S5，将融合感知数据集送入融合感知神经网络训练，并根据融合感知神经网络自动生成产品表面缺陷信息。2.如权利要求1所述的一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法，其特征在于，将融合感知数据集送入融合感知神经网络训练包括：二维图像
‑
卷积神经网络部分的训练，具体为：使用根据精度、速度需求不同的应用场景，选取分类主干网进行特征二维图像的卷积操作，提取图像高中低维度的图像特征；使用使用1*1卷积对主干网大、中和小多个尺寸进行降维操作提取物体表面在全局、中等和局部多重范围内的特征；使用Yolov5对二维图像进行目标检测得到代表表面缺陷在二维图像中位置的XY
‑
xy二维检测框，XY为二维检测框的中心点坐标信息，xy为二维检测框的长宽信息。3.如权利要求2所述的一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法，其特征在于，将融合感知数据集送入融合感知神经网络训练包括：三维点云
‑
卷积神经网络部分的训练，具体为：使用PointNet系列卷积神经网络处理稠密三维点云信息，去除稠密点云信息中的冗余信息，得到代表稠密三维点云数据中物体表面立体结构关键变化点信息的稀疏三维点云；使用PointNet系列卷积神经网络直接对三维点云数据进行目标检测得到代表表面缺陷所在位置的XYZ
‑
xyz三维立体检测框，XYZ为表面缺...

【专利技术属性】
技术研发人员：王远扬，王宗辉，胡秋桂，方正，李浩程，
申请(专利权)人：苏州鼎纳自动化技术有限公司，
类型：发明
国别省市：