一种基于图像信息和点云信息的螺栓缺陷检测方法技术

本发明专利技术属于计算机视觉领域，具体涉及一种基于图像信息和点云信息的螺栓缺陷检测方法，包括：采集包含待检螺栓的巡检区域的巡检图像和点云数据，其中，巡检图像和点云数据像素对齐；基于巡检图像，采用预先训练的目标识别模型，对待检螺栓进行目标框的回归和预测；若预测的结果为不存在待检螺栓，则完成螺栓缺陷检测；若预测的结果存在待检螺栓，根据回归得到的目标框进行螺栓区域的点云映射，并采用RANSAC平面分割算法，在螺栓区域的点云中进行螺栓上表面和安装基准面的分割提取；计算两平面之间的距离并与设定的阈值进行比较，从而判断螺栓是否发生松动，完成螺栓缺陷检测。本发明专利技术能高效实现螺栓缺陷检测。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，更具体地，涉及一种基于图像信息和点云信息的螺栓缺陷检测方法。

技术介绍

1、螺栓缺陷识别是保证被巡检对象正常运行的基础，如果发生松动的螺栓不能被检修人员及时发现并维修，可能会导致进一步的脱落。松动的螺栓可能会导致漏油、漏气等一系列问题，在螺栓发生松脱的情况下甚至可能导致更加严重的安全问题。因此，针对巡检对象的螺栓的缺陷识别任务显得尤为重要。

2、目前针对螺栓缺陷识别任务，主要方式是单独利用图像信息或者单独利用点云信息进行缺陷识别，其中，利用图像信息进行螺栓缺陷识别，对于垂直于螺栓表面视角拍摄的图像，由于图像特征不明显，识别精度不高；而单独利用点云信息进行螺栓的缺陷识别，在全局点云上进行处理，计算量大，运算耗时。

3、由此，现有的螺栓缺陷检测方法存在检测精度不高、难以适应多种拍摄角度以及实时性不高的诸多问题。

技术实现思路

1、针对现有技术的缺陷和改进需求，本专利技术提供了一种基于图像信息和点云信息的螺栓缺陷检测方法，其目的在于保证时效的同时避免当基于垂直于本文档来自技高网...

【技术保护点】

1.一种基于图像信息和点云信息的螺栓缺陷检测方法，其特征在于，包括：

2.根据权利要求1所述的螺栓缺陷检测方法，其特征在于，采用深度相机采集所述巡检图像和点云数据。

3.根据权利要求1所述的螺栓缺陷检测方法，其特征在于，所述目标识别模型为改进的YOLOv8，其中，所述改进的YOLOv8是通过以下改进方式得到：

4.根据权利要求3所述的螺栓缺陷检测方法，其特征在于，所述改进的YOLOv8在训练时所采用的损失函数为Focal-SIoU边界框损失函数。

5.根据权利要求4所述的螺栓缺陷检测方法，其特征在于，所述Focal-SIoU边界框损失函数具...

【技术特征摘要】

1.一种基于图像信息和点云信息的螺栓缺陷检测方法，其特征在于，包括：

2.根据权利要求1所述的螺栓缺陷检测方法，其特征在于，采用深度相机采集所述巡检图像和点云数据。

3.根据权利要求1所述的螺栓缺陷检测方法，其特征在于，所述目标识别模型为改进的yolov8，其中，所述改进的yolov8是通过以下改进方式得到：

4.根据权利要求3所述的螺栓缺陷检测方法，其特征在于，所述改进的yolov8在训练时所采用的损失函数为focal-siou边界框损失函数。

5.根据权利要求4所述的螺栓缺陷检测方法，其特征在于，所述focal-siou边界框损失函数具体为：

6.根据权利要求1所述的螺栓缺陷检测方法，其特征在于，在采用ransac平面分割算法之前，对映射所得到的螺栓区域的点云进行统计滤波，剔除离群点，并对滤波后的...

【专利技术属性】
技术研发人员：彭刚，李志勇，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：