针对线结构光扫描的点云离群点剔除系统及方法技术方案

本发明专利技术公开了一种针对线结构光扫描的点云离群点剔除系统，它的灰度图像获取模块采集被测物体逐帧的多张图像，对被测物体逐帧的每张图像进行滤波去噪、图像归一化、图像灰度化的预处理，得到对应的多张二维灰度图像；离群点剔除模块将每张二维灰度图像通过阈值滤波的方法转换成二值图像，并对像素小于像素阈值的光斑区域进行剔除；离群点剔除模块，对灰度平均值低于灰度阈值的光斑区域轮廓进行剔除；离群点剔除模块计算每个光斑区域轮廓面积与该光斑区域轮廓凸点数比值，将比值最大的两个光斑区域轮廓进行剔除。本发明专利技术能解决现有技术中针对反光区域三维重建中因强反光、结构性反光以及图像处理时错误识别了激光条纹造成的点云离群点技术问题。点云离群点技术问题。点云离群点技术问题。

【技术实现步骤摘要】
针对线结构光扫描的点云离群点剔除系统及方法


[0001]本专利技术涉及三维视觉
，具体地指一种针对线结构光扫描的点云离群点剔除系统及方法。

技术介绍

[0002]目前工业生产应用中，点云是通过测量仪器得到的产品外观表面的点数据集合。针对物体的三维重构，大多采用结构光三角测量法实现在较短时间内快速采集物体表面高精度的海量点云数据。但在采集模型表面数据过程中，受采集设备的震动、固有的误差、扫描环境、采集物体表面的明亮度或反射属性等因素的影响，使得结构光三维扫描系统传感器采集的点云不可避免地包含噪声和异常，产生相应的损失正确位置信息离群点，这些问题极大损害了成像设备采集到的图像质量，影响生成的三维模型精度及完整度，还对后续的曲面重建和点云分类等产生较大影响。

技术实现思路

[0003]本专利技术的目的就是要提供一种针对线结构光扫描的点云离群点剔除系统及方法，本专利技术能解决现有技术中针对反光区域三维重建中因强反光、结构性反光造成的点云离群点技术问题。
[0004]为实现此目的，本专利技术所设计的针对线结构光扫描的点云离群点剔除系统，其特征在于，它包括灰度图像获取模块和离群点剔除模块；
[0005]灰度图像获取模块用于通过直射式激光三角测量图像采集系统采集被测物体逐帧的多张RGB图像，对被测物体逐帧的每张RGB图像进行滤波去噪、图像归一化、图像灰度化的预处理，得到对应的多张二维灰度图像；
[0006]离群点剔除模块用于将每张二维灰度图像通过阈值滤波的方法转换成二值图像，获取每张二值图像中的光斑区域，并对像素小于像素阈值的光斑区域进行剔除，实现光斑区域中异常光斑区域的初步剔除；
[0007]离群点剔除模块利用轮廓跟踪算法对光斑区域初步剔除后的每张二值图像继续进行光斑区域的轮廓检测识别，并获取光斑区域轮廓的灰度值，对每个光斑区域轮廓取灰度值前A％的像素点，并计算灰度值前A％的像素点的灰度平均值，对灰度平均值低于灰度阈值的光斑区域轮廓进行剔除，实现光斑区域中异常光斑区域的进一步剔除；
[0008]离群点剔除模块遍历光斑区域进一步剔除后的每张二值图像的光斑区域轮廓，获取光斑区域轮廓的面积与光斑区域轮廓凸点数个数，计算每个光斑区域轮廓面积与该光斑区域轮廓凸点数比值，将比值最大的两个光斑区域轮廓进行剔除，实现光斑区域中异常光斑区域的再次剔除。
[0009]本专利技术中三维点云模型是由一系列的二维图像通过灰度重心法计算出其空间三维坐标所建立的，而如果二维图像中存在异常光斑区域(这些区域由强反光、结构性反光造成)在点云中反应的则为离群点。所以如果将二维图像中的异常光斑区域去除，则可以在三
Digitized Binary Images by Border Following)对光斑区域初步剔除后的每张二值图像继续进行光斑区域的轮廓检测识别，并获取光斑区域轮廓的灰度值，对每个光斑区域轮廓取灰度值前A％的像素点，并计算灰度值前A％的像素点的灰度平均值，对灰度平均值低于灰度阈值(200)的光斑区域轮廓进行剔除，实现光斑区域中异常光斑区域(即离群点所对应的图像区域)的进一步剔除，上述光斑区域为图像中激光条纹所指的正常光斑区域与混合反射所指的异常光斑区域的集合；该方案针对整体区域平均灰度方差较大，平均灰度值较低，这个特点进行设计。去除掉这一部分异常光斑区域。
[0021]离群点剔除模块遍历光斑区域进一步剔除后的每张二值图像的光斑区域轮廓，获取光斑区域轮廓的面积与光斑区域轮廓凸点数个数(以图像当中每个光斑最边缘的像素点连接成的边界为光斑的轮廓，边界轮廓的转折处的像素点为轮廓的凸点，有多少个转折就有多少凸点)，计算每个光斑区域轮廓面积与该光斑区域轮廓凸点数比值，将比值最大的两个光斑区域轮廓进行剔除，实现光斑区域的再次剔除。这一步针对整体区域平均灰度方差较大，平均灰度值较低，这个特点进行设计。去除掉这一部分异常光斑区域。
[0022]上述技术方案中，它还包括深度学习模块，所述深度学习模块通过人工手动标记的方式，标记出光斑区域再次剔除后的每张二值图像中的异常光斑区域轮廓，并采用深度学习模型，对标记出的异常光斑区域轮廓进行学习训练(训练集包括，1、小于像素阈值(100)的异常光斑区域；2、每个光斑区域轮廓取灰度值前A％的像素点，并计算灰度值前A％的像素点的灰度平均值，灰度平均值低于灰度阈值(200)的异常光斑区域；3、光斑区域轮廓面积与该光斑区域轮廓凸点数比值，比值最大的两个光斑区域；4、人工标记的异常光斑区域)，得到难以剔除异常光斑区域的特征参数模型，所述特征参数模型具体为通过深度学习网络模型获取到的上述训练集中样本的特征权重，用于后续的图像识别。本专利技术通过将上述找到的异常光斑区域作为训练集，通过深度学习图像识别网络生成深度学习模型，通过图像识别网络对一系列图像进行自动化的去除异常光斑区域，提高通用性，提高泛化能力，并能够对上述步骤中有遗漏的异常光斑区域进行去除。所述特征参数包括手动标记出的光斑区域轮廓的像素值、每个光斑区域轮廓灰度值前A％的像素点的灰度平均值、光斑区域轮廓面积与该光斑区域轮廓凸点数比值。
[0023]所述深度学习模块利用剔除的光斑区域轮廓和人工手动标记出的光斑区域轮廓通过搭建resnet图像识别框架，制作训练集，根据训练集利用特征参数对光斑区域再次剔除后的每张二值图像中的光斑区域轮廓进行离群点光斑区域识别，剔除光斑区域中异常光斑区域生成新的图像序列。图像识别网络提取异常光斑区域的特征，在针对其它图像序列时同样适用，去除异常光斑区域，用于提高方法的通用性。
[0024]上述技术方案中，它还包括三维点云获取模块，所述三维点云获取模块用于对新的图像序列通过灰度重心法得到剔除离群点的三维点云模型。
[0025]上述技术方案中，所述直射式激光三角测量图像采集系统采集被测物体逐帧的多张RGB图像的具体过程为：将激光器固定在垂直于视觉移动平台的位置，激光束照射在置于特定的速率(当前设置为2.5cm/s)的单向运动平台上的被测物体上，与激光器成一定角度的CCD相机通过三角激光测量法获取被测物体的表面信息，最终生成被测物体表面的三维点云信息。
[0026]直射式激光三角测量图像采集系统采用单目线结构光三维测量原理，常用的单目
线结构光扫描方式为直射式和斜射式两种测量方案。两种测量方案均是针对结构光束，通过对结构光光条中心进行提取后，得到相应的像素坐标，结合相机的对应参数利用三角测量法计算可求对应点所在三维坐标信息，对被测工件上所有的表面特征通过该方法求得所有坐标，获取被测物体的表面点云信息。本实验环境为直射式激光三角测量图像采集系统，下文针对直射式激光三角测量原理详细介绍。
[0027]图3是直射式测量方法示意图。图中激光器投射的激光束垂直照射在物体外表面，入射光在表面点处发生漫反射，使得在CCD感光面上成像。图中入射光l1l0和反射光l0m0的夹角是α。反射光线l0m0和感光面m1m0的夹角是β。设l0所在的平面代表基准平面，其中l1是物体表面上的点，通过透镜在感光面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对线结构光扫描的点云离群点剔除系统，其特征在于，它包括灰度图像获取模块和离群点剔除模块；灰度图像获取模块用于通过直射式激光三角测量图像采集系统采集被测物体逐帧的多张RGB图像，对被测物体逐帧的每张RGB图像进行滤波去噪、图像归一化、图像灰度化的预处理，得到对应的多张二维灰度图像；离群点剔除模块用于将每张二维灰度图像通过阈值滤波的方法转换成二值图像，获取每张二值图像中的光斑区域，并对像素小于像素阈值的光斑区域进行剔除，实现光斑区域的初步剔除；离群点剔除模块利用轮廓跟踪算法对光斑区域初步剔除后的每张二值图像继续进行光斑区域的轮廓检测识别，并获取光斑区域轮廓的灰度值，对每个光斑区域轮廓取灰度值前A％的像素点，并计算灰度值前A％的像素点的灰度平均值，对灰度平均值低于灰度阈值的光斑区域轮廓进行剔除，实现光斑区域的进一步剔除；离群点剔除模块遍历光斑区域进一步剔除后的每张二值图像的光斑区域轮廓，获取光斑区域轮廓的面积与光斑区域轮廓凸点数个数，计算每个光斑区域轮廓面积与该光斑区域轮廓凸点数比值，将比值最大的两个光斑区域轮廓进行剔除，实现光斑区域的再次剔除。2.根据权利要求1所述的针对线结构光扫描的点云离群点剔除系统，其特征在于：它还包括深度学习模块，所述深度学习模块通过人工手动标记的方式，标记出光斑区域再次剔除后的每张二值图像中的光斑区域轮廓，并采用深度学习模型，对标记出的光斑区域轮廓进行学习训练，得到难以剔除光斑区域的特征参数。3.根据权利要求2所述的针对线结构光扫描的点云离群点剔除系统，其特征在于：所述深度学习模块利用剔除的光斑区域轮廓和人工手动标记出的光斑区域轮廓通过搭建resnet图像识别框架，制作训练集，根据训练集利用特征参数对光斑区域再次剔除后的每张二值图像中的光斑区域轮廓进行离群点光斑区域识别，剔除光斑区域生成新的图像序列。4.根据权利要求3所述的针对线结构光扫描的点云离群点剔除系统，其特征在于：它还包括三维点云获取模块，所述三维点云获取模块用于对新的图像序列通过灰度重心法得到剔除离群点的三维点云模型。5.根据权利要求1所述的针对线结构光扫描的点云离群点剔除系统，其特征在于：所述直射式激光三角测量图像采集系统采集被测物体逐帧的多张RGB图像的具体过程为：将激光器固定在垂直于视觉移动平台的位置，激光束照射在置于特定的速率的单向运动平台上的被测物体上，与激光器成一定角度的CCD相机通过三角激光测量法获取被测物体的表面信息，最终生成被测物体表面的三维点云信息。6.根据权利要求1所述的针对线结构光扫描的点云离群点剔除系统，其特征在于：对被测物体逐帧的每张RGB图像进行滤波去噪、图像归一化、图像灰度化的预处理的具体方法为：对被测物体逐帧的每张RGB图像通过自适应中值滤波、高斯滤波、双边滤波、导向滤波算法，在保留图像细节特征的条件下对每张RGB图像的噪声进行抑制所述图像归一化，将滤波后的图像转换成相应的唯一标准形式，其工作原理是利用图像中对仿射变换具有不变性来确定变换函数的参数，然后利用此参数确定的变换函数把滤
波后的图像变换为一个标准形式的图像；所述图像灰度化，具体为将归一化后的图像转化成为灰度图像的过程，归一化后的图像中的每个像素的颜色有R、G、B三个分量决定，而每个分量有255中值可取，而灰度图像是R、G、B三个分量相同的一种特殊的彩色图像，灰度图像的描述与彩色图像一样仍然反映了整幅图像的整体和局部的色度和亮度等级的分布和特征。7.根据权利要求1所述的针对线结构光扫描的点云离群点剔除系统，其特征在于：所述轮廓检测识别的具体为：从二值图像左上角开始逐行扫描，当发现以下两种情况时，认为找到边界的起始点；第i行：G
ij
‑1＝0；G
ij
＝1，表示遇到了外边界；G
ij
≥1；G
ij+1
＝0，表示遇到孔，其中，G
ij
‑1表示二值图像第i行，第j
‑
1列的值，G
ij
表示二值图像第i行，第j列的值，G
ij+1
表示二值图像第i行，第j+1列的值；以此判断是否...

【专利技术属性】
技术研发人员：孙超，王梅渊，苗隆鑫，石久烨，丁建军，
申请(专利权)人：江汉大学，
类型：发明
国别省市：