一种基于机器学习的结构光在线密集三维重建方法技术

本发明专利技术公开了一种基于机器学习的结构光在线密集三维重建方法，包括以下步骤：标定系统参数并采集图像；对图像进行预处理；基于神经网络算法训练颜色分类器；对颜色识别后的图像进行滤波，优化图像质量；检测光条中心线，并确定其在光条序列中对应的索引；根据每个像素点的亮度及光条索引，完成结构光解码，得到相机采集图像对应的相位，并得到对应点的集合；基于摄影测量学中的三角交会算法，对对应点集合中的每一组匹配点对进行交会，解算其空间三维坐标，进而完成对物体表面的密集三维重建。本发明专利技术的基于机器学习的结构光在线密集三维重建方法具有重建精度高，能保证系统稳定性和计算效率，有助于实现动态场景测量的优点。

【技术实现步骤摘要】
一种基于机器学习的结构光在线密集三维重建方法
本专利技术属于三维重建
，具体涉及一种基于机器学习的结构光在线密集三维重建方法。
技术介绍
结构光三维重建技术是获取物体表面形貌数据的主要途径之一：通过投影仪向物体表面投射编码结构光图案，并利用相机采集其图像；对图像进行结构光解码，计算相机采集图像与投影仪图像之间的像素对应关系；根据该对应关系，基于摄影测量学原理，重建物体表面三维形貌。根据编码方式的不同，结构光三维重建方法可分为时间编码结构光三维重建方法和空间编码结构光三维重建方法。时间编码结构光一般为多幅结构光图案组成的图像序列，根据时间序列信息计算相机图像与投影仪图像之间的像素对应关系，优势在于重建精度较高，但由于投影多幅结构光图案耗费时间，因此不适用于动态场景三维重建。空间编码结构光通过一幅图案即可获取相机图像与投影仪图像之间的像素对应关系，是目前三维重建方法中唯一有可能实现在线密集三维重建的方法，但由于其将所有信息压缩至一幅结构光图案中，解码难度较大，使得结构光三维重建系统性能不稳定，尤其是彩色结构光三维重建系统受物体表面曲率本文档来自技高网...

【技术保护点】
1.一种基于机器学习的结构光在线密集三维重建方法，其特征在于，包括以下步骤：/n步骤S1、相机-投影仪系统的参数标定：其系统参数标定的具体过程如下：/nS11、将一组灰度条纹图投射到静止的棋盘格标定板表面，并利用相机采集图像，/nS12、利用四步相移法对相机采集的序列图像进行结构光解码，计算其对应的相位图，/nS13、计算相机采集图像与投影仪图像之间的像素点对应关系，/nS14、变换棋盘格标定板的位置和姿态，并重复步骤S11～S13，/nS15、利用立体视觉标定方法，解算相机-投影仪系统的所有参数；/n步骤S2、采集图像：利用投影仪将编码结构光投射到待测的物体表面上，并利用相机采集被物体表面调...

【技术特征摘要】
1.一种基于机器学习的结构光在线密集三维重建方法，其特征在于，包括以下步骤：
步骤S1、相机-投影仪系统的参数标定：其系统参数标定的具体过程如下：
S11、将一组灰度条纹图投射到静止的棋盘格标定板表面，并利用相机采集图像，
S12、利用四步相移法对相机采集的序列图像进行结构光解码，计算其对应的相位图，
S13、计算相机采集图像与投影仪图像之间的像素点对应关系，
S14、变换棋盘格标定板的位置和姿态，并重复步骤S11～S13，
S15、利用立体视觉标定方法，解算相机-投影仪系统的所有参数；
步骤S2、采集图像：利用投影仪将编码结构光投射到待测的物体表面上，并利用相机采集被物体表面调制后的结构光图像；
步骤S3、图像预处理：对采集到的图像进行噪声的去除，提高图像质量；
步骤S4、颜色识别：建立用于判别颜色的神经网络模型，该模型包括输入层、隐藏层和输出层，所述输入层中包含图像中的每个像素点颜色特征；将该神经网络模型记为颜色分类器，将相机采集图像中的每个像素点颜色特征输入颜色分类器，完成颜色识别；
步骤S5、颜色滤波：对图像进行行扫描，以第i行为例，从左至右检测光条边缘，从而计算得到光条宽度：如果当前光条宽度小于其相邻光条宽度的一半，则将当前光条的颜色设置为黑色；
步骤S6、中心线检测：执行过程如下：
S61、将指定颜色的光条置为白色，其余颜色置为黑色，从而将彩色图像转换为二值图像，
S62、对二值图像进行中值滤波，窗口大小为3pixel×3pixel，
S63、对图像进行轮廓搜索，
S64、对图像进行行扫描，在各个光条轮廓范围内搜索亮度最大值，
S65、基于灰度重心法计算光条中心线，
S66、改变指定的颜色，重复步骤S61～S65，完成对六种颜色的光条中心线检测；
步骤S7、索引判别；执行过程如下：
S71、计算指定的中心线与其它中心线之间的像素距离，
S72、搜索距离指定中心线最近的两条中心线，
S73、相邻三种颜色的光条在序列中只出现一次，基于此，可确定出指定中心线在编码结构光中的索引，
S74、改变指定的中心线，重复步骤S71～S73，完成对所有中心线的索引判别；
步骤S8、相位解缠：记任意两条相邻的中心线为li和li+1，i和i+1表示中心线在光条序列中的索引，和为li和li+1上同一行像素点，I(x,y)表示像素点p(x,y)的亮度值；若像素点满足以下约束，则将该像素点记为和之间的波谷点
I(x-2,y)≥I(x-1,y)≥I(x,y)≤I(x+1,y)≤I(x+2,y)
解缠相位可通过如下公式计算得到：









遍历所有中心线，即可解算得到相机采集图像对应的相位图；
步骤S9、亚像素匹配：由于投影仪图像中每列像素点亮度相同，即投影仪图像中每列的相位相同；记pc(x,y)为相机采集图像中某像素点，相位为pc(x,y)，其在投影仪图像中的对应点pp(x,y)必然在直线x＝xp上，xp通过如下公式计算：



T表示光条宽度...

【专利技术属性】
技术研发人员：刘进博，杜百合，杨庆涛，罗跃，杨远剑，
申请(专利权)人：中国空气动力研究与发展中心超高速空气动力研究所，
类型：发明
国别省市：四川;51