基于双目结构光的三维图像重建方法技术

本发明专利技术公开了一种基于双目结构光的三维图像重建方法，用于提取待测工件的三维图像轮廓，实现寻找轮廓特征点将其拟合为作业路径引导机器人自动点胶、胶宽胶高测量以及胶路缺陷检测等功能；该三维图像重建系统包括投影仪、两台相机、工控机、棋盘格标定板以及安装平台等部分；系统工作时，首先完成相机标定与极线矫正，再由工控机控制相机投影仪信号同步并采集投影图片，三维重建程序读取投影图片，使用四步相移法与鲁棒的二值化计算方法求取左右绝对相位，匹配相位后结合绝对相位与相机标定数据计算三维点云数据的世界坐标，整合后即为待测工件表面的三维轮廓；本发明专利技术实现了待测工件轮廓信息的高速度、高精度、高鲁棒性测量。高鲁棒性测量。高鲁棒性测量。

【技术实现步骤摘要】
基于双目结构光的三维图像重建方法


[0001]本专利技术涉及双目视觉三维重建的
，尤其是一种基于双目结构光的三维图像重建方法。

技术介绍

[0002]随着工业4.0时代的到来，电子产品呈现小型化、集中化的趋势，在众多工件产品封装过程中，自动点胶、胶宽胶高测量以及胶路缺陷检测等均是非常关键的一步。例如，目前手机中框的视觉点胶领域普遍使用线结构光与二维图像结合的点胶方案，具体步骤是：首先，将三维图像转化为深度图，使用二维图像分析方法中的边缘检测算子(如Canny、Sobel算子等)提取边缘信息；接着，查找二维深度图对应的三维坐标系下的点，再结合人工示教搜索待点胶区域。然而，虽然线结构光精度很高，但是线结构光扫描速度很慢且存在视觉死角，二维图像分析方法分析三维点云数据要求工程师对产品大量调试，更换不同产品后需重新调试，普适性较差，将三维图像转为二维深度图时会丢失大量数据信息，不符合当下对点胶作业精度与速度的要求。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题之一。
[0004]为此，本专利技术提出一种基于双目结构光的三维图像重建方法，提升视觉点胶、胶宽胶高测量以及胶路缺陷检测等工作效率，减少因遮挡产生的视觉死角，用三维点云分析方法提取待点胶区域特征，减轻设计人员调试负担。
[0005]根据本专利技术实施例的一种基于双目结构光的三维图像重建方法，其特征是，包括以下步骤：
[0006]第1步骤、平台搭建：搭建三维图像重建系统，三维图像重建系统包括投影仪、两台相机、工控机、棋盘格标定板以及安装平台，工控机中具有实现三维图像重建方法的三维重建程序；
[0007]第2步骤、完成三维图像重建系统的双目相机标定与图像畸变矫正：使用三维重建程序中的标定模块联合标定两台相机，并根据标定结果对投影图片进行极线矫正，使输入的相移图片与格雷码图片实现行对齐；
[0008]第3步骤、基于四步相移法的包裹相位计算方法：三维重建程序中的解码模块读取采集到的相移图片，根据四步相移法的原理计算包裹相位值；
[0009]第4步骤、基于环境光分割的鲁棒二值化方法：三维重建程序中的解码模块读取采集到的格雷码图片，采用一种基于环境光分割的鲁棒二值化方法，将格雷码二值化结果区分为黑、白与背景图案；
[0010]第5步骤、绝对相位的计算与基于极线矫正双目匹配算法：三维重建程序中的相位匹配模块计算绝对相位，使用基于极线矫正双目匹配算法寻找两台相机拍摄得到的两张图像的同名点；
[0011]第6步骤、点云世界坐标的计算：三维重建程序中的三维重建模块计算点云世界坐标，整合计算得到的三维坐标生成待测工件的点云集。
[0012]本专利技术的有益效果是，本专利技术提出了一种基于双目结构光的三维图像重建方法，用于实现速度快、鲁棒性高的待测工件三维重建，三维图像重建系统工作时，首先完成相机标定与图像矫正，其次使用四步相移法结合鲁棒的格雷码完成相位展开，最后结合标定数据完成世界坐标的计算；本专利技术操作简单，可解决线结构光效率低下及视野狭窄问题，方便用户使用，可显著提升三维成像效率，减轻工程师调试负担，促进视觉点胶行业蓬勃发展。
[0013]根据本专利技术一个实施例，第2步骤的具体步骤是：第2.1步骤、两台相机各采集N幅不同角度下棋盘格标定板的图片，其中，N为大于或等于15的正整数，提取棋盘格角点并优化使其达到亚像素精度，根据张正友标定法，计算两台相机内参：设定两台相机中的一台相机为左相机，另一台相机为右相机，以左相机为基准计算右相机相对于左相机的变化矩阵，并计算相机径向畸变系数与切向畸变系数；第2.2步骤、利用投影仪增强待测工件表面纹理；第2.3步骤、使用Bouguet算法对相机拍摄的图片存在的光学畸变误差进行立体矫正，矫正后两台相机的投影点都在同一水平线上，使第5步骤中的双目匹配算法由二维图像搜索转化为一维直线搜索。
[0014]根据本专利技术一个实施例，第3步骤的具体步骤是：
[0015]第3.1步骤、相移图片的周期边界与第4步骤中格雷码图片的周期边界严格对应，格雷码最小周期为相移图片周期的4倍；第3.2步骤、生成相移条纹的公式；第3.3步骤、由4幅相移图片计算像素点的包裹相位。
[0016]根据本专利技术一个实施例，第4步骤的具体步骤是：第4.1步骤、投影2
n
>E幅格雷码，使周期无歧义展开；其中，n为投影格雷码幅数，n为大于或等于1的正整数；E为相移图片周期数，E为一个定值且为正整数；第4.2步骤、将格雷码图片转化为灰度图，遍历单幅格雷码图片与其互补图片得到灰度最大值与灰度最小值，将单一像素点光强分离为直接分量与间接分量；第4.3步骤、根据计算出的直接分量与间接分量，设计分类规则，将像素点分为黑、白与背景点；第4.4步骤、将灰度为黑色的像素点设定为逻辑上的0，将灰度为白色的像素点设定为逻辑上的1，将背景点设定为较大灰度值，使背景图片在后续相位匹配通过设定阈值剔除；第4.5步骤、格雷码解码时，使用n幅格雷码图片，其中，n为大于或等于1的正整数，根据投影格雷码幅数n设定权重值。
[0017]根据本专利技术一个实施例，第5步骤的具体步骤是：第5.1步骤、使用格雷码值辅助包裹相位展开，计算绝对相位；第5.2步骤、极线矫正后左右相机的同名点落在对应极线上，展开后的绝对相位呈升序排列，设定阈值沿水平极线搜索寻找到左右相机同名点；
[0018]根据本专利技术一个实施例，第6步骤的具体步骤是：第6.1步骤、根据第5步骤寻找到的同名点计算水平视差值，根据相似三角形原理计算物点深度值；第6.2步骤、根据第2步骤中的标定数据，结合计算得到的物点深度值Z
c
，计算物点X
c
、Y
c
坐标。
[0019]根据本专利技术一个实施例，投影仪为DLP投影仪。
[0020]根据本专利技术一个实施例，相机为CMOS相机或CCD相机。
[0021]根据本专利技术一个实施例，两台相机均为CMOS相机，或者，两台相机均为CCD相机。
[0022]根据本专利技术一个实施例，在第4.5步骤中，根据格雷码的生成原理，相邻格雷码的汉明距离为1，解码后的格雷码未呈升序排列，将其转化为十进制的格雷码值，使结合第3步
骤中的四步相移法计算出的绝对相位周期之间升序排列。
[0023]本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
[0024]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0025]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目结构光的三维图像重建方法，其特征是，包括以下步骤：第1步骤、平台搭建：搭建三维图像重建系统，所述三维图像重建系统包括投影仪、两台相机、工控机、棋盘格标定板以及安装平台，所述工控机中具有实现三维图像重建方法的三维重建程序；第2步骤、完成三维图像重建系统的双目相机标定与图像畸变矫正：使用三维重建程序中的标定模块联合标定两台相机，并根据标定结果对投影图片进行极线矫正，使输入的相移图片与格雷码图片实现行对齐；第3步骤、基于四步相移法的包裹相位计算方法：三维重建程序中的解码模块读取采集到的相移图片，根据四步相移法的原理计算包裹相位值；第4步骤、基于环境光分割的鲁棒二值化方法：三维重建程序中的解码模块读取采集到的格雷码图片，采用一种基于环境光分割的鲁棒二值化方法，将格雷码二值化结果区分为黑、白与背景图片；第5步骤、绝对相位的计算与基于极线矫正双目匹配算法：三维重建程序中的相位匹配模块计算绝对相位，使用基于极线矫正双目匹配算法寻找两台相机拍摄得到的两张图像的同名点；第6步骤、点云世界坐标的计算：三维重建程序中的三维重建模块计算点云世界坐标，整合计算得到的三维坐标生成待测工件的点云集。2.根据权利要求1所述的基于双目结构光的三维图像重建方法，其特征是，所述第2步骤的具体步骤是：第2.1步骤、两台相机各采集N幅不同角度下棋盘格标定板的图片，其中，N为大于或等于15的正整数，提取棋盘格角点并优化使其达到亚像素精度，根据张正友标定法，计算两台相机内参：设定两台相机中的一台相机为左相机，另一台相机为右相机，以左相机为基准计算右相机相对于左相机的变化矩阵，并计算相机径向畸变系数与切向畸变系数；第2.2步骤、利用投影仪增强待测工件表面纹理；第2.3步骤、使用Bouguet算法对相机拍摄的图片存在的光学畸变误差进行立体矫正，矫正后两台相机的投影点都在同一水平线上，使所述第5步骤中的双目匹配算法由二维图像搜索转化为一维直线搜索。3.根据权利要求1所述的基于双目结构光的三维图像重建方法，其特征是，所述第3步骤的具体步骤是：第3.1步骤、相移图片的周期边界与所述第4步骤中格雷码图片的周期边界严格对应，格雷码最小周期为相移图片周期的4倍；第3.2步骤、生成相移条纹的公式；第3.3步骤、由4幅相移图片计算像素点的包裹相位。4.根据权利要求1所述的基于双目结构光的三维图像重建方法，...

【专利技术属性】
技术研发人员：姬伟，邓锋，曲东升，李长峰，陈辉，马腾，赵德安，
申请(专利权)人：常州铭赛机器人科技股份有限公司，
类型：发明
国别省市：