一种基于双目立体视觉系统的多视角三维重建方法技术方案

本发明专利技术公开了一种基于双目立体视觉系统的多视角三维重建方法，包括根据被重建物体规模，设计双目立体视觉系统，提前对双目立体视觉系统摄像头进行标定，制作双目立体视觉系统恢复三维信息的查找表；双目摄像头采集被重建物体视频信息，对右摄像头采集的视频信息进行单应变换，单应性变换后和左摄像头视频信息进行立体匹配得到被重建物体视差图，由视差图恢复被重建物体对应的三维信息；得到被重建物体不同视角三维点云信息，经过点云预处理、粗配准、精配准，将不同视角三维点云转换到同一坐标系下，完成对被重建物体多视角的三维重建。本发明专利技术大幅度降低三维重建设备费用、过程简单有效，工程应用价值高的优点。

【技术实现步骤摘要】

本专利技术涉及多镜头机器视觉
，具体涉及一种基于双目立体视觉系统的多视角三维重建方法。
技术介绍
三维重建是通过数字化手段对三维物体建立适合计算机表示和处理的数学模型。二维信息已经在众多领域有应用，但随着工业生产的要求，物体的二维信息已经不能满足于人们的要求。三维重建技术能够快速、精确的数字化表示三维物体。从而被广泛应用在工业测量、3D打印、文物数字化、人机交互等众多领域，其研究价值日益凸显。三维数据采集通常有两种方式。测量设备接触被重建物体表面测量数据。主要优点是数据采集不受物体材质和光线影响，边缘轮廓保存完整，精度较高。缺点是数据采集速度慢，效率低。另外一种设备主要利用光、声波等物理特性。例如3D扫描仪、TOF相机等。其优点是测量速度快，效率高，缺点是易受光照和物体表面材质影响，轮阔边缘保存不完整。三维重建技术能够快速、精确的数字化表示三维物体。该技术对人类生活具有重要作用。研究价值日益凸显，众多学者和公司从事相关方向的研究。2011年微软研究院开始进行一个名为KinectFusion项目，通过移动Kinect设备扫描物体进行实时三维模型重建。通过融合不同时序的深度数据，重建出目标物的三维模型，可以达到适时效果。2014年Google宣布了Tango项目，使用低成本的手机进行场景的3D扫描。其基本原理和KinectFusion相似。目前，现有的三维信息采集设备昂贵，三维重建操作相对复杂。基于双目立体视觉系统三维重建可以在相同重建效果下，大幅度降低三维信息采集设备费用，目前基于双目立体视觉系统三维重建市场应用少，具有较高的研究价值、应用价值和市场价值。
技术实现思路
为了克服现有技术存在的缺陷，本专利技术提供一种基于双目立体视觉系统的多视角三维重建方法，该方法具有三维信息采集设备低廉、过程简单有效、工程实用价值高的优点。本专利技术采用如下技术方案：一种基于双目立体视觉系统的多视角三维重建方法，包括如下步骤：S1根据被重建物体大小建立双目立体视觉系统，所述双目立体视觉系统由两个型号及参数相同的摄像头构成，两个摄像头平行固定，对两个摄像头进行立体标定，制作双目立体视觉恢复三维信息查找表；S2双目立体视觉系统采集被重建物体的视频信息，对右摄像头采集的视频信息进行单应性变换，将单应性变换后的视频信息和对应左摄像头采集的视频信息进行立体匹配得到被重建物体的视差，根据视差和三维信息查找表得到图像中每个点的三维信息；S3对重建物体不同视角三点云信息进行依次进行预处理、粗配准、精配准，获取相邻视角点云之间的旋转和平移，然后将不同视角三维点云转换到同一坐标系，完成对被重建物体多视角的三维重建。所述S1根据被重建物体大小建立双目立体视觉系统，所述双目立体视觉系统由两个型号及参数相同的摄像头构成，两个摄像头平行固定，对两个摄像头进行立体标定，制作双目立体视觉恢复三维信息查找表，具体为：S1.1所述双目立体视觉系统由两个型号及参数相同的摄像头构成，两个摄像头平行固定；S1.2对左右摄像头进行标定，获取左右摄像头的光心坐标、焦距、内参、两摄像头之间的旋转和平移参数，所述两个摄像头具体左、右摄像头；S1.3然后在双目摄像头前方设置标定板，标定板与双目摄像头图像平面平行，找到对应距离的视差，根据视差与距离之间的反比例关系，导出视差和深度的查找表即Z坐标和视差之间的关系查找表；S1.4所述视差和三维坐标点之间的关系为：X＝B(X1-O1)/(X1-X2)Y＝B(Y1-O1)/(X1-X2)Z＝Bf/(X1-X2)其中，Z为物体距离双目摄像头的深度值，B为双目摄像头的基线长度，X1,X2分别是特征点在左右像素平面上的像素坐标值，f是双目摄像头的焦距，单位是像素；S1.5根据视差和三维点坐标之间的关系，可知X、Y坐标和Z坐标之间相差一个系数，由视差深度表，即可得到视差和X、Y坐标之间的查找表。所述S2中左右摄像头采集被重建物体的视频信息，对右摄像头采集的视频信息进行单应性变换，将单应性变换后的视频信息和对应左摄像头采集的视频信息进行立体匹配得到被重建物体的视差视频，根据视差视频恢复物体的三维信息，具体为：S2.1左右摄像头采集被重建物体的视频信息，所述视频信息帧率同步；S2.2对右摄像头采集的视频信息进行单应性变换，所述单应性变换包括单应性矩阵求解和图像映射插值；S2.3将单应性变换后的视频信息和对应左摄像头采集的视频信息进行立体匹配得到图像中每个点的视差，根据视差值和三维信息查找表得到图像中每个点的三维信息。所述S3中，预处理包括离散点的去除、点云的降采样及噪声的去除。预处理后的三维点云进行粗配准获取相邻视角三维点云之间的初始旋转矩阵和平移矩阵，已知相邻视角三维点云之间的初始旋转矩阵和平移矩阵进行精配准，采用ICP迭代最邻近点算法对相邻视角进行精配准，得到最优旋转矩阵和平移矩阵。所述粗配准采用基于二维RGB图辅助三维点云粗配准方案。本专利技术的有益效果：(1)本专利技术方法可以大幅度降低三维数据采集设备费用。(2)本专利技术方法可以实现有较大平移和旋转相邻视角的配准。(3)本专利技术方法简单有效，具有很高的工程实用价值。附图说明图1是本专利技术的工作流程图；图2是本专利技术实施例1中的视差深度原理图；图3是本专利技术实施例1中的双目立体视觉系统模型示意图；图4是本专利技术实施例1中的生成三维点云流程图；图5是本专利技术实施例1中的单应性矩阵映射图；图6是本专利技术实施例1中的双线性插值原理图；图7是本专利技术实施例1中的正向映射模型图；图8是本专利技术实施例1中的逆向映射模型图；图9为本专利技术实施例1的二维RGB图辅助三维点云粗配准的流程图；图10为本专利技术实施例1多视角三维点云配准流程图。具体实施方式下面结合实施例及附图，对本专利技术作进一步地详细说明，但本专利技术的实施方式不限于此。实施例一种基于双目立体视觉系统的多视角三维重建方法，包括如下步骤：如图1所示，S1根据被重建物体大小建立双目立体视觉系统，包括摄像头的选择，基线的大小设置、摄像头的分辨率设置等。所述双目立体视觉系统包括具有平行光轴结构的左、右摄像头，采用外置标准尺寸棋盘格标定法对左右摄像头进行标定，得到双目摄像头的光心坐标、焦距、畸变系数、内参、两摄像头之间的旋转和平移参数，制作双目立体视觉恢复三维信息查找表，具体为：具体如下：1.1)如图2所示的双目立体视觉系统双目相机结构示意图。双目像机采用两个型号相同、参数基本相同的摄像头，且两个摄像头保持平行并固定在云台上。水平校准仪可以校准水平，可以旋转。1.2)待测点A，深度L与在两个图像平面的视差是X＝X1+X满足反比例关系： L = b * f X - - - ( 1 ) ]]>其中b基线长度、f为摄像头焦距、X为视差1.3)由(1.2)可知双目立体视觉系统恢复三维信息与焦距、基线、视差有关。与焦距大小、基线的长度成正比和视差大小成反比。但是基线越大、焦距越大双目立体视觉系统左右摄像头公共区域越小。分辨率越高视差值越大，但是计算量越大，运算速度越慢。因此设计双目立体视觉系统要根据项目要求综合考虑。本文档来自技高网...

【技术保护点】
一种基于双目立体视觉系统的多视角三维重建方法，其特征在于，包括如下步骤：S1根据被重建物体大小建立双目立体视觉系统，所述双目立体视觉系统由两个型号及参数相同的摄像头构成，两个摄像头平行固定，对两个摄像头进行立体标定，制作双目立体视觉恢复三维信息查找表；S2双目立体视觉系统采集被重建物体的视频信息，对右摄像头采集的视频信息进行单应性变换，将单应性变换后的视频信息和对应左摄像头采集的视频信息进行立体匹配得到被重建物体的视差，根据视差和三维信息查找表得到图像中每个点的三维信息；S3对重建物体不同视角三点云信息进行依次进行预处理、粗配准、精配准，获取相邻视角点云之间的旋转和平移，然后将不同视角三维点云转换到同一坐标系，完成对被重建物体多视角的三维重建。

【技术特征摘要】
1.一种基于双目立体视觉系统的多视角三维重建方法，其特征在于，包括如下步骤：S1根据被重建物体大小建立双目立体视觉系统，所述双目立体视觉系统由两个型号及参数相同的摄像头构成，两个摄像头平行固定，对两个摄像头进行立体标定，制作双目立体视觉恢复三维信息查找表；S2双目立体视觉系统采集被重建物体的视频信息，对右摄像头采集的视频信息进行单应性变换，将单应性变换后的视频信息和对应左摄像头采集的视频信息进行立体匹配得到被重建物体的视差，根据视差和三维信息查找表得到图像中每个点的三维信息；S3对重建物体不同视角三点云信息进行依次进行预处理、粗配准、精配准，获取相邻视角点云之间的旋转和平移，然后将不同视角三维点云转换到同一坐标系，完成对被重建物体多视角的三维重建。2.根据权利要求1所述的多视角三维重建方法，其特征在于，所述S1根据被重建物体大小建立双目立体视觉系统，所述双目立体视觉系统由两个型号及参数相同的摄像头构成，两个摄像头平行固定，对两个摄像头进行立体标定，制作双目立体视觉恢复三维信息查找表，具体为：S1.1所述双目立体视觉系统由两个型号及参数相同的摄像头构成，两个摄像头平行固定；S1.2对左右摄像头进行标定，获取左右摄像头的光心坐标、焦距、内参、两摄像头之间的旋转和平移参数，所述两个摄像头具体左、右摄像头；S1.3然后在双目摄像头前方设置标定板，标定板与双目摄像头图像平面平行，找到对应距离的视差，根据视差与距离之间的反比例关系，导出视差和深度的查找表即Z坐标和视差之间的关系查找表；S1.4所述视差和三维坐标点之间的关系为：X＝B(X1-O1)/(X1-X2)Y＝B(Y1-O1)/(X1...

【专利技术属性】
技术研发人员：冯颖，张欣，杜娟，苏比哈什·如凯迦，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44