一种基于双目视觉结构特性的稠密三维重建方法技术

本发明专利技术公开一种基于双目视觉结构特性的稠密三维重建方法，涉及计算机视觉技术领域；本发明专利技术方法对双目相机进行标定，获取内参与外参；获取双目相机图像；利用内参对图像进行畸变校正；进行图像特征提取；进行图像匹配，检索包含相同场景区域的图像对；进行图像特征匹配；基于双目视觉结构特性，使用增量式SfM算法生成稀疏点云，实现从图像序列中恢复环境结构；对场景进行稠密重建，并与场景进行融合；利用3D Delaunay算法生成Mesh网格，开展网格滤波；生成UV纹理贴图，将纹理信息与Mesh网格进行融合，得到稠密三维重建的最终结果。得到稠密三维重建的最终结果。得到稠密三维重建的最终结果。

【技术实现步骤摘要】
一种基于双目视觉结构特性的稠密三维重建方法


[0001]本专利技术公开一种稠密三维重建方法，涉及计算机视觉
，具体地说是一种基于双目视觉结构特性的稠密三维重建方法。

技术介绍

[0002]三维重建技术是基于计算机视觉和计算机图形学的交叉学科领域，旨在从二维图像中恢复出高精度、高保真的三维模型。从数据获取方法上来划分，三维重建可以划分为接触式和非接触式两种。接触式方法利用仪器快速直接测量场景的三维信息，主要包括触发式测量和连续式测量等；非接触式根据采集设备是否主动发射测量信号，分为基于主动视觉和基于被动视觉的三维重建方法。主动视觉三维重建方法主要包括激光扫描法、结构光法、阴影法、TOF技术、雷达技术、Kinect技术等；被动视觉三维重建方法只使用摄像机采集三维场景得到其投影的二维图像，根据图像的纹理分布等信息恢复深度信息，进而实现三维重建。
[0003]被动视觉稠密三维重建技术是计算机视觉领域的一个重要分支，在数字孪生、虚拟现实等方面具有广泛的应用前景。随着计算机硬件性能的不断提高和计算机视觉算法的不断进步，被动视觉稠密三维重建技术已经在许多领域得到广泛应用，如机器人导航、虚拟现实、文物保护、工业制造等。在被动视觉稠密三维重建中，多视图几何技术在发挥着至关重要的作用。
[0004]多视图几何技术基于多个视角下的图像数据，通过计算几何关系，将多个视角下的数据融合成一个稠密的三维模型。基于多视图几何的三维重建通常采用单目视觉采集序列化图像，通过运动结构恢复算法计算一系列的相机位姿及参数，再经过立体匹配算法生成稠密深度信息。相机位姿的计算依赖于图像特征之间的匹配关系，匹配关系的偏差在很大程度上影响了最终的三维重建效果。

技术实现思路

[0005]本专利技术针对现有技术的问题，提供一种基于双目视觉结构特性的稠密三维重建方法，使用双目视觉替代单目视觉，基于尺度不变特征变换SIFT算法提取图像特征，并将双目视觉的结构特性引入到运动结构恢复算法中，旨在解决在稠密三维重建中相机位姿解算准确度的问题，从而在保证稠密三维重建效率的前提下提高重建结果的精度。
[0006]本专利技术提出的具体方案是：
[0007]本专利技术提供一种基于双目视觉结构特性的稠密三维重建方法，具体步骤为：
[0008]步骤1：对双目相机开展标定工作，获取双目相机的内参与外参；
[0009]步骤2：使用双目相机采集待重建场景，获取图像；
[0010]步骤3：利用内参对图像进行畸变校正处理；
[0011]步骤4：对处理后的图像利用SIFT算法开展图像特征提取；
[0012]步骤5：输入所有图像并开展图像匹配，检索包含相同场景区域的图像获得匹配的
图像对；
[0013]步骤6：基于匹配的图像对开展图像特征匹配，使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点；
[0014]步骤7：根据图像对之间已匹配的图像特征，使用增量式SfM算法计算图像对之间的基础矩阵，获取每幅图像所对应的相机参数及位姿估计，将双目相机的外参引入，修正同一时间对应的左右视图之间的相对位姿关系，对相机位姿估计结果进行优化，从而获取更准确的相机位姿矩阵，基于优化后的相机参数及相机位姿矩阵，完成对图像的校正，并计算相应图像特征的三维坐标，生成稀疏点云，实现从图像序列中恢复环境结构；
[0015]步骤8：利用校正后图像及每幅图像所对应的相机位姿，利用立体匹配算法进行稠密重建，获取各场景对应的深度图，并将所有深度图进行融合；
[0016]步骤9：基于融合后的全部点云，利用3D Delaunay算法生成Mesh网格，并对网格进行滤波获得优化后网格；
[0017]步骤10：利用校正后的图像和所对应的相机位姿生成UV纹理贴图，通过空间位置匹配将纹理信息与Mesh网格进行融合，得到基于双目视觉结构特性的稠密三维重建结果。
[0018]进一步，所述的一种基于双目视觉结构特性的稠密三维重建方法中所述步骤1，包括以下步骤：
[0019]步骤11：使用双目相机从多角度多距离拍摄相机标定板图像；
[0020]步骤12：基于拍摄的图像，利用张正友标定法获取双目相机内参与外参。
[0021]进一步，所述的一种基于双目视觉结构特性的稠密三维重建方法中所述步骤2，包括以下步骤：
[0022]步骤21：使用双目相机为图像采集设备，以单张图像拍摄或视频录制的形式采集待重建场景信息；
[0023]步骤22：将采集的待重建场景信息的图像进行整合，其中将视频按帧率提取为一系列单张图像与采集到的图像打包为重建图像数据集。
[0024]进一步，所述的一种基于双目视觉结构特性的稠密三维重建方法中所述步骤4，包括以下步骤：
[0025]步骤41：构建尺度空间，检测极值点，获得尺度不变性；
[0026]步骤42：过滤图像特征点并对特征点进行精确定位；
[0027]步骤43：为特征点分配方向值；
[0028]步骤44：生成特征描述子；
[0029]步骤45：由于纹理复杂性的变化，不同图像之间提取特征的数量存在差异，对所有提取特征进行过滤处理，控制提取特征的数量在合理范围内。
[0030]进一步，所述的一种基于双目视觉结构特性的稠密三维重建方法中所述步骤5，包括以下步骤：
[0031]步骤51:使用词汇树方法生成图像描述符；
[0032]步骤52:将所有提取的特征描述符传递给词汇树，通过词汇树将描述符与词汇树的每个节点上的描述符进行比较来进行分类，每个特征描述符以一片叶子结束，通过索引存储叶子，用特征描述符索引的集合表示图像描述符；
[0033]步骤53:通过对比图像描述符查看不同的图像是否包含相同的内容。
[0034]进一步，所述的一种基于双目视觉结构特性的稠密三维重建方法中所述步骤6，包括以下步骤：
[0035]步骤61：对输入图像对的特征描述符集合进行光度匹配，对于一幅图像中的每个特征，获得另一幅图像中所对应的候选特征列表，
[0036]假设另一幅图像中只有一个有效匹配项，对于第一幅图像上的每个特征描述符，寻找2个最接近的特征描述符，建立基于光度标准的特征匹配候选列表；
[0037]步骤62：使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点。
[0038]进一步，所述的一种基于双目视觉结构特性的稠密三维重建方法中所述步骤7，包括以下步骤：
[0039]步骤71：将图像对之间的所有匹配特征融合到tracks中，每个track代表空间中的一个点，从多个视角观测；
[0040]步骤72：基于随机抽样一致性RANSAC算法，以最大化的特征匹配数量为标准选择最佳的初始图像对，同时保证图像对所对应的视角之间的角度也足够大；
[0041]步骤73：计算这两个图像之间的基础矩阵，并将第一幅图像所对应的相机坐标系视为世界坐标系原点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉结构特性的稠密三维重建方法，其特征是具体步骤为：步骤1：对双目相机开展标定工作，获取双目相机的内参与外参；步骤2：使用双目相机采集待重建场景，获取图像；步骤3：利用内参对图像进行畸变校正处理；步骤4：对处理后的图像利用SIFT算法开展图像特征提取；步骤5：输入所有图像并开展图像匹配，检索包含相同场景区域的图像获得匹配的图像对；步骤6：基于匹配的图像对开展图像特征匹配，使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点；步骤7：根据图像对之间已匹配的图像特征，使用增量式SfM算法计算图像对之间的基础矩阵，获取每幅图像所对应的相机参数及位姿估计，将双目相机的外参引入，修正同一时间对应的左右视图之间的相对位姿关系，对相机位姿估计结果进行优化，从而获取更准确的相机位姿矩阵，基于优化后的相机参数及相机位姿矩阵，完成对图像的校正，并计算相应图像特征的三维坐标，生成稀疏点云，实现从图像序列中恢复环境结构；步骤8：利用校正后图像及每幅图像所对应的相机位姿，利用立体匹配算法进行稠密重建，获取各场景对应的深度图，并将所有深度图进行融合；步骤9：基于融合后的全部点云，利用3D Delaunay算法生成Mesh网格，并对网格进行滤波获得优化后网格；步骤10：利用校正后的图像和所对应的相机位姿生成UV纹理贴图，通过空间位置匹配将纹理信息与Mesh网格进行融合，得到基于双目视觉结构特性的稠密三维重建结果。2.根据权利要求1所述的一种基于双目视觉结构特性的稠密三维重建方法，其特征是所述步骤1，包括以下步骤：步骤11：使用双目相机从多角度多距离拍摄相机标定板图像；步骤12：基于拍摄的图像，利用张正友标定法获取双目相机内参与外参。3.根据权利要求1所述的一种基于双目视觉结构特性的稠密三维重建方法，其特征是所述步骤2，包括以下步骤：步骤21：使用双目相机为图像采集设备，以单张图像拍摄或视频录制的形式采集待重建场景信息；步骤22：将采集的待重建场景信息的图像进行整合，其中将视频按帧率提取为一系列单张图像与采集到的图像打包为重建图像数据集。4.根据权利要求1所述的一种基于双目视觉结构特性的稠密三维重建方法，其特征是所述步骤4，包括以下步骤：步骤41：构建尺度空间，检测极值点，获得尺度不变性；步骤42：过滤图像特征点并对特征点进行精确定位；步骤43：为特征点分配方向值；步骤44：生成特征描述子；步骤45：由于纹理复杂性的变化，不同图像之间提取特征的数量存在差异，对所有提取特征进行过滤处理，控制提取特征的数量在合理范围内。5.根据权利要求1所述的一种基于双目视觉结构特性的稠密三维重建方法，其特征是
所述步骤5，包括以下步骤：步骤51:使用词汇树方法生成图像描述符；步骤52:将所有提取的特征描述符传递给词汇树，通过词汇树将描述符与词汇树的每个节点上的描述符进行比较来进行分类，每个特征描述符以一片叶子结束，通过索引存储叶子，用特征描述符索引的集合表示图像描述符；步骤53:通过对比图像描述符查看不同的图像是否包含相同的内容。6.根据权利要求1所述的一种基于双目视觉结构特性的稠密三维重建方法，其特征是所述步骤6，包括以下步骤：步骤61：对输入图像对的特征描述符集合进行光度匹配，对于一幅图像中的每个特征，获得另一幅图像中所对应的候选特征列表，假设另一幅图像中只有一个有效匹配项，对于第一幅图像上的每个特征描述符，寻找2个最接近的特征描述符，建立基于光度标准的特征匹配候选列表；步骤62：使用随机一致性采样RANSAC算法对特征匹配候选列表进行几何过滤获取最佳匹配点。7.根据权利...

【专利技术属性】
技术研发人员：张雲策，王建华，郭运艳，仝其胜，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：