一种增量式多视图三维重建方法技术

本发明专利技术提出了一种增量式多视图三维重建方法，属于计算机视觉技术领域，解决了多视图三维重建过程中对已重建模型信息利用的问题。所述方法包括：一、利用运动恢复结构方法获得三维重建模型，并将图像路径、图像相机矩阵和重建三维点信息分别存储到内存中；二、读取新增图像和三维重建模型，根据图像特征匹配关系和二维三维映射关系确立初始图像对，重建三维点云；三、每次新增一张待重建图像，并对待重建新增图像进行重建，直至所有图像重建完毕；四、对重建后的稀疏点云模型进行基于面片的多视图立体视觉稠密重建，完成多视图三维重建。该方法适用性强，简化了人工筛选整理图像集和三维配准的过程。

An Incremental Multi-view 3D Reconstruction Method

【技术实现步骤摘要】
一种增量式多视图三维重建方法
本专利技术涉及一种增量式多视图三维重建方法，属于计算机视觉

技术介绍
随着电子技术和计算机技术的发展，消费级手持摄像设备可以方便的从各个角度获取物体的图像信息。基于运动恢复结构的多视图三维重建技术是通过拍摄不同角度的待重建物体图像，来计算生成该物体的三维模型，具有数据获取方式简便、自动化程度高、适应性强、应用范围广的特点。在三维重建过程中该技术是通过一次性输入所有待重建物体的多视图图像，来获得待重建物体的三维模型。如果重建得到的三维模型效果不佳或希望补全细节信息，则需要重新拍摄或筛选待重建物体的多视图图像，再次运行重建流程，虽然进行的是关于同一物体的重建，但该多视图图像得到重建模型不能为之后新增图像的重建过程提供信息参考。
技术实现思路
本专利技术为了解决基于运动恢复结构的多视图三维模型重建过程无法利用单幅新增图像对三维模型进行增量补全的问题，提供一种基于特征匹配和映射关系的增量式多视图三维重建方法，本专利技术所述方法简化人工筛选和三维模型配准等过程，快速准确地依靠多视图三维重建模型和新增图像实现模型细节信息补全。所采取的技术方案如下：一种增量式多视图三维重建方法，所述方法包括：步骤一、基于运动恢复结构方法进行多视图三维模型重建，获得三维重建模型，并将图像路径、图像相机矩阵和重建三维点信息分别存储到内存中；步骤二、读取新增图像和步骤一所述三维重建模型，根据图像特征匹配关系和二维三维映射关系确立初始图像对，重建三维点云；步骤三、每次新增一张待重建图像，并对所述待重建新增图像进行重建，直至所有图像重建完毕；步骤四、对所述重建后的稀疏点云模型进行基于面片的多视图立体视觉稠密重建，进而完成多视图三维重建。进一步地，步骤一的具体过程包括：第一步、保存图像路径：图像路径为重建使用图像在计算机内存中的绝对路径，每个路径单独成行，保存到img.txt；第二步、保存图像相机矩阵：每个图像相机矩阵单独存放Pmats文件下的txt文档中，文档名为与重建图像路径中图像一一对应的索引数字，如0.txt，1.txt；第三步、保存重建三维点信息：重建三维点信息包括重建后点总数和每个点参数两部分，保存到sfmOut.txt。进一步地，第一步所述图像相机矩阵为3×4的相机投影矩阵P，所述相机投影矩阵P为对于图像上的二维点x和其对应的三维空间点X，由x＝PX成立的矩阵。进一步地，第三步所述保存重建三维点信息的具体保存形式为：所述重建后点总数保存在文档第一行；所述每个点参数分四行保存：第一行保存三维点的x、y、z坐标；第二行保存三维点的r、g、b颜色；第三行保存该点的可视化列表，即重建点在每张图片下的特征点索引，若某张图片不能观测到该点，则索引值置-1；第四行保存该点的重投影误差；进一步地，步骤二所述重建三维点的具体过程包括：第1步、读取新增图像和步骤一的三维重建模型；第2步、提取图像特征并匹配：提取新增图像和多视图图像的SIFT特征，进行新增图像和多视图图像之间的特征匹配以及新增图像组之间的特征匹配；第3步、生成初始图像对：计算保留每张多视图图像与不同新增图像特征匹配数量的最大值，并根据不同新增图像特征匹配数量的最大值进行降序排列，选择具有最多匹配数量的多视图图像作为起始图像，计算新增图像与所述多视图图像的二维特征匹配点在多视图三维重建模型中被重建成三维点的数量，选择具有最多已重建点数的新增图像与多视图三维重建模型形成初始图像对；第4步、恢复新增图像的相机矩阵：已知多视图图像的相机矩阵和初始图像对之间的特征匹配关系，然后通过透视N点法计算新增图像的相机矩阵；所述透视N点法在匹配点数大于等于6时，采用直接线性变换法进行求解，由于实际匹配点数量通常较多，然后使用RANSAC算法对所求解进行优化计算；第5步、恢复三维点坐标：使用线性三角化法通过相机矩阵求解新增图像中尚未重建的二维特征点对应的三维点坐标；然后，将计算得到的三维点坐标重投影到二维图像上，计算每个点的重投影误差；若误差大于离群阈值则去除该点，若误差小于离群阈值，则保留该点；将经重投影误差筛选后的三维点添加到已重建结果中；第6步、全局优化：使用集束调整这种非线性最小化方法，对相机内参矩阵K，相机矩阵P和三维点坐标进行最大似然估计，使所有空间三维点到二维图像点上的重投影误差最小。进一步地，步骤三中对所述待重建新增图像进行重建的具体过程包括：步骤1、选取待重建新增图像：选出与上幅已重建图像特征匹配数量最多的待重建图像，计算图像的单应性矩阵，通过单应性矩阵将两幅图像变换到同一平面上，计算两幅图像的相似度，若相似程度在0.8～0.95之间，则选择该图像重建，否则选择匹配数量次多的重复此步骤。步骤2、恢复相机矩阵：计算三维点坐标，并进行全局优化；步骤3、步骤1至步骤2的内容直到所有图像重建完毕或无法选出合适的待重建图像。进一步地，步骤2中所述计算三维点坐标，并进行全局优化的具体过程为：Step1、生成初始图像对：计算保留每张多视图图像与不同新增图像特征匹配数量的最大值，并根据不同新增图像特征匹配数量的最大值进行降序排列，选择具有最多匹配数量的对试图图像作为起始图像，计算新增图像与所述多视图图像的二维特征匹配点在多视图三维重建模型中被重建成三维点的数量，选择具有最多已重建点数的新增图像与多视图三维重建模型形成初始图像对；Step2、恢复新增图像的相机矩阵：已知多视图图像的相机矩阵和初始图像对之间的特征匹配关系，然后通过透视N点法计算新增图像的相机矩阵；所述透视N点法在匹配点数大于等于6时，采用直接线性变换法进行求解，由于实际匹配点数量通常较多，然后使用RANSAC算法对所求解进行优化计算；Step3、恢复三维点坐标：使用线性三角化法通过相机矩阵求解新增图像中尚未重建的二维特征点对应的三维点坐标；然后，将计算得到的三维点坐标重投影到二维图像上，计算每个点的重投影误差；若误差大于离群阈值则去除该点，若误差小于离群阈值，则保留该点；将经重投影误差筛选后的三维点添加到已重建结果中；Step4、全局优化：使用集束调整这种非线性最小化方法，对相机内参矩阵K，相机矩阵P和三维点坐标进行最大似然估计，使所有空间三维点到二维图像点上的重投影误差最小。本专利技术有益效果：本专利技术定义了多视图三维重建过程中模型的保存内容和保存格式，便于以多视图三维重建模型为基础继续迭代重建；利用新增图像与多视图图像的特征匹配关系和二维特征点到三维空间点的映射关系确立初始图像对，以每次新增一幅待重建图像的方式增量式重建，不断完善模型的细节信息。本专利技术基于多视图三维重建模型进行增量式重建，简化了人工过程和配准过程，同时对于重建过程中的各个中间重建模型都可以保存成节点继续通过本方法重建，适用范围广，使用方式简便。附图说明图1为本专利技术方法的流程图。图2为多视图重建三维模型。图3为基于多视图三维重建模型补充16张新增图像后的三维模型。具体实施方式下面结合具体实施例对本专利技术做进一步说明，但本专利技术不受实施例的限制。实施例1：一种增量式多视图三维重建方法，如图1所示，所述方法包括：步骤一、基于运动恢复结构方法进行多视图三维模型重建，获得三维重建模型，并图像路径、图像相机矩阵和重建三维点信息分别存储到内存中；步骤二、读本文档来自技高网...

【技术保护点】
1.一种增量式多视图三维重建方法，其特征在于，所述方法包括：步骤一、基于运动恢复结构方法进行多视图三维模型重建，获得三维重建模型，并图像路径、图像相机矩阵和重建三维点信息分别存储到内存中；步骤二、读取新增图像和步骤一所述三维重建模型，根据图像特征匹配关系和二维三维映射关系确立初始图像对，重建三维点云；步骤三、每次新增一张待重建图像，并对所述待重建新增图像进行重建，直至所有图像重建完毕；步骤四、对所述重建后的稀疏点云模型进行基于面片的多视图立体视觉稠密重建，进而完成多视图三维重建。

【技术特征摘要】
1.一种增量式多视图三维重建方法，其特征在于，所述方法包括：步骤一、基于运动恢复结构方法进行多视图三维模型重建，获得三维重建模型，并图像路径、图像相机矩阵和重建三维点信息分别存储到内存中；步骤二、读取新增图像和步骤一所述三维重建模型，根据图像特征匹配关系和二维三维映射关系确立初始图像对，重建三维点云；步骤三、每次新增一张待重建图像，并对所述待重建新增图像进行重建，直至所有图像重建完毕；步骤四、对所述重建后的稀疏点云模型进行基于面片的多视图立体视觉稠密重建，进而完成多视图三维重建。2.根据权利要求1所述增量式多视图三维重建方法，其特征在于，步骤一的具体过程包括：第一步、保存图像路径：图像路径为重建使用图像在计算机内存中的绝对路径，每个路径单独成行，保存到img.txt；第二步、保存图像相机矩阵：每个图像相机矩阵单独存放Pmats文件下的txt文档中，文档名为与重建图像路径中图像一一对应的索引数字；第三步、保存重建三维点信息：重建三维点信息包括重建后点总数和每个点参数两部分，保存到sfmOut.txt。3.根据权利要求2所述增量式多视图三维重建方法，其特征在于，第一步所述图像相机矩阵为3×4的相机投影矩阵P，所述相机投影矩阵P为对于图像上的二维点x和其对应的三维空间点X，由x＝PX成立的矩阵。4.根据权利要求2所述增量式多视图三维重建方法，其特征在于，第三步所述保存重建三维点信息的具体保存形式为：所述重建后点总数保存在文档第一行；所述每个点参数分四行保存：第一行保存三维点的x、y、z坐标；第二行保存三维点的r、g、b颜色；第三行保存该点的可视化列表，即重建点在每张图片下的特征点索引，若某张图片不能观测到该点，则索引值置-1；第四行保存该点的重投影误差。5.根据权利要求1所述增量式多视图三维重建方法，其特征在于，步骤二所述重建三维点的具体过程包括：第1步、读取新增图像和步骤一的三维重建模型；第2步、提取图像特征并匹配：提取新增图像和多视图图像的SIFT特征，进行新增图像和多视图图像之间的特征匹配以及新增图像组之间的特征匹配；第3步、生成初始图像对：计算保留每张多视图图像与不同新增图像特征匹配数量的最大值，并根据不同新增图像特征匹配数量的最大值进行降序排列，选择具有最多匹配数量的多视图图像作为起始图像，计算新增图像与所述多视图图像的二维特征匹配点在多视图三维重建模型中被重建成三维点的数量，选择具有最多已重建点数的新增图像与多视图三维重建模型形成初始图像对；第4步、恢复新增图像的相机矩阵：已知多视图图像的相机矩阵和初始图像对之间的特征匹配关系，然后通过透视N点法计算新增图像的相机...

【专利技术属性】
技术研发人员：金晶，
申请(专利权)人：哈工大新材料智能装备技术研究院招远有限公司，
类型：发明
国别省市：山东,37