一种基于双层过滤的单目相机序列图像三维重构方法技术

本发明专利技术涉及一种基于双层过滤的单目相机序列图像三维重构方法，对传统的基于序列图像的三维重构技术在流程上进行改进，加入过滤流程。在初始阶段，依然采取传统方法进行稀疏点云重构与稠密点云重建，在稠密点云重构之后，泊松表面重构之前进行点云过滤，将部分离群点进行滤除，以减少对后续泊松表面重构操作的影响；在泊松表面重构之后，纹理映射之前，进行三角面片过滤，将部分离群点构建而成泊松表面进行滤除，减少对于纹理映射操作的影响。结果表明本发明专利技术在序列图像三维重构结果上优于传统的序列图像三维重构算法，有效提升了三维重构结果的质量。本发明专利技术具有相当的现实效果与应用意义。意义。意义。

【技术实现步骤摘要】
一种基于双层过滤的单目相机序列图像三维重构方法


[0001]本专利技术属于立体视觉技术以及计算机视觉技术，涉及一种基于双层过滤的单目相机序列图像三维重构方法。

技术介绍

[0002]基于序列图像的三维重构技术是立体视觉技术以及计算机视觉技术的重要组成部分，是三维重构的核心技术之一。基于单目相机序列图像的三维重建是通过一个确定的单目相机，环绕目标拍摄获得目标的一系列图像，并将获得的序列图像进行处理，获得目标的三维模型，是三维重构技术的一个重要组成部分。在进行三维重建时，往往会由于图像原因产生许多干扰，干扰原因包括图像的噪声，拍摄环境的光照影响，拍摄目标的表面性质以及图像中除去目标之外的背景杂物等。其中，影响最大的为除去对象的外点，因此，去除重建场景除对象的外点对序列图像的三维重构具有十分重要的意义。
[0003]如何重构出真实感的三维场景，以满足人们在数字城市，虚拟现实等领域的应用，已成为计算机视觉等领域热点关注的问题。三维重建技术大致包括通过激光探测与测量技术进行重建和通过影像进行重建两种。与前者相比，后者更加经济和便捷。基于单目相机序列图像的三维重建技术由于使用方便、成本低廉，比专业的三维扫描仪有更广泛的使用场景。基于影像的三维建模，就是通过对物体或者场景拍摄的图像序列来恢复物体的三维模型的过程，从而使得建模过程更加自动化，降低了人工劳动强度，减少了建模成本。利用图像序列进行场景三维重建时，拍摄的场景通常比较复杂，很少存在所拍摄的图像只有目标物体的情形。这样在点云重建时会产生一些除目标物体以外的离群点，因此在点云重建后需要进行点云过滤来去除这些离群点，降低离群点对目标重建的影响，使后续的重建工作更加精确。Poisson重构可以对散乱的点云构建出封闭曲面，生成目标物体的三维网格模型，但是随之也会产生很多冗余数据，所以如果想提取独立目标物体的三维模型就要对Poisson重构的冗余数据进行再次过滤，裁剪出目标物体。通过这种方式构建的目标物体三维模型就能脱离周围环境的影响，能够应用于更多的场景。关于三维模型的表面纹理处理，在游戏制作领域通常使用3D Studio Max、Autodesk Maya等三维动画渲染和制作软件进行人工贴附纹理，这种手工恢复纹理会造成不必要的人力财力消耗。相反，自动纹理映射就大大降低了生产的周期。
[0004]利用图像序列进行场景三维重建时，拍摄的场景通常比较复杂，很少存在所拍摄的图像只有目标物体的情形。这样在点云重建时会产生一些除目标物体以外的离群点。这些离群点一般会产生一系列影响，例如在进行匹配时会造成错误匹配，在进行纹理及表面重建时会发生贴图映射错误，同时，由于大量离群点的存在，会造成算法速度的严重降低。为了较少离群点的影响，一般采取人工消除的方式进行处理，此方法耗时耗力。同时，该操作会受到人工本身的影响，如果人工没有经验，或者对模型不了解，往往会发生去除的错误，造成正确点背消除而错误点依然存在的情况。因此，在点云重建后需要进行点云过滤来去除这些离群点，降低离群点对目标重建的影响，可以使后续的重建工作更加精确，并且采
用自动化方法进行处理，尽量排除人工造成的干扰。
[0005]本专利技术涉及一种去除重建场景或对象中的外点进行三维重构的新方法，即基于双层过滤的单目相机序列图像三维重构方法。

技术实现思路

[0006]要解决的技术问题
[0007]为了避免现有技术的不足之处，本专利技术提出一种基于双层过滤的单目相机序列图像三维重构方法
[0008]技术方案
[0009]一种基于双层过滤的单目相机序列图像三维重构方法，其特征在于步骤如下：
[0010]步骤1：采用单目相机，采集目标的序列图像数据，并采用中值滤波对序列图像数据进行去噪；之后对单目相机进行标定，之后进行稀疏点云重构：
[0011]步骤2：对于步骤1中得到不同图像对应的位姿信息和稀疏点云，先用CMVS算法聚簇用来加速处理稠密点云重建的速度，再用PMVS算法得到场景的稠密点云；
[0012]步骤3：对于步骤2得到的PMVS生成的稠密点云进行过滤，得到待重构物体的主体三维点云信息，通过三角化得到物体的三维表面，该操作使用Poisson重构；
[0013]对Poisson重构生成结果中多余的曲面点进行过滤删除后，再对被删除的离群点相关的三角面信息进行删除，得到三维模型的可见外壳；
[0014]步骤4：对Poisson重构出来的三角网格模型进行纹理映射，首先对模型的每个三角形网格选取不同的纹理，然后通过映射关系批量映射到模型表层，获得三维模型。
[0015]所述步骤的基于序列图像的稀疏点云三维重构为：1)对序列图像集使用SIFT特征进行特征提取与匹配；2)由相机内部参数和对极几何进行双目三维重建；3)由双目三维重建结果扩展到多目三维重建；4)集束优化。
[0016]所述步骤2的扩展和过滤操作循环三次。
[0017]所述模型的表面三角网格在各个视图中分为可见和不可见，而可见又分为完全可见和部分可见，在每幅视图中只对可见的三角面和部分可见的三角面提供候选纹理。
[0018]有益效果
[0019]本专利技术提出的一种基于双层过滤的单目相机序列图像三维重构方法，对传统的基于序列图像的三维重构技术在流程上进行改进，加入过滤流程。在初始阶段，依然采取传统方法进行稀疏点云重构与稠密点云重建，在稠密点云重构之后，泊松表面重构之前进行点云过滤，将部分离群点进行滤除，以减少对后续泊松表面重构操作的影响；在泊松表面重构之后，纹理映射之前，进行三角面片过滤，将部分离群点构建而成泊松表面进行滤除，减少对于纹理映射操作的影响。结果表明本专利技术在序列图像三维重构结果上优于传统的序列图像三维重构算法，有效提升了三维重构结果的质量。本专利技术具有相当的现实效果与应用意义。
[0020]比较传统三维重建方法本文方法具有以下优点：一个成像的相机就可以完成目标物体的重建，无需传统立体视觉成像所需多个成像设备(如三维扫描仪)的要求。手机或者无人机拍摄的图像都能较好地进行目标物体或者场景的重构；本专利专利技术自动纹理映射方法来降低了不必要的人工消耗，同时采用双层过滤机制，能有效滤出偏离目标物体较远的
离群点云，保证了目标物体重构的效果和后续应用。
附图说明
[0021]图1：双层过滤流程图，本专利技术算法流程图，总体方案设计图
[0022]图2：算法实验结果
具体实施方式
[0023]现结合实施例、附图对本专利技术作进一步描述：
[0024]本专利技术的步骤如下：
[0025]步骤1：使用单目相机，采集目标的序列图像数据，并使用中值滤波进行去噪。之后对单目相机进行标定，之后进行稀疏点云重构。基于序列图像的稀疏点云三维重构大致分为4个步骤：1)序列图像集的特征提取与匹配；2)由相机内部参数和对极几何进行双目三维重建；3)由双目三维重建结果扩展到多目三维重建；4)集束优化
[0026]本专利技术使用SIFT特征进行特征提取，使用五点法来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双层过滤的单目相机序列图像三维重构方法，其特征在于步骤如下：步骤1：采用单目相机，采集目标的序列图像数据，并采用中值滤波对序列图像数据进行去噪；之后对单目相机进行标定，之后进行稀疏点云重构：步骤2：对于步骤1中得到不同图像对应的位姿信息和稀疏点云，先用CMVS算法聚簇用来加速处理稠密点云重建的速度，再用PMVS算法得到场景的稠密点云；步骤3：对于步骤2得到的PMVS生成的稠密点云进行过滤，得到待重构物体的主体三维点云信息，通过三角化得到物体的三维表面，该操作使用Poisson重构；对Poisson重构生成结果中多余的曲面点进行过滤删除后，再对被删除的离群点相关的三角面信息进行删除，得到三维模型的可见外壳；步骤4：对Poisson重构出来的三角网格模型进行纹理映射，首先对模型的每个...

【专利技术属性】
技术研发人员：杨宁，李东臣，郭雷，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：