一种三维场景重构中几何线索感知的像素级点云稠密化方法技术

本发明专利技术涉及一种三维场景重构中几何线索感知的像素级点云稠密化方法，是为了解决三维重构中过程中点云稀疏，细节缺失的问题，通过定义投影一致性逻辑，来衡量几何关系的正确性并自适应调整像素的归属，指导空间点云的计算；能够将输入图像集的像素点进行有效整合并提取几何空间的投影线索，可以有效的提高三维重构结果的稠密性与精确度。

A pixel level point cloud denseness method for geometric clue perception in 3D scene reconstruction

The pixel level dense point cloud of the invention relates to a method for sensing geometry in 3D scene reconstruction clues, in order to solve the 3D reconstruction of point cloud is sparse, the lack of detail problems, through the definition of projection logical consistency, correctness and adaptive pixel to measure geometry attribution, calculation guide space point cloud the input image pixels; to set the projection clues effectively integrated and extraction of geometric space, dense can effectively improve the accuracy of the results of 3D reconstruction and.

【技术实现步骤摘要】
一种三维场景重构中几何线索感知的像素级点云稠密化方法
本专利技术属于计算机领域，尤其涉及基于图片信息的计算机视觉三维重构方法。
技术介绍
随着手持相机的普及以及海量网络影像数据的可获取，图片集已经成为场景分析与重建的重要媒介。通过在网络上搜索关键字，可以获取大量从不同视角拍摄的图像。运动求结构技术(StructurefromMotion)凭借其特有的易用性和可扩展性逐渐被三维重构领域的研究者们所重视。它是一种基于多视角立体几何的视觉三维场景重构方法，使用图片集作为场景重建的唯一依赖输入，所以对于采集设备具有很强的独立性。通过探询不同视角图像之间的立体几何关系，来同时的计算出空间点位置与摄像机拍摄姿态。该技术不依赖图像帧之间的时序信息，而且对于分辨率和光照条件的变化具有较强的鲁棒性，所以它既能处理连续的视频帧图像，也可以处理散乱的网络众源图像。例如，微软于2007年推出的图像拼接软件“PhotoSynth”就是使用运动求结构技术来得到稀疏的三维点云，然后将图片对齐到这些点云上得到一种类似三维浏览的交互方式，又如Autodesk公司在2011年推出的“123D”建模软件也是基于运动求结构方法来快速的恢复点云模型，进行得到最终的三维网格模型。与传统的基于激光扫描仪或者深度摄像机的重建方法相比，基于图片的视觉重建方法在成本方面更具优势，因为它并不依赖于昂贵的数据采集设备，只用简单的网络上收集的或者手机拍摄的图片即可完成重构工作。另外，在可扩展性及应用领域方面也更具竞争力。它不仅适用于室内场景或者小目标物体的精细重构，更可作为有效手段进行城市化场景的大规模三维建模。为了重构一个场景，使用扫描的方法往往需要亲临现场进行反反复复的扫描操作，而视觉的重构方法则不同，关于重构场景的并不需要到现场进行人工采集，直接使用网络图像或者视频影像即可。
技术实现思路
本专利技术针对现有技术的不足，提供一种三维场景重构中几何线索感知的像素级点云稠密化方法。本专利技术的技术方案为一种三维场景重构中几何线索感知的像素级点云稠密化方法，包含以下步骤：一种三维场景重构中几何线索感知的像素级点云稠密化方法，其特征在于，基于以下定义：定义一组图片集为Ι＝{I1,...,In}，其中图像Ii包含的像素点表示为}任一像素点又可以描述为的形式，其中为该像素的RGB三通道颜色空间向量，表示像素在图像平面中的二维坐标位置，包括横轴坐标值、纵轴坐标值、齐次坐标值以及差异值。像素所对应的三维空间点则可以表示为Tl＝＜Cl,Xl＞，其中为该点的RGB颜色值，为三维空间点坐标，包括横轴坐标值、纵轴坐标值、深度坐标值以及齐次坐标值；包含以下步骤：步骤1，在给定图像集Ι的环境下，使用运动求结构方法迭代的恢复出每幅图像的拍摄姿态以及摄像机信息，其中，拍摄姿态对应于立体几何中的相机外参矩阵，定义为[R|t]的形，R空间是旋转矩阵而t是空间平移向量，摄像机信息则对应于内参矩阵，可表示为K。将每幅图像的外参矩阵和内参矩阵相乘即可得到后续计算所需要的摄像机矩阵Pi＝Ki[Ri|ti]，实现方式如下：对于每幅图像，使用SIFT算法检测出其中具有的局部特征点。局部特征点为三维空间点在二维图像平面上的投影。对这些特征点进行基于特征描述符的相似性匹配(每个sift特征点会有一个128维的向量来描述，使用欧式距离两两的比较就能计算出相似度。)建立图像与图像之间的视觉联系，它反映了不同视角之间的立体对应关系，其中，设置匹配对的接收比值ratio＝M，其中M取值范围为[0，1]。然后使用RANSAC对极几何约束来验证匹配点的正确性，去除实际操作中的噪声点干扰。将满足几何性约束的匹配成功的特征点连组织成一系列轨迹点，传递给运动求结构迭代算法以便计算每幅图像对应的摄像机矩阵Pi。步骤2，整合像素点集，将像素点集自适应的适应的分割成k个聚类簇，一个聚类簇对应于一个三维点T*，实现方式如下：将整个图像集的像素点集合S＝{S1,...,Sn}放到一个二叉树结构上。该过程从表示数据集中的所有特征的根节点T开始。在每个节点单元中，首先验证是否存有像素点在来自于同一幅图像，即具有相同的图像标识δim。如果该节点单元中的所有像素点都具有不同的图像标识，则将其视为叶子节点。否则，如果两个或者多个像素点具有相同的δim标识，则需要进行二分划分。该划分从含有数据集中的所有像素点的根节点开始并且递归的进行，直到所有叶子节点中的像素点都来自于不同图像为止；其中，二分划分的具体步骤是：计算到该节点中所有像素点在r，g，b三个维度上的最大值和最小值，选择最大值和最小值距离最远的一个维度作为划分维度。在该维度中使用中间值将像素点分割为小于中间值和大于中间值的两个部分。步骤3，根据步骤1所得每幅图像的摄像机矩阵Pi以及步骤2所得k个初始的聚类簇，计算每个像素点在其所属聚类簇Ql中的投影一致性。投影一致性尺度定义如下：实现方式如下：对于每个集群Ql中的任一特征点首先计算该特征点与该集群中的其它像素点之间的投影一致性残差，表示为然后，选择其中具有最低残差值的一个像素点作为当前聚类的代表性点。并统计每个聚类簇所包含的投影一致性残差总和，定义为直到所有的聚类簇代表点以及相应的一致性残差总和El都被计算出来。步骤4，根据步骤3得到的聚类簇代表性像素点，也就是具有最低残差值的一个像素点作为当前聚类的代表性点，即的那一个计算每个像素点与不同聚类簇之间的投影一致性关系。该一致性由像素点与聚类簇的代表性点定义：并且重新调整每个像素点的归属关系。实现方式如下：对于数据集中的每一个像素点计算它与每个聚类簇代表性像素点之间的投影一致性残差。如果在这所有的聚类簇中，像素与聚类簇Ql的代表性像素点之间计算得到的投影一致性残差值最小，而且则像素应该分配到聚类簇Ql中去；否则，如果则不做任何修改，继续处理另一个像素点，直到所有的像素点被调整完成。步骤5，重复步骤3和4直到满足结束阈值。对步骤3和4迭代求得的聚类簇进行验证处理。滤除每个聚类簇中存在的潜在干扰点以及数量不满足要求的聚类簇。利用得到的最终聚类结果以及步骤1恢复出来的每幅图像的摄像机矩阵Pi，根据公式计算每个聚类簇对应的三维空间点坐标值。本专利技术利用图像之间的几何特性，通过自适应的迭代优化聚类方法，采取逐像素的对应以及空间几何计算方法，从而提高了运动求结构重建结果的稠密度。附图说明图1是本专利技术实施例的自适应稠密化方法的流程图。图2是本专利技术实施例的聚类簇内部数据更新示意图。图3是本专利技术实施例的像素点在聚类簇之间的调整示意图。具体实施方式本专利技术主要基于空间立体几何学，考虑图像成像特性和一致性聚类关系，提出的一种三维场景重构中几何线索感知的像素级点云稠密化方法。本方法充分考虑了每个图像不同像素点之间的几何特性，通过自适应迭代聚类的方法来逼近真实的像素级对应，进而对运动求结构方法生成的稀疏点云进行稠密化。通过本专利技术获得的结果更加科学，更加精确。本专利技术提供的方法能够用计算机软件技术实现流程。参见图1，实施例以几何线索GC为例对本专利技术的流程进行一个具体的阐述，如下：定义一组图片集为Ι＝{I1,...,In}，其中图像Ii包含的像素点表示为任一像素点又可以描述为的形式，其中为该像素的RGB三通道颜色空间向量，表示本文档来自技高网...

【技术保护点】
一种三维场景重构中几何线索感知的像素级点云稠密化方法，其特征在于，基于以下定义：定义一组图片集为Ι＝{I1,...,In}，其中图像Ii包含的像素点表示为

【技术特征摘要】
1.一种三维场景重构中几何线索感知的像素级点云稠密化方法，其特征在于，基于以下定义：定义一组图片集为Ι＝{I1,...,In}，其中图像Ii包含的像素点表示为}任一像素点又可以描述为的形式，其中为该像素的RGB三通道颜色空间向量，表示像素在图像平面中的二维坐标位置，包括横轴坐标值、纵轴坐标值、齐次坐标值以及差异值；像素所对应的三维空间点则可以表示为Tl＝＜Cl,Xl＞，其中为该点的RGB颜色值，为三维空间点坐标，包括横轴坐标值、纵轴坐标值、深度坐标值以及齐次坐标值；包含以下步骤：步骤1，在给定图像集Ι的环境下，使用运动求结构方法迭代的恢复出每幅图像的拍摄姿态以及摄像机信息，其中，拍摄姿态对应于立体几何中的相机外参矩阵，定义为[R|t]的形，R空间是旋转矩阵而t是空间平移向量，摄像机信息则对应于内参矩阵，可表示为K；将每幅图像的外参矩阵和内参矩阵相乘即可得到后续计算所需要的摄像机矩阵Pi＝Ki[Ri|ti]，实现方式如下：对于每幅图像，使用SIFT算法检测出其中具有的局部特征点；局部特征点为三维空间点在二维图像平面上的投影；对这些特征点进行基于特征描述符的相似性匹配建立图像与图像之间的视觉联系，它反映了不同视角之间的立体对应关系，其中，设置匹配对的接收比值ratio＝M，其中M取值范围为[0，1]；然后使用RANSAC对极几何约束来验证匹配点的正确性，去除实际操作中的噪声点干扰；将满足几何性约束的匹配成功的特征点连组织成一系列轨迹点，传递给运动求结构迭代算法以便计算每幅图像对应的摄像机矩阵Pi；步骤2，整合像素点集，将像素点集自适应的分割成k个聚类簇，一个聚类簇对应于一个三维点T*，实现方式如下：将整个图像集的像素点集合S＝{S1,...,Sn}放到一个二叉树结构上；该过程从表示数据集中的所有特征的根节点T开始；在每个节点单元中，首先验证是否存有像素点在来自于同一幅图像，即具有相同的图像标识δim；如果该节点单元中的所有像素点都具有不同的图像标识，则将其视为叶子节点；否则，如果两个或者多个像素点具...

【专利技术属性】
技术研发人员：肖春霞，严庆安，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42