一种基于场景稀疏特征的三维重建方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于场景稀疏特征的三维重建方法、装置及存储介质，其中方法包括：获取城市场景的多视角图像；根据相机的运动方向和场景的重力矢量计算得到多视角图像的地平面法线；将多视角图像中同一个公共垂直立面上的三维点投影到一条线上，计算在0

【技术实现步骤摘要】
一种基于场景稀疏特征的三维重建方法、装置及存储介质


[0001]本专利技术涉及图像处理
，尤其是涉及一种三维重建方法、装置及存储介质。

技术介绍

[0002]大规模场景三维建模与表现是在计算机视觉技术、计算机图形学技术、数字图像处理技术、虚拟现实技术等学科迅猛发展的基础上产生的一种新型技术，已经广泛应用与军事训练、影视动画、电脑游戏等领域。例如，在军事领域,大规模场景三维重建技术能够虚拟仿真一个在时间和空间上相互耦合的大规模虚拟战场环境，基于该环境能够以较低成本完成军事人员的训练、武器系统的性能评估以及作战方案的演练。演习在大规模仿真环境中实施真实感强的对抗演习，每次演习节约数十亿美元成本，而且大大提高了演习的效率。在民用领域，大规模场景三维建模可用于城市的生态环境监测、智能交通仿真、智慧建筑工地等诸多领域。
[0003]随着数字图像采集和处理技术的发展，基于图像的三维重建技术成为恢复场景三维结构的主流方法之一，广泛应用于城市规划、智慧工地、环保监测、国土资源管理、特情处置等领域。现有的三维重建方法通常为以已知内外参数的多幅数字图像为输入，重建出真实世界中实际场景的三维模型，但是现有的三维重建方法需要扫描较大数量的平面，以充分采样视差范围，导致三维重建的效率较低。

技术实现思路

[0004]本专利技术提供了一种三维重建方法、装置及存储介质，以解决现有的三维重建方法需要输入过多数量的图像，导致三维重建的计算效率较低的技术问题。
[0005]本专利技术的实施例提供了一种基于场景稀疏特征的三维重建方法，包括：
[0006]获取城市场景的多视角图像；
[0007]根据相机的运动方向和场景的重力矢量计算得到所述多视角图像的地平面法线；
[0008]将所述多视角图像中同一个公共垂直立面上的三维点投影到一条线上，计算在0
°
到90
°
均匀采样的旋转向量，根据所述旋转向量确定所述多视角图像的立面法线；
[0009]分别以所述地平面法线和立面法线为扫描方向，对所述多视角图像扫描得到每一扫描方向的平面族；
[0010]筛选出所述平面族中的场景稀疏特征，基于所述场景稀疏特征提取所述多视角图像的深度图，根据所述深度图构建目标场景的三维模型。
[0011]进一步的，所述根据相机的运动方向和场景的重力矢量计算得到所述多视角图像的地平面法线，包括：
[0012]利用运动恢复结构计算得到相机的运动方向，从惯性导航系统传感器的数据中解析得到场景的重力矢量；
[0013]地平面法线的计算公式为：
[0014][0015]其中，G为地平面法线，V为场景的重力矢量，M为相机的运动方向。
[0016]进一步的，所述根据所述旋转向量确定所述多视角图像的立面法线，包括：
[0017]根据所述旋转向量构造第一直方图和第二直方图；
[0018]计算所述第一直方图的和所述第二直方图的熵值，将熵值最小的直方图对应的旋转向量作为所述多视角图像的立面法线。
[0019]进一步的，所述分别以所述地平面法线和立面法线为扫描方向，对所述多视角图像扫描得到每一扫描方向的平面族，包括：
[0020]所述平面族定义为：
[0021][0022]其中，P
i
为平面族，n
i
是每一平面的单位法线，d
i
是每一平面到原点的距离。
[0023]进一步的，所述筛选出所述平面族中的场景稀疏特征，包括：
[0024]采用Filter筛选法筛选出所述平面族中的表面特征，根据筛选后的平面族形成新的特征空间；
[0025]采用Wrapper包装法搜索所述新的特征空间中的场景稀疏特征，得到所述平面族中的场景稀疏特征。
[0026]进一步的，所述基于所述场景稀疏特征提取所述多视角图像的深度图，包括；
[0027]基于所述场景稀疏特征计算所述多视角图像的所有像素和所述平面族的成本函数，根据所有所述像素和所述成本函数提取得到所述多视角图像的深度图。
[0028]本专利技术的一个实施例提供了一种基于场景稀疏特征的三维重建装置，包括：
[0029]多视角图像获取模块，用于获取城市场景的多视角图像；
[0030]地平面法线计算模块，用于根据相机的运动方向和场景的重力矢量计算得到所述多视角图像的地平面法线；
[0031]立面法线计算模块，用于将所述多视角图像中同一个公共垂直立面上的三维点投影到一条线上，计算在0
°
到90
°
均匀采样的旋转向量，根据所述旋转向量确定所述多视角图像的立面法线；
[0032]平面族扫描模块，用于分别以所述地平面法线和立面法线为扫描方向，对所述多视角图像扫描得到每一扫描方向的平面族；
[0033]三维重建模块，用于筛选出所述平面族中的场景稀疏特征，基于所述场景稀疏特征提取所述多视角图像的深度图，根据所述深度图构建目标场景的三维模型。
[0034]进一步的，所述平面族扫描模块，还用于：
[0035]所述平面族定义为：
[0036][0037]其中，P
i
为平面族，n
i
是每一平面的单位法线，d
i
是每一平面到原点的距离。
[0038]进一步的，所述三维重建模块还用于：
[0039]采用Filter筛选法筛选出所述平面族中的表面特征，根据筛选后的平面族形成新的特征空间；
[0040]采用Wrapper包装法搜索所述新的特征空间中的场景稀疏特征，得到所述平面族中的场景稀疏特征。
[0041]本专利技术的一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的基于场景稀疏特征的三维重建方法。
[0042]在本专利技术实施例中，以平面法线和立面法线为扫描方向，无需对多个方向扫描数百个平面，仅需要扫描平面法线和立面法线方向得到对应平面族即可充分采样视差范围，从而能够在保证后续三维重建的精度的前提下，有效提高三维重建的效率。
[0043]进一步的，本专利技术实施例通过Filter筛选法初步筛选过滤掉平面族中的表面特征，以形成新的特征空间，再在新的特征空间的基础上进一步筛选得到场景稀疏特征，通过逐步筛选的方式能够有效获取得到的场景稀疏特征的可靠性，并基于获取得到的场景稀疏特征提取多视角图像的深度图，能够有效减少深度图的计算量，从而能够有效提高三维重建的速度。
附图说明
[0044]图1是本专利技术实施例提供的一种基于场景稀疏特征的三维重建方法的流程示意图；
[0045]图2是本专利技术实施例提供的一种基于场景稀疏特征的三维重建装置的结构示意图。
具体实施方式
[0046]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于场景稀疏特征的三维重建方法，其特征在于，包括：获取城市场景的多视角图像；根据相机的运动方向和场景的重力矢量计算得到所述多视角图像的地平面法线；将所述多视角图像中同一个公共垂直立面上的三维点投影到一条线上，计算在0
°
到90
°
均匀采样的旋转向量，根据所述旋转向量确定所述多视角图像的立面法线；分别以所述地平面法线和立面法线为扫描方向，对所述多视角图像扫描得到每一扫描方向的平面族；筛选出所述平面族中的场景稀疏特征，基于所述场景稀疏特征提取所述多视角图像的深度图，根据所述深度图构建目标场景的三维模型。2.如权利要求1所述的基于场景稀疏特征的三维重建方法，其特征在于，所述根据相机的运动方向和场景的重力矢量计算得到所述多视角图像的地平面法线，包括：利用运动恢复结构计算得到相机的运动方向，从惯性导航系统传感器的数据中解析得到场景的重力矢量；地平面法线的计算公式为：其中，G为地平面法线，V为场景的重力矢量，M为相机的运动方向。3.如权利要求1所述的基于场景稀疏特征的三维重建方法，其特征在于，所述根据所述旋转向量确定所述多视角图像的立面法线，包括：根据所述旋转向量构造第一直方图和第二直方图；计算所述第一直方图的和所述第二直方图的熵值，将熵值最小的直方图对应的旋转向量作为所述多视角图像的立面法线。4.如权利要求1所述的基于场景稀疏特征的三维重建方法，其特征在于，所述分别以所述地平面法线和立面法线为扫描方向，对所述多视角图像扫描得到每一扫描方向的平面族，包括：所述平面族定义为：其中，P
i
为平面族，n
i
是每一平面的单位法线，d
i
是每一平面到原点的距离。5.如权利要求1所述的基于场景稀疏特征的三维重建方法，其特征在于，所述筛选出所述平面族中的场景稀疏特征，包括：采用Filter筛选法筛选出所述平面族中的表面特征，根据筛选后的平面族形成新的特征空间；采用Wrapper包装法搜索所述新的特征空间中的场景稀疏...

【专利技术属性】
技术研发人员：薛均晓，刘亚坤，万里红，
申请(专利权)人：河南中原动亮智能科技有限公司，
类型：发明
国别省市：