一种顾及像素区域预测的深度图融合算法制造技术

本发明专利技术公开了一种顾及像素区域预测的深度图融合算法，包括S1、图像组合的计算：计算图像组合，为场景中每张参考图像选出一组邻居候选图像集；S2、像素区域的预测：构建粗略尺度的物方体素及测度估计，并提出了由粗略尺度引导的精细尺度上融合像素区域的推断策略和纠正器；S3、深度值融合：以精细尺度上已推断的像素区域作为像方约束进行深度值的融合。优点是：在融合过程中加入预测的思想，将场景中的图像像素进行二元分类，后续步骤中只对有效像素区域进行深度图融合，可消除冗余计算，显著提高融合效率。融合效率。融合效率。

【技术实现步骤摘要】
一种顾及像素区域预测的深度图融合算法


[0001]本专利技术涉及深度图融合
，尤其涉及一种顾及像素区域预测的深度图融合算法。

技术介绍

[0002]多视立体重建技术可生成精细且真实的三维模型，目前该技术在大比例尺测图、三维模型纹理采集和数字城市快速三维建模等方面得到了广泛的应用。一般包括运动恢复结构(SfM)、密集匹配、深度图融合、网格构建和纹理重建等主要环节。多视立体三维重建的图像(简称多视图像)一般可通过倾斜航空摄影技术获取，即通过从五个不同的视角(一个垂直和四个倾斜)同步采集图像，获取到丰富的建筑物顶面及侧视的高分辨率纹理。倾斜航空摄影方式采集的图像(简称为倾斜图像)具有高重叠的特点，可用于保证复杂地物的重建质量，一般情况下，同一航向连续图像间的重叠度约为80％，相邻航向图像间重叠度约为60％。然而，随着重建区域的增大以及重建精度的不断提高，倾斜图像的高重叠特点给多视立体重建带来了愈加严重的冗余计算，导致重建处理的效率较低。而多视立体重建的冗余计算问题主要体现在了深度图融合环节，因此，降低深度图融合中的冗余计算是提升多视立体重建效率的有效途径。
[0003]深度图融合是指将不同视角的深度图融合到统一的坐标框架下并进行表面计算，以产生整个场景的密集点云。目前，国内外学者在这一领域取得了卓有成效的进展，算法大致分为三类：基于体素的融合算法、基于特征点扩散的融合算法和基于深度图的融合算法。深度图融合的重点研究主要集中在融合质量和融合效率两个方面，现有算法在融合质量方面较为成熟，但在融合效率方面还存在大量的冗余信息计算问题，导致融合算法效率较低。基于深度图的融合算法能够适应不同方式获取的深度图，计算复杂度较低且鲁棒性较高。因此，该类方法成为最常用的深度图融合算法.
[0004]基于深度图的融合算法是以多视角深度图及其相机的内外参数作为输入，借助参考图像与邻居图像之间的几何信息、物体光度特征以及物体在多视角间的可视性等因素作为融合条件，从而生成用于还原真实地物的三维点云。学者们不断地对基于深度图的融合算法开展相关研究，重点关注融合质量和冗余计算消除两个方面。
[0005]Tola等人从特征提取的角度出发，通过DASIY特征过滤掉噪声点，再根据相邻视图的一致性检查，对产生的冗余点进行筛选合并；Schops在检查多视点之间的冗余计算时，利用单应性矩阵确定对应点之间的联系，再借助深度图算出三维空间中点的法向量，并对比法向量排除差异较大的点；Hern
á
ndez通过多视角深度图统计出3D空间中每个点在不同视角下可见性的概率情况，通过图割区分出物体的前景和背景部分后在对不同区域深度图进行融合。Merrell P等人使用两种实时性的基于视角间可见性的点云融合方法，分别是基于稳定性的方法和基于置信度的方法，实现深度图的融合。Liu等人采用了多尺度下的迭代方法(MSS)进一步优化原始的深度图，再通过阈值方法，对冲突点进行筛选。M等人对于新计算出的每个三维点，计算这个点的协方差误差椭圆，如果这个点的协方差误差椭圆
与其他点的协方差误差椭圆相交，则将这些点进行融合。Liu等人通过定义有限数量的虚拟视角，尽可能地减少冗余并覆盖全部场景，在虚拟视角上融合深度图并实现三维重建，但算法仅对五个镜头的倾斜图像有效。Shen等人为了消除直接合并深度图所带来的大量冗余，通过相邻图像的深度图测试并合并满足深度值足够接近的点；Galliani S等人在此基础上进一步完善，首先将每张图像作为融合的参考图，然后在弱纹理和遮挡区域进行一致性检测，同时根据不同的应用需求，平衡了三维点云的准确性和完整性。
[0006]现有的基于深度图的融合算法一般通过设置相对深度差、法线角度和重投影误差等一致性约束作为融合条件，保证融合生成的三维点云质量；但在冗余计算消除方面只关注了三维点云的密度而忽略了重复计算。当场景所包含的图像之间重叠度越高，即可以看到同一地物的像素数越多，则深度图融合时的冗余计算愈加严重。具体原因分析如下：
[0007](1)参考图像逐像素的融合判定：
[0008]在融合过程中，现有基于深度图的融合算法需要对像素计算一致性约束的值，满足条件的像素被称为可接受像素，也称有效像素；不满足条件的像素被称为不可接受像素，也称为无效像素。图像中所有有效像素组合成的凸包被称为有效像素区；图像中剩余区域被称为无效像素区，如图1(a)和1(b)所示。现有基于深度图的融合算法，不区分有效像素区和无效像素区，需对图像中全部像素计算一致性约束值。因此，图像中无效像素区的融合判定造成了不必要的冗余信息计算。
[0009](2)场景中所有图像均需转换为参考图像：
[0010]密集匹配阶段(一般包括深度图的估计和过滤)生成的深度图通常存在重叠度高、由弱纹理区域产生的噪声和表面起伏等特点。为了避免因直接合并深度图而产生具有大量噪声的三维点云，现有基于深度图的融合算法通常会将场景中的全部图像转换为参考图像并进行融合。但场景的所有图像中会存在一部分的无效图像，即图像中不存在任何有效像素区，这些图像无需进行融合判定及生成三维点云。因此，无效图像中像素的一致性约束值计算也是冗余的。

技术实现思路

[0011]本专利技术的目的在于提供一种顾及像素区域预测的深度图融合算法，从而解决现有技术中存在的前述问题。
[0012]为了实现上述目的，本专利技术采用的技术方案如下：
[0013]一种顾及像素区域预测的深度图融合算法，包括如下步骤，
[0014]S1、图像组合的计算：
[0015]利用SfM重建的共享特征点的数量作为主要度量指标，结合角度权重函数和尺度权重函数，联合构建全局视图选择的得分函数，为场景中每张参考图像选出一组候选邻居图像集合，并基于候选邻居图像集合中的每个图像的全局得分计算获取图像得分之和；
[0016]S2、像素区域的预测：
[0017]构建粗略尺度上的物方体素，并为每个物方体素选出聚合图像子集及附属信息；以粗略尺度为引导，推断精细尺度上的有效像素区域，并基于精细尺度纠正器纠正来自粗略尺度上物方体素的错误估计；
[0018]S3、深度值融合：
[0019]以精细尺度上已推断的像素区域作为像方约束，判定并筛选得到有效像素，将有效像素深度值对应的三维点和法向量估计的三维点平均为一个统一的三维点。
[0020]优选的，步骤S1具体包括如下内容，
[0021]S11、构建全局得分函数：以场景中参考图像R共享的特征点数量作为加权并构建全局得分函数g
R
，以计算候选邻居图像集合N中的每个图像V的全局得分；
[0022][0023]其中，F
V
和F
R
分别为图像V和参考图像R的特征点集合；w
N
(f)和w
s
(f)分别为角度权重函数和尺度权重函数；所述候选邻居集合N中包括参考图像R；
[0024]将角度权重函数w
N
(f)定义为N中所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种顾及像素区域预测的深度图融合算法，其特征在于：包括如下步骤，S1、图像组合的计算：利用SfM重建的共享特征点的数量作为主要度量指标，结合角度权重函数和尺度权重函数，联合构建全局视图选择的得分函数，为场景中每张参考图像选出一组候选邻居图像集合，并基于候选邻居图像集合中的每个图像的全局得分计算获取图像得分之和；S2、像素区域的预测：构建粗略尺度上的物方体素，并为每个物方体素选出聚合图像子集及附属信息；以粗略尺度为引导，推断精细尺度上的有效像素区域，并基于精细尺度纠正器纠正来自粗略尺度上物方体素的错误估计；S3、深度值融合：以精细尺度上已推断的像素区域作为像方约束，判定并筛选得到有效像素，将有效像素深度值对应的三维点和法向量估计的三维点平均为一个统一的三维点。2.根据权利要求1所述的顾及像素区域预测的深度图融合算法，其特征在于：步骤S1具体包括如下内容，S11、构建全局得分函数：以场景中参考图像R共享的特征点数量作为加权并构建全局得分函数g
R
，以计算候选邻居图像集合N中的每个图像V的全局得分；其中，F
V
和F
R
分别为图像V和参考图像R的特征点集合；w
N
(f)和w
s
(f)分别为角度权重函数和尺度权重函数；所述候选邻居集合N中包括参考图像R；将角度权重函数w
N
(f)定义为N中所有匹配对的乘积，其中，w
α
(f,V
i
,V
j
)＝min((α/α
max
)2,1)；V
i
,V
j
分别为第i个图像和第j个图像；α为从V
i
和V
j
到特征点f的视线之间的夹角；α
max
为夹角α的最大值；计算参考图像R的s
R
(f)，并基于比率r＝s
R
(f)/s
V
(f)定义尺度权重w
s
(f)，其中，s
R
(f)为参考图像R中以特征点f为中心的球体的直径；s
V
(f)为图像V中以特征点f为中心的球体的直径；S12、计算图像得分之和：利用贪心方法迭代地将当前最高得分的图像V逐个添加到最佳邻居图像集合中，直到最佳邻居图像集合的数量等于给定大小|N|，获取图像得分之和∑
V∈N
′
g
R
(v)。3.根据权利要求1所述的顾及像素区域预测的深度图融合算法，其特征在于：步骤S2具体包括如下内容，S21、粗略尺度的物方体素测度：借助已恢复场景中的相机内参、图像外参、连接点、深度图以及图像组合，将场景中部分图像对应的深度图反投影计算并采样生成物方空间的半密集点云以构建物方体素，并利用像方可见性测度和物方相交性测度估计物方体素测度；
所述连接点即为SfM重建的共享特征点；S22、精细尺寸纠正器：基于像方可见性测度和物方相交性测度构建精细尺度纠正公式，并基于精细尺寸纠正公式获取物方体素相对于视图的有效体素，对有效体素的像素范围进行合并，获取图像的有效像素区域。4.根据权利要求3所述的顾及像素区域预测的深度图融合算法，其特征在于：步骤S21具体包括如下内容，S211、根据连接点数量选出覆盖所有地物且图像之间的重叠度小的图像集合，即体素图像子集IRV；并利用完备率约束η使IRV在保证覆盖整个场景地物的前提下，尽可能剔除重叠度高的图像；其中，∑
j
ImageTiePoint为IRV包含的所有图像的连接点总数；|SceneTiePoint|为IR包含的所有图像的连接点总数；IR为场景包含的所有图像组成的集合；S212、对深度图做降采样处理，利用公式(5)反投影计算出三维点，并存储到半密集点云SemiPC中；其中，X为图像的世界坐标系下的三维点；λ为深度值；是相机u的旋转矩阵的转置；为相机u的内参矩阵的逆；C
u
为相机u的平移分量；p为图像的像素坐标；S213、利用八叉树结构对SemiPC进行三维空间划分，八叉树中的叶节点即代表物方体素SceneVoxels；S214、利用像方可见性测度和物方相交性测度两个定量度量指标估计体素测度。5.根据权利要求4所述的顾及像素区域预测的深度图融合算法，其特征在于：步骤S214具体包括如下内容，S2141、对SceneVoxels三角剖分形成物方体素网格Sc...

【专利技术属性】
技术研发人员：刘振东，蔡昊琳，洪志远，屈文虎，张帅哲，
申请(专利权)人：中国测绘科学研究院，
类型：发明
国别省市：