基于共视性的MVSNet代价体素构建方法技术

基于共视性的MVSNet代价体素构建方法，利用注意力机制度量不同视图在各像素深度估计时的重要性并据此构建代价体，最终提高了DSM生成精度(MAE指标减小，<1

【技术实现步骤摘要】
基于共视性的MVSNet代价体素构建方法


[0001]本专利技术涉及卫星遥感影像数字地面模型(Digital Surface Model，DSM)生成领域，具体是一种基于共视性的MVSNet代价体素构建方法。

技术介绍

[0002]遥感技术主要利用无人机、卫星等设备捕获地物数据，通过后续处理分析获取目标位置、属性等状态及其变化规律。早在上个世纪，遥感技术就被列为国家科技攻关的重中之重；随着相关科研工作的展开，该技术更是被应用到我国社会经济建设的方方面面，如军事目标的侦察与监测、农作物的长势调查、环境质量检测、地表资源勘探、天气预报和灾情观测；为我国经济、社会治安带来了极高效益。作为遥感领域众多技术中的一员，卫星遥感影像DSM生成技术旨在根据多幅卫星遥感影像构建共视区域的DSM，从微观角度三维地描述该区域地形地貌特征。DSM是地理信息数据库中最为重要的空间信息资料，是地形分析的核心数据系统，同时也是构建国家空间数据基础设施的重要框架数据。
[0003]当前主流的传统卫星遥感影像DSM生成方案大都基于平面扫描算法，即预先假设多个深度假想平面，利用光度一致性、局部结构不变性以及深度连续性等约束构建匹配代价，通过优化的方式进行深度估计。这种方案存在以下缺陷：一是深度估计只能在两幅影像间进行。对于多视几何(Multi
‑
View Stereo，MVS)场景，该方案只能先进行两两匹配以估计深度，再融合估计结果获取最终深度；处理效率低下，耗时长。二是平面扫描算法本质上是通过两幅影像间的像素匹配进行深度估计的；由于匹配算法一般在弱纹理、重复纹理以及遮挡区域效率低下，因而也就无法实现这些区域的深度估计。
[0004]针对上述缺陷，目前有研究将在近景场景三维重建中表现优异的深度神经网络——MVSNet迁移至遥感场景中，以生成深度图，进而结合像素经纬度将其转化为DSM数据。MVSNet的主要思路是利用3D体素描述匹配代价，然后通过3D卷积为每个像素生成各深度概率，最后加权平均以生成最终深度图；其在匹配代价构建过程中，假设“所有影像对参考影像像素深度估计而言同等重要”。现结合实际场景(如图1)对该假设进行可行性分析。
[0005]图中，a、b和c是位于参考相机视场内的三个空间点，现对其进行深度估计。其中，点c可以被其他所有辅助相机“看”到；因而对于此点的深度估计，所有遥感影像特征体应同等重要。点b可以被辅助相机1“看”到但不可以被辅助相机2“看”到；因而对于此点的深度估计，辅助遥感影像2特征体的权重应尽可能小；表示当前像素的深度应尽可能由其余两幅影像特征体决定。点a仅对参考相机可见，对辅助相机均不可见；因此对该点的深度需要结合其邻域像素深度加以估计。从该例可以看出，对参考影像不同像素进行深度估计时，应根据辅助影像与参考影像的共视现象确定不同视图对应特征体的权重，而MVSNet的“所有影像特征体同等重要”的假说并不合理。
[0006]可见，在进行参考影像的深度估计时，并不能对所有辅助影像一视同仁；应结合空间点对辅助相机的可视性构造合理的代价体，后续对其进行聚合以估计更为准确的深度图。

技术实现思路

[0007]为克服上述现有技术的缺点，本专利技术提出了基于共视性的MVSNet代价体素构建方法，MVSNet在构建代价体时首先构建多个深度假想平面，依据深度平面和相机内外参，将所有辅助影像特征转至参考相机坐标系下进行后续处理，这一过程成单应变换；具体变换公式如式1。
[0008][0009]其中，K1、R1、t1和K
i
、R
i
、t
i
分别指参考相机和辅助相机的内参矩阵、旋转矩阵和平移向量，I表示单位矩阵，n1表示参考相机光轴方向向量，d表示平面深度。从该式可以看出，在参考相机和辅助相机i内外参数已知的情况下，单应变换是关于深度d的函数。它能够将参考影像上的像素p映射至辅助影像i上的像素p
′
i
，如下式
[0010][0011]对于不同的深度假想平面d
j
,j∈(1,2,
…
,n)，存在一系列单应变换矩阵，由此生成一系列候选匹配像素以构成候选匹配像素集合。在此候选匹配像素集合中，计算像素对的相似程度作为的得分；其次，对于每个深度假想平面d
j
，在众多辅助影像i中选取得分最高的来构建像素p在深度假想平面d
j
上的代价：
[0012][0013][0014]式3中，用于描述像素p与候选匹配像素的相似程度；表示候选匹配像素集合中与像素p最相似的像素；式4中，表示像素p在深度假想平面d
j
上的代价。可以看出，本专利技术最重要的部分是相似函数f(
·
)的确立。与图像配准任务中的特征点法类似，本专利技术为每个像素构建适当的描述子来对像素本身的灰度值及其周围信息进行编码，然后计算两像素描述子之间的距离以此衡量两像素相似与否。
[0015]本专利技术的技术解决方案如下：
[0016]一种基于共视性的MVSNet代价体素构建方法，其特点在于，包括如下步骤：
[0017]①
描述子提取：利用编码器对多幅遥感影像(包括参考影像和辅助影像)进行特征提取，将提取的特征作为对应像素的描述子；编码器在对遥感影像进行下采样的同时，对像素邻域特征进行融合以提取影像局部纹理结构。因而本专利技术直接将编码器输出特征中每个像素对应的通道维信息作为该像素关于原始卫星遥感影像的描述子。
[0018]②
代价计算：针对辅助影像i，由于深度假想平面d
j
,j∈(1,2,
…
,n)的不同，将存在一系列候选匹配像素以构成候选匹配像素集合。在候选匹配像素集合中，基于前一步生成的描述子计算像素对的相似程度作为候选匹配像素的得分。对每个深度假想平面d
j
,j∈(1,2,
…
,n)，按照辅助影像i对应候选匹配像素的得分加权来构建像
素p在深度假想平面d
j
上的代价。
[0019]③
深度估计：利用3D卷积对得到的基于共视性的代价体素进行聚合回归以估计最优深度。
[0020]进一步，针对所述步骤
②
，本专利技术设计了基于交叉注意力机制的候选匹配像素相似程度计算模块，主要步骤为：
[0021]第一步：对由步骤
①
得到的参考影像描述子和辅助影像描述子，将某个深度假想平面所对应描述子取区块并重排列成一维向量。
[0022]第二步：对两者进行求积运算以求得权重矩阵；利用此权重矩阵对各个辅助影像描述子进行加权以生成最优辅助描述子。
[0023]第三步：将此最优辅助描述子与参考描述子做差并取平方，构建基于共视性的MVSNet代价体素。
[0024]与现有技术相比，本专利技术的有益效果是：利用注意力机制度量不同视图在各像素深度估计时的重要性并据此构建代价体，最终提高了DSM生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于共视性的MVSNet代价体素构建方法，其特征在于，包括如下步骤：
①
描述子提取：利用编码器对多幅遥感影像(包括参考影像和辅助影像)进行特征提取，将提取的特征(即通道维信息)作为对应像素关于原始卫星遥感影像的描述子；
②
代价计算：对辅助影像i，由于深度假想平面d
j
,∈(1,2,
…
,n)的不同，将存在一系列候选匹配像素以构成候选匹配像素集合；在候选匹配像素集合中，基于前一步生成的描述子计算像素对的相似程度作为候选匹配像素的得分；对每个深度假想平面d
j
,∈(1,2,
…
,n)，按照辅助影像i对应候选匹配像素的得...

【专利技术属性】
技术研发人员：李元祥，麻家骅，鲁家成，左宗成，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：