一种针对遥感场景的表面重建与新视图合成方法技术

一种针对遥感场景的表面重建与新视图合成方法，涉及遥感图像处理技术领域，针对现有技术中由于颜色偏差及权重偏差的存在，导致合成的图像不准确的问题，本申请不仅能够拥有神经渲染对场景的逼真再呈现能力，还能兼顾表面渲染的无偏性与体渲染的感受野，以准确重建场景的曲面表示，进而提升了合成图像的准确率。同时，本申请还能针对遥感场景做出优化，以适应遥感场景视图稀疏、地物复杂的特性。地物复杂的特性。地物复杂的特性。

【技术实现步骤摘要】
一种针对遥感场景的表面重建与新视图合成方法


[0001]本申请涉及遥感图像处理
，具体为一种针对遥感场景的表面重建与新视图合成方法。

技术介绍

[0002]自然场景的三维空间建模，以及基于空间建模先验的场景视图合成一直是信息技术围绕人类交互体验的重要努力方向。在过去的几十年里面，研究者们一直尝试将自然真实场景转化为有效的数字资产，但这并非一件易事，尤其对于遥感图像而言。
[0003]传统三维重建方法的核心是立体匹配技术，即通过跨视图匹配特征点来重现深度信息，其重建管道主要由特征检测与匹配、稀疏点云重建、密集点云重建、泊松曲面重建几个阶段构成，而每个阶段都有可能引入误差，因此存在误差累积的问题。此外，仅对重建出的网格模型进行渲染无法对场景进行逼真的还原。
[0004]相较于基于显式表示(如体素、点云、网格)的传统方法，最近，神经渲染领域的研究基于使用隐式函数来表示场景，并通过优化像素颜色与相机射线颜色的差异(即可微分渲染)，来从图像中重构场景的三维表示，并在视图合成任务上取得了极好的表现。我们按照渲染方式将这些研究分为两类：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对遥感场景的表面重建与新视图合成方法，其特征在于包括以下步骤：步骤一：由运动恢复结构算法从遥感图像中恢复每张图像对应的相机内外参数，根据相机内外参数，并利用多视图立体匹配算法重建点云p
mvs
；步骤二：随机抽选一张遥感图像作为参考视图I
r
，同时抽取L张与I
r
相邻的遥感图像作为源视图I
s
＝{I
is
|i＝1，...，L}，并得到I
r
与I
s
对应的灰度图I
′
r
和I
′
s
＝{I
′
is
|i＝1，...，L}，而后从参考视图Ｉ
r
中随机选取一个像素P
ixel
，并根据相机内外参数构造射线p(t，v)对像素P
ixel
进行穿透，最后在射线p(t，v)上进行N点采样，得到像素P
ixel
对应的采样点集合P＝{p(t
i
，v)|i＝0，1，2...，N
‑
1}，其中，射线p(t，v)是一个三维矢量函数，即p(t，v)＝o+tv，其中，o表示摄像机的空间坐标，v表示射线的单位方向矢量，也即射线方向，t表示射线的深度；步骤三：将采样点集合P送入MLP网络F
θ
，得到对应的SDF值，然后根据SDF值对采样点集合P进行线性插值，得到令MLP网络F
θ
输出的SDF值为零时对应的空间点P
*
，及P
*
对应的射线深度t
*
，即有P
*
＝o+t
*
v；步骤四：将采样点集合P与P
*
取并集，得到点集P
′
；步骤五：对点集P
′
进行权重估计，得到点集P
′
对应的颜色权重{w(t
i
)|i＝0，1，2...，N}；步骤六：将点集P
′
、射线的单位方向矢量v送入MLP网络得到点集P
′
沿射线方向v对应的颜色值{c(t
i
，v)|i＝0，1，2...，N}，然后根据颜色权重对颜色值进行加权求和，并将求和结果作为像素P
ixel
对应的重建颜色c
volume_rendering
；步骤七：将空间点P
*
和射线的单位方向矢量v送入MLP网络得到P
*
沿射线方向v对应的颜色值c(t
*
，v)，并将其作为像素P
ixel
对应的重建颜色c
surface_rendering
；步骤八：由相机内外参数计算空间点P
*
在参考视图及源视图的灰度图I
′
r
与I
′
s
＝{I
′
is
|u＝1，...，L}中所对应的图像块I
′
r
(q)及I
′
s
(q)＝{I
′
is
(q
is
)|i＝1，...，L}；步骤九：由重建颜色c
volume_rendering
构造损失函数Loss
volume_rendering
、由重建颜色c
surface_rendering
构造损失函数Loss
surface_rendering
、由点云P
mvs
构造损失函数Loss
sdf
、由图像块I
′
r
(q)及I
′
s
(q)构造损失函数Loss
photo
，然后基于上述损失函数利用反向传播优化MLP网络F
θ
及步骤十：重复步骤二至步骤九K次，对MLP网络F
θ
及进行...

【专利技术属性】
技术研发人员：闫奕名，周巍昆，宿南，冯收，赵春晖，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：