一种基于隐式三维表达的航空真正射影像生成方法和系统技术方案

本发明专利技术公开了一种基于隐式三维表达的航空真正射影像生成方法和系统，该方法包括：数据准备，至少包括航空影像，影像位姿与相机参数，正射影像地面分辨率；构建神经网络，利用已知相机内外参数的航空影像数据训练神经网络；渲染正射平行投影影像，即利用构建好的神经网络渲染每条光线对应的颜色，得到正射影像的像素值；根据正射影像的像素值，依据正射影像地面分辨率与坐标范围生成标准分幅的真正射影像

【技术实现步骤摘要】
一种基于隐式三维表达的航空真正射影像生成方法和系统


[0001]本专利技术属于计算机视觉三维重建
，尤其涉及一种基于隐式三维表达的航空真正射影像生成技术，主要用于基础地理底图生产
、
二三维联合测图等领域
。

技术介绍

[0002]对中心投影影像进行数字纠正，可消除地形起伏及相机倾斜角度等因素造成的投影差，生成正射影像
。
但人工地物
、
树木等地面上有一定高度的目标，其中心投影差无法通过数字纠正消除，从而导致正射影像上存在投影差，使其地理参考作用受限
。
真正射影像制作旨在生成各像素均为正射投影的正射影像，如何从根本上消除投影差成为决定真正射影像质量的关键因素
。
[0003]现有成熟的技术主要分为两类方法：
①
通过影像密集匹配生成三维点云，并通过显式三维重建生成带有真实纹理的三角网模型，由三角网模型进行正射投影采样得到真正射影像，其效果依赖三角网模型的几何精度与纹理精度，通常要求多视影像且影像间具备较高重叠度；
②
联合
DSM、LiDAR
等高程数据进行遮挡检测，非遮蔽区域直接纠正，而遮蔽区域则选取对该区域可视的影像区域进行纠正，其对地物高程信息数据要求较高且相邻区域纹理难以协调一致，无法处理地物复杂区域
。
现有方法对初始输入要求高且在绝对遮蔽区域完全失效，难以在数字测图等领域中较好地应用
。

技术实现思路

[0004]本专利技术要解决的技术问题在于规避现有真正射影像生成中对测区三维高程及矢量信息要求高的难点，提供一种基于隐式三维表达的真正射影像生成方法
。
本专利技术利用已有视角航空影像数据，通过隐式三维表达训练神经网络，利用平行投影合成新视角影像，从而渲染得到真正射影像
。
[0005]与现有方法相比，本专利技术对输入影像数据的重叠率
、
纹理特征要求低，能完全消除相对遮挡区域
、
不受显式三维重建精度影响，且能高效地利用高程数据，快速生成无损真正射影像
。
因此，该方法具有重要的实用价值和广泛的应用前景
。
[0006]本专利技术解决其技术问题所采用的技术方案是：一种基于隐式三维表达的航空真正射影像生成方法，该方法包括以下步骤：
[0007]步骤1，数据准备，至少包括航空影像，影像位姿与相机参数，正射影像地面分辨率；
[0008]步骤2，构建神经网络，利用已知相机内外参数的航空影像数据训练神经网络；
[0009]对航空影像上每个像素对应的光线进行采样得到一系列的三维采样点，将这些三维采样点的坐标和视角作为神经网络的输入，三维采样点对应的颜色和体密度作为输出；
[0010]步骤3，渲染正射平行投影影像，即利用步骤2构建好的神经网络渲染每条光线对应的颜色，得到正射影像的像素值；
[0011]步骤4，根据正射影像的像素值，依据正射影像地面分辨率与坐标范围生成标准分
幅的真正射影像
。
[0012]进一步的，步骤1中还包括激光雷达数据
。
[0013]进一步的，步骤2的具体实现方法为：
[0014]步骤
2.1
，沿光线
r(t)
采样三维空间点，
t
对应光线上的位置；
[0015]步骤
2.2
，构建神经网络
F
，采样点的坐标位置
(x,y,z)
和视角方向
(
θ
,
φ
)
作为输入，对应的颜色
c
和体密度
σ
作为输出构建一个全连接
MLP
神经网络
F
，对应关系为
(c,
σ
)
＝
F(x,y,z,
θ
,
φ
)
；
[0016]步骤
2.3
，渲染点投影航空影像：根据体绘制理论，沿光线
r(t)
积分得到光线在航空影像上对应的颜色其中
δ
i
＝
t
i+1
‑
t
i
表示采样点间的距离；
σ
i
和
c
i
分别表示采样点
t
i
的体密度和颜色；表示光线从第一个采样点到
t
i
的累积透射率；
[0017]步骤
2.4
，限制约束条件：对于一组光线
R
，神经网络训练的损失函数定义为其中
C(r(t)
为光线
r(t)
在航空影像上对应的真正颜色
。
[0018]进一步的，步骤2的具体实现方法为：
[0019]步骤
2.1
，沿光线
r(t)
采样三维空间点，
t
对应光线上的位置；
[0020]步骤
2.2
，构建神经网络
F
，采样点的坐标位置
(x,y,z)
和视角方向
(
θ
,
φ
)
作为输入，对应的颜色
c
和体密度
σ
作为输出构建一个全连接
MLP
神经网络
F
，对应关系为
(c,
σ
)
＝
F(x,y,z,
θ
,
φ
)
；
[0021]步骤
2.3
，渲染点投影航空影像：根据体绘制理论，沿光线
r(t)
积分得到光线在航空影像上对应的颜色其中
δ
i
＝
t
i+1
‑
t
i
表示采样点间的距离；
σ
i
和
c
i
分别表示采样点
t
i
的体密度和颜色；表示光线从第一个采样点到
t
i
的累积透射率；
[0022]步骤
2.4
，限制约束条件：对于一组光线
R
，神经网络训练的损失函数分为
L
c
和
L
lidar
两部分，其中
c
ij
表示第
j
条光线的第
i
个采样点对应的颜色，
c
lidar
表示该采样点在三维空间中对应的激光雷达点云颜色，可通过
K
近邻算法寻找附近激光雷达点云并根据距离加权计算
。
[0023]进一步的，步骤
2.1<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于隐式三维表达的航空真正射影像生成方法，其特征在于，包括如下步骤：步骤1，数据准备，至少包括航空影像，影像位姿与相机参数，正射影像地面分辨率；步骤2，构建神经网络，利用已知相机内外参数的航空影像数据训练神经网络；对航空影像上每个像素对应的光线进行采样得到一系列的三维采样点，将这些三维采样点的坐标和视角作为神经网络的输入，三维采样点对应的颜色和体密度作为输出；步骤3，渲染正射平行投影影像，即利用步骤2构建好的神经网络渲染每条光线对应的颜色，得到正射影像的像素值；步骤4，根据正射影像的像素值，依据正射影像地面分辨率与坐标范围生成标准分幅的真正射影像
。2.
根据权利要求1所述的基于隐式三维表达的航空真正射影像生成方法，其特征在于：步骤1中还包括激光雷达数据
。3.
根据权利要求1所述的基于隐式三维表达的航空真正射影像生成方法，其特征在于：步骤2的具体实现方法为：步骤
2.1
，沿光线
r(t)
采样三维空间点，
t
对应光线上的位置；步骤
2.2
，构建神经网络
F
，采样点的坐标位置
(x
，
y
，
z)
和视角方向
(
θ
，
φ
)
作为输入，对应的颜色
c
和体密度
σ
作为输出构建一个全连接
MLP
神经网络
F
，对应关系为
(c
，
σ
)
＝
F(x
，
y
，
z
，
θ
，
φ
)
；步骤
2.3
，渲染点投影航空影像：根据体绘制理论，沿光线
r(t)
积分得到光线在航空影像上对应的颜色其中
δ
i
＝
t
i+1
‑
t
i
表示采样点间的距离；
σ
i
和
c
i
分别表示采样点
t
i
的体密度和颜色；表示光线从第一个采样点到
t
i
的累积透射率，
N
表示采样点的个数；步骤
2.4
，限制约束条件：对于一组光线
R
，神经网络训练的损失函数定义为其中
C(r(t)
为光线
r(t)
在航空影像上对应的真正颜色
。4.
根据权利要求2所述的基于隐式三维表达的航空真正射影像生成方法，其特征在于：步骤2的具体实现方法为：步骤
2.1
，沿光线
r(t)
采样三维空间点，
t
对应光线上的位置；步骤
2.2
，构建神经网络
F
，采样点的坐标位置
(x
，
y
，
z)
和视角方向
(
θ
，
φ
)
作为输入，对应的颜色
c
和体密度
σ
作为输出构建一个全连接
MLP
神经网络
F
，对应关系为
(c
，
σ
)
＝
F(x
，
y
，
z
，
θ
，
φ
)
；步骤
2.3
，渲染点投影航空影像：根据体绘制理论，沿光线
r(t)
积分得到光线在航空影像上对应的颜色其中
δ
i
＝
t
i+1
‑
t
i
表示采样点间的距离；
σ
i
和
c
i
分别表示采样点
t
i
的体密度和颜色；表示光线从第一个采样点到
t
i
的累积透射率，
N
表示采样点的个数；步骤
2.4
，限制约束条件：对于一组光线
R
，神经网络训练的损失函数分为
L
c
和
L
lidar
两部分，其中
c
ij
表示第
j
条光线的第
i
个采样点对应的颜色，
c
lidar
表示该采样点在三维空间中对应的激光雷达点云颜色，可通过
K
近邻算法寻找附近激
光雷达点云并根据距离加权计算
。5.
根据权利要求3所述的基于隐式三维表达的航空真正射影像生成方法，其特征在于：步骤
2.1
中，每个像素对应的光线
r(t)
＝
o+td
从原点
o
发射，沿着方向
d
进行传播，对该光线进行采样，均匀或随机采样光线上的
N
个三维点，获得对应的坐标位置
(x
，
y
，
z)
和视角方向
(
θ
，
φ
)
，其中
θ
表示俯仰角，
φ
表示方位角
。6.
根据权利要求4所述的基于隐式三维表达的航空真正射影像生成方法，其特征在于：步骤
2.1
中，每个像素对应的光线
r(t)
＝
o+td
从原点
o
发射，沿着方向
d
进行传播，对该光线进行采样，根据激光雷达数据计算场景中目标物体包围盒...

【专利技术属性】
技术研发人员：刘欣怡，万一，张永军，岳冬冬，
申请(专利权)人：武汉大学，
类型：发明
国别省市：