无人机航拍图像合成方法、系统、计算机设备及存储介质技术方案

本发明专利技术属于计算机图形学与计算机视觉技术领域，公开了一种无人机航拍图像合成方法、系统、计算机设备及存储介质，包括：获取无人机航拍的若干二维图像；根据若干二维图像进行场景的三维重构，得到场景的稀疏三维点云模型，并在稀疏三维点云模型中进行采样，得到若干采样点；获取各采样点的训练数据，并根据各采样点的训练数据训练预设的完整场景神经辐射场网络模型，得到训练完成的完整场景神经辐射场网络模型；将设定视点方向输入训练完成的完整场景神经辐射场网络模型，通过渲染得到设定视点方向下的场景图像。具有更快的渲染速度，能够合成大规模范围内的场景，还可实现任意视点下的高质量视图渲染。下的高质量视图渲染。下的高质量视图渲染。

【技术实现步骤摘要】
无人机航拍图像合成方法、系统、计算机设备及存储介质


[0001]本专利技术属于计算机图形学与计算机视觉
，涉及一种无人机航拍图像合成方法、系统、计算机设备及存储介质。

技术介绍

[0002]随着科技的飞速发展，3D重建技术在城市发展、文物保护、虚拟现实以及工业地理测量等领域的业务需求越来越强烈。但由于传统的3D重建方式需要人工测量相关数据，再由专业软件绘制3D图形费时费力。近年来，无人机技术凭借其低成本、高效率、便携的特点，逐渐成为工程师获取航拍图像或视频图像的主要工具。目前，通过无人机拍摄的序列图像实现三维重建的研究日趋成熟。其中，基于图像的视点合成是计算机图形学与计算机视觉领域共同关注的重要问题。具体来说，即为利用已知拍摄视点的若干图像作为输入，对这些图像所拍摄的三维物体或者场景进行几何、外观、光照等性质的表达，从而可以对其他未拍摄到的视点的图像进行合成，最终得到具有高真实感的绘制结果。相比传统的三维重建结合图形绘制的流程，此类方法能够得到照片级别真实感的合成结果。
[0003]基于运动恢复结构(Structure From Motion，SFM)技术的Pix4D、VisualSFM、Smart3D以及ColMap等软件，利用SFM方法从输入的航拍图像序列中求解得到相机位姿以及三维空间的稀疏点云，之后对稀疏点云进行稠密化处理，再通过网格重建将稠密点云生成三角面片，最终对网格进行纹理贴图，得到带有纹理信息的三维地图。基于SFM技术的方法虽然整体流程较为成熟，但巨大的算法计算量使其对硬件配置要求较高，特别是对于高分辨率的航拍图像序列，为了保持原始分辨率的重建结果其处理时间会非常长，通常合成的视点也是非常有限的。
[0004]从稀疏的一组捕获图像中合成新的场景视图，是计算机视觉中长期存在的问题，也是许多AR和VR应用的前提。虽然经典技术已经使用基于运动结构或基于图像的渲染解决了这个问题，但仍然存在显式建模困难，三维重建精度低以及渲染图像质量差的问题。

技术实现思路

[0005]本专利技术的目的在于克服上述现有技术的缺点，提供一种无人机航拍图像合成方法、系统、计算机设备及存储介质。
[0006]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0007]本专利技术一方面，一种无人机航拍图像合成方法，包括：
[0008]获取无人机航拍的若干二维图像；
[0009]根据若干二维图像进行场景的三维重构，得到场景的稀疏三维点云模型，并在稀疏三维点云模型中进行采样，得到若干采样点；
[0010]获取各采样点的训练数据，并根据各采样点的训练数据训练预设的完整场景神经辐射场网络模型，得到训练完成的完整场景神经辐射场网络模型；所述训练数据包括采样点坐标、采样点视点方向、采样点隐式场景光照可见度特征向量以及采样点实际颜色值；
[0011]将设定视点方向输入训练完成的完整场景神经辐射场网络模型，通过渲染得到设定视点方向下的场景图像。
[0012]可选的，所述获取无人机航拍的若干二维图像包括：
[0013]获取无人机在固定高度、不同位置及不同视角下拍摄的若干二维图像，且相邻拍摄的二维图像的重叠度大于80％。
[0014]可选的，所述根据若干二维图像进行场景的三维重构包括：
[0015]运动恢复结构的colmap图像重建方法进行场景的三维重构。
[0016]可选的，所述完整场景神经辐射场网络模型包括前景神经辐射场网络和背景神经辐射场网络；
[0017]前景神经辐射场网络包括前景体积密度合成网络和前景颜色合成网络；前景体积密度合成网络为：前景颜色合成网络为：
[0018]其中，σ(t)表示体积密度函数；z(t)表示位置编码相关的特征向量；表示体积密度合成网络；γ
x
表示位置编码；表示前景颜色合成网络估计的前景图像颜色，r(t)＝o+td表示沿着光线原点发射光线，t∈(0,t
′
)表示为内部单位球体的场景边界，T(t)表示沿着视点相机光线的累积透明度，计算公式为表示，t表示沿着光线r距离光线原点的距离，c
i
(t)表示辐亮度，表示前景颜色合成网络，γ
d
(d)表示视角方向编码，表示第i张图像的隐式光照可见度特征向量编码，a表示光照可见度特征向量；
[0019]背景神经辐射场网络包括背景体积密度合成网络和背景颜色合成网络；背景体积密度合成网络为：背景颜色合成网络为：
[0020]其中，表示背景体积密度合成网络，表示背景颜色合成网络估计的背景图像颜色，t∈(t
′
,∞)表示单位圆球体外部，
[0021]所述完整场景神经辐射场网络模型的渲染函数为：
[0022][0023]其中，C
i
(r)为完整场景神经辐射场网络模型的合成颜色值，(i)为前景神经辐射场合成颜色值，(ii)为合成系数，(iii)为背景神经辐射场合成颜色值。
[0024]可选的，获取各采样点的采样点隐式场景光照可见度特征向量包括：
[0025]利用下式得到采样点沿视点方向的相机光线的不透明度α以及累积透明度T：
[0026][0027]α
i
＝1
‑
exp(
‑
σ
i
δ
i
)
[0028]其中，δ
i
＝t
i+1
‑
t
i
表示相邻采样点之间的距离，σ
i
表示视点方向的体积密度；利用下式得到采样点的采样点隐式场景光照可见度特征向量
[0029][0030]其中，a为光照可见度特征向量。
[0031]可选的，所述在稀疏三维点云模型中进行采样包括：
[0032]根据稀疏三维点云模型，得到场景的近界和远界，并在场景的近界和远界之间进行均匀采样，得到粗糙采样的采样点；
[0033]将粗糙采样的采样点输入预设的完整场景神经辐射场网络模型，得到颜色的概率密度分布函数；
[0034]根据颜色的概率密度分布函数，在概率值大于预设阈值的区域进行精细采样，得到精细采样的采样点；
[0035]组合粗糙采样的采样点和精细采样的采样点，得到最终的采样点。
[0036]可选的，所述根据各采样点的训练数据训练预设的完整场景神经辐射场网络模型时，采用下式的残差损失函数L进行训练：
[0037][0038]其中，R表示训练的每一批次的光线上采样点总数量，为粗糙采样的采样点输入完整场景神经辐射场网络模型得到的颜色估计值，为精细采样的采样点完整场景神经辐射场网络模型得到的颜色估计值，C(r)表示采样点的实际颜色值。
[0039]本专利技术第二方面，一种无人机航拍图像合成系统，包括：
[0040]获取模块，用于获取无人机航拍的若干二维图像；
[0041]采样模块，用于根据若干二维图像进行场景的三维重构，得到场景的稀本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机航拍图像合成方法，其特征在于，包括：获取无人机航拍的若干二维图像；根据若干二维图像进行场景的三维重构，得到场景的稀疏三维点云模型，并在稀疏三维点云模型中进行采样，得到若干采样点；获取各采样点的训练数据，并根据各采样点的训练数据训练预设的完整场景神经辐射场网络模型，得到训练完成的完整场景神经辐射场网络模型；所述训练数据包括采样点坐标、采样点视点方向、采样点隐式场景光照可见度特征向量以及采样点实际颜色值；将设定视点方向输入训练完成的完整场景神经辐射场网络模型，通过渲染得到设定视点方向下的场景图像。2.根据权利要求1所述的无人机航拍图像合成方法，其特征在于，所述获取无人机航拍的若干二维图像包括：获取无人机在固定高度、不同位置及不同视角下拍摄的若干二维图像，且相邻拍摄的二维图像的重叠度大于80％。3.根据权利要求1所述的无人机航拍图像合成方法，其特征在于，所述根据若干二维图像进行场景的三维重构包括：运动恢复结构的colmap图像重建方法进行场景的三维重构。4.根据权利要求1所述的无人机航拍图像合成方法，其特征在于，所述完整场景神经辐射场网络模型包括前景神经辐射场网络和背景神经辐射场网络；前景神经辐射场网络包括前景体积密度合成网络和前景颜色合成网络；前景体积密度合成网络为：前景颜色合成网络为：其中，σ(t)表示体积密度函数；z(t)表示位置编码相关的特征向量；表示体积密度合成网络；γ
x
表示位置编码；表示前景颜色合成网络估计的前景图像颜色，r(t)＝o+td表示沿着光线原点发射光线，t∈(0,t
′
)表示为内部单位球体的场景边界，T(t)表示沿着视点相机光线的累积透明度，计算公式为表示，t表示沿着光线r距离光线原点的距离，c
i
(t)表示辐亮度，表示前景颜色合成网络，γ
d
(d)表示视角方向编码，表示第i张图像的隐式光照可见度特征向量编码，a表示光照可见度特征向量；背景神经辐射场网络包括背景体积密度合成网络和背景颜色合成网络；背景体积密度合成网络为：背景颜色合成网络为：其中，表示背景体积密度合成网络，表示背景颜色合成网络估计的背景图像颜色，t∈(t
′
,∞)表示单位圆球体外部，所述完整场景神经辐射场网络模型的渲染函数为：
其中，C
i
(r)为完整场景神经辐射场网络模型的合成颜色值，(i)为前景神经辐射场合成颜色值，(ii)为合成系数，(iii)为背景神经辐射场合成颜色值。5.根据权利要求1所述的无人机航拍图像合成方法，其特征在于，获取各采样点的采样点隐式场景光照可见度特征向量包括：利用下式得到采样点沿视点方...

【专利技术属性】
技术研发人员：刘静，王钰琳，王浩龙，蒋晓瑜，苏立玉，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：