一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统技术方案

本发明专利技术公开了一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统，涉及三维建模技术领域

【技术实现步骤摘要】
一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统


[0001]本专利技术属于三维建模
，具体涉及一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统
。

技术介绍

[0002]倾斜摄影测量技术是当前一项新兴和热门的测绘技术
。
它通过在飞行器上搭载多台传感器，从垂直和倾斜等多个角度拍摄，获取高精度影像
。
国内外倾斜摄影平台较多，如
ADS
系列相机
、RCD30
倾斜航摄仪
、
微软公司的
UCO
‑
P
航摄仪
、Pictometry
倾斜摄影系统和四维远见的
SWDC
‑5倾斜相机等
。
较常见的倾斜航摄仪多为5拼相机，即5台相机分别朝向前
、
后
、
左
、
右和垂直向下
。
在每个曝光点上，由多个镜头同时获得不同角度的影像
。
>同一特定地物可以在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法，其特征在于，包括：获取由无人机倾斜摄影设备对目标现场区域采集的倾斜摄影数据以及与所述倾斜摄影数据同步记录的无人机姿态测量数据或像控测量数据；根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述目标现场区域的初始实景三维场景，其中，所述初始实景三维场景包含有多个现场物体的初始三维模型；针对在所述多个现场物体中的各个现场物体，根据对应的初始三维模型，抠取得到对应的模型表面初始二维图像；对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理
,
得到所述各个现场物体的建模空洞区域识别结果；针对所述各个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络
GAN
对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，否则直接将对应的模型表面初始二维图像作为对应的模型表面完整二维图像；针对所述各个现场物体，将对应的模型表面完整二维图像渲染到对应的初始三维模型的表面上，得到对应的最终三维模型；在所述初始实景三维场景中，将所述各个现场物体的初始三维模型更新为对应的最终三维模型，得到所述目标现场区域的最终实景三维场景
。2.
根据权利要求1所述的实景三维虚拟现实场景构建方法，其特征在于，针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络
GAN
对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面最终二维图像，包括：针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则按照区域面积从小到大顺序依次排列所述至少一个建模空洞区域，得到一个建模空洞区域序列；针对在所述建模空洞区域序列中的第
k
个建模空洞区域，基于生成对抗神经网络
GAN
对与在所述建模空洞区域序列中的第
k
‑1个建模空洞区域对应的模型表面修复二维图像进行图像修复处理，得到对应的模型表面修复二维图像，其中，
k
表示正整数，所述某个现场物体的模型表面初始二维图像作为与第零个建模空洞区域对应的模型表面修复二维图像；将与在所述建模空洞区域序列中的最末一个建模空洞区域对应的模型表面修复二维图像作为所述某个现场物体的模型表面最终二维图像
。3.
根据权利要求2所述的实景三维虚拟现实场景构建方法，其特征在于，针对在所述建模空洞区域序列中的第
k
个建模空洞区域，基于生成对抗神经网络
GAN
对与在所述建模空洞区域序列中的第
k
‑1个建模空洞区域对应的模型表面修复二维图像进行图像修复处理，得到对应的模型表面修复二维图像，包括有如下步骤
S521
～
S525
：
S521.
应用在基于生成对抗神经网络
GAN
的且已完成预训练的完整图像生成模型中的图像生成器生成一个新图像，然后执行步骤
S522
；
S522.
应用在所述完整图像生成模型中的图像鉴别器判断所述新图像是否为完整图
像，若是，则执行步骤
S523
，否则再次应用所述图像生成器生成一个新图像，然后执行步骤
S522
；
S523.
根据所述新图像和与第
k
‑1个建模空洞区域对应的模型表面修复二维图像，计算得到两图像在非建模空洞区域内各个像素点的颜色差值，然后执行步骤
S524
，其中，
k
表示正整数，所述某个现场物体的模型表面初始二维图像作为与第零个建模空洞区域对应的模型表面修复二维图像；
S524.
判断所述两图像在所述各个像素点的颜色差值的标准差是否达到预设标准差阈值，若是，则将所述新图像作为与在所述建模空洞区域序列中的第
k
个建模空洞区域对应的模型表面修复二维图像，否则执行步骤
S525
；
S525.
将所述两图像在所述各个像素点的颜色差值作为内容损失惩罚项数据导入所述图像生成器，并再次应用所述图像生成器生成一个新图像，然后执行步骤
S522。4.
根据权利要求3所述的实景三维虚拟现实场景构建方法，其特征在于，所述完整图像生成模型的训练过程包括：获取真实的多个物体表面二维图像；应用所述多个物体表面二维图像，对包括有图像生成器和图像鉴别器的生成对抗神经网络
GAN
进行训练，得到所述完整图像生成模型
。5.
根据权利要求1所述的实景三维虚拟现实场景构建方法，其特征在于，对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理
,
得到所述各个现场物体的建模空洞区域识别结果，包括：针对所述各个现场...

【专利技术属性】
技术研发人员：武文娟，焦敏，董钇汝，孙玉红，杜爱新，马馨钰，
申请(专利权)人：北京思凌源创科技有限公司，
类型：发明
国别省市：