基于深度学习的倾斜三维模型车辆去除方法技术

本发明专利技术提供了一种基于深度学习的倾斜三维模型车辆去除方法，主要包括三个部分，即数据预处理、车辆提取、车辆去除三个部分。本发明专利技术有益效果：提供了一种基于深度卷积神经网络的倾斜三维模型车辆去除算法；针对倾斜三维模型中车辆运动导致的车辆变形问题，本发明专利技术提出基于深度学习的倾斜三维模型车辆去除方法，首先利用深度车辆检测网络YOLOX对三维模型中的车辆进行检测，定位车辆的位置，然后利用深度图像修复算法对车辆进行擦除，自动填充道路纹理。相较于基于Photoshop的手工车辆去除算法，本发明专利技术提出的方法可以有效的提高作业效率；本发明专利技术是一种端到端的倾斜三维模型车辆去除算法，无需人工干预。无需人工干预。无需人工干预。

【技术实现步骤摘要】
基于深度学习的倾斜三维模型车辆去除方法


[0001]本专利技术属于光学遥感图像处理
，尤其是涉及基于深度学习的倾斜三维模型车辆去除方法。

技术介绍

[0002]倾斜摄影通过在同一飞行平台上搭载多台传感器(常用五镜头)，同时从竖直、倾斜等不同角度采集影像，获取地面物体更为完整准确的信息，以大范围、高精度、高清晰的方式全面感知复杂场景，为实景三维场景真实效果和测绘级精度提供保证。无人机由于其操作便捷，机动灵活，成本低，不受恶劣环境和复杂地形限制等特点可快速完成大面积数据采集，被广泛应用于倾斜摄影测量。
[0003]然而在无人机倾斜摄影测量中，由于不同幅影像中车辆位置的变化，常导致获得的三维模型中出现车辆几何失真、纹理扭曲变形，这种变形严重影响了倾斜模型的精度和美观效果。针对这一问题，目前采用的方法主要是两种：1、在无人机影像建模过程中去除车辆。如大势智慧公司推出的重建大师软件在三维建模过程中判断车辆是否发生移动，对于移动的车辆进行剔除；2、三维建模后对变形车辆去除。这种方法主要用于对已有三维模型进行修复，常采用的方法是首先对变形的车辆区域进行压平操作，然后在Adobe Photoshop软件中对该区域的纹理图像进行修改，手动擦除车辆。针对已有三维模型的修复，需要在Adobe Photoshop软件中进行手工擦除和纹理填充，耗时耗力。因此，如何利用深度卷积神经网络自动化地进行车辆去除和纹理填充仍然需要进一步研究。

技术实现思路

[0004]有鉴于此，本专利技术旨在提出一种基于深度学习的倾斜三维模型车辆去除方法，以针对倾斜三维模型车辆去除问题。
[0005]为达到上述目的，本专利技术的技术方案是这样实现的：
[0006]一种基于深度学习的倾斜三维模型车辆去除方法，包括以下步骤：
[0007]S1、训练数据预处理；
[0008]S2、利用预处理后的训练数据进行训练深度车辆检测网络YOLOX；
[0009]S3、利用深度车辆检测网络YOLOX对车辆进行定位，然后基于深度图像修复算法LAMA对车辆去除；
[0010]进一步的，在步骤S1中的训练数据预处理，包括以下步骤：
[0011]S11、将大幅的三维纹理影像切割成640
×
640大小影像，得到小幅影像；
[0012]S12、计算小幅影像的均值和方差，对小幅影像进行归一化；
[0013]S13、随机选取部分小幅影像作为训练集，记为TrainData，在TrainData中选择部分小幅影像进行车辆标注，记为AnnoImg，TrainData中剩余部分小幅影像作为用于自动化标注，记为UannoImg。
[0014]进一步的，在步骤S2中的利用预处理后的训练数据训练深度车辆检测网络YOLOX，
包括以下步骤：
[0015]S21、利用AnnoImg，通过训练公式训练无人机倾斜三维模型的深度车辆检测网络YOLOX；
[0016]S22、从UannoImg中随机选取部分小幅影像，利用训练得到深度车辆检测网络YOLOX进行车辆检测，将每一张小幅影像的车辆检测结果写入文件，得到新的初步车辆标注文件，新的初步车辆标注文件记为Anno；
[0017]S23、可视化编辑Anno，修正未检测正确的车辆检测框和类别，令其作为UannoImg的标注样本；将其输入深度车辆检测网络YOLOX继续训练，优化深度车辆检测网络；
[0018]S24、重复步骤S22
‑
步骤S23，直到UannoImg中的影像车辆检测结果符合应用要求，应用要求的检测指标为准确率大于90，召回率大于95；
[0019]S25、输出优化后的深度车辆检测网络YOLOX。
[0020]进一步的，在步骤S3中的深度车辆检测网络车辆去除，包括以下步骤：
[0021]S31、对大幅待推断三维纹理影像切割成640
×
640大小影像，得到小幅三维纹理影像；
[0022]S32、利用步骤S25所得到的深度车辆检测网络YOLOX对切割后的小幅三维纹理影像进行车辆检测，得到车辆目标检测框，车辆目标检测框标记为CarBoundingBox；
[0023]S33、生成一个与小幅三维纹理影像相同大小的单通道影像，单通道影像标记为mask；
[0024]S34、根据CarBoundingBox，对mask进行标记，得到Dmask，在Dmask中，包括车辆的区域赋值255，其他区域位置赋值为0；
[0025]S35、将Dmask和小幅三维纹理影像进行相乘得到带有车辆位置标记的彩色影像mask，输入到深度图像修复网络LAMA，进行车辆擦除和纹理填充，得到去除车辆目标后的小幅三维纹理影像；
[0026]S36、将步骤S35得到的去除车辆目标后的小幅三维纹理影像进行合并，合成一张完整的不含车辆的大幅三维纹理影像。
[0027]进一步的，在步骤S21中的训练公式为：
[0028]L＝Det(X，Y)
[0029][0030]其中，Det()表示深度车辆检测网络，X表示倾斜三维纹理影像，Y为车辆标注结果，L表示网络损失，θ为深度车辆检测网络参数，γ为学习率。
[0031]相对于现有技术，本专利技术所述的基于深度学习的倾斜三维模型车辆去除方法具有以下优势：
[0032]本专利技术所述的基于深度学习的倾斜三维模型车辆去除方法，提供了一种基于深度卷积神经网络的倾斜三维模型车辆去除算法；针对倾斜三维模型中车辆运动导致的车辆变形问题，本专利技术提出基于深度学习的倾斜三维模型车辆去除方法，首先利用深度目标检测网络对三维模型中的车辆进行检测，定位车辆的位置，然后利用深度图像修复算法对车辆进行擦除，自动填充道路纹理。相较于基于Photoshop的手工车辆去除算法，本专利技术提出的
方法可以有效的提高作业效率；本专利技术是一种端到端的倾斜三维模型车辆去除算法，无需人工干预。
附图说明
[0033]构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0034]图1为本专利技术实施例所述的基于深度学习的倾斜三维模型车辆去除方法步骤S1
‑
S3的流程示意图；
[0035]图2为本专利技术实施例所述的基于深度学习的倾斜三维模型车辆去除方法步骤S2的流程示意图；
[0036]图3为本专利技术实施例所述的基于深度学习的倾斜三维模型车辆去除方法的大幅切割成小幅影像的示意图；
[0037]图4为本专利技术实施例所述的基于深度学习的倾斜三维模型车辆去除方法的三维纹理影像进行车辆检测，得到车辆目标检测框CarBoundingBox的示意图；
[0038]图5为本专利技术实施例所述的基于深度学习的倾斜三维模型车辆去除方法的去除影像合成一张完整的大幅影像示意图。
具体实施方式
[0039]需要说明的是，在不冲突的情况本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的倾斜三维模型车辆去除方法，其特征在于：包括以下步骤：S1、训练数据预处理；S2、利用预处理后的训练数据进行训练深度车辆检测网络YOLOX；S3、利用深度车辆检测网络YOLOX对车辆进行定位，然后基于深度图像修复算法LAMA对车辆去除；在步骤S1中的训练数据预处理，包括以下步骤：S11、将大幅的三维纹理影像切割成640
×
640大小影像，得到小幅影像；S12、计算小幅影像的均值和方差，对小幅影像进行归一化；S13、随机选取部分小幅影像作为训练集，记为TrainData，在TrainData中选择部分小幅影像进行车辆标注，记为AnnoImg，TrainData中剩余部分小幅影像作为用于自动化标注，记为UannoImg。2.根据权利要求1所述的基于深度学习的倾斜三维模型车辆去除方法，其特征在于：在步骤S2中的利用预处理后的训练数据训练深度车辆检测网络YOLOX，包括以下步骤：S21、利用AnnoImg，通过训练公式训练无人机倾斜三维模型的深度车辆检测网络YOLOX；S22、从UannoImg中随机选取部分小幅影像，利用训练得到深度车辆检测网络YOLOX进行车辆检测，将每一张小幅影像的车辆检测结果写入文件，得到新的初步车辆标注文件，新的初步车辆标注文件记为Anno；S23、可视化编辑Anno，修正未检测正确的车辆检测框和类别，令其作为UannoImg的标注样本；将其输入深度车辆检测网络YOLOX继续训练，优化深度车辆检测网络；S24、重复步骤S22
‑
步骤S23，直到UannoImg中的影像车辆检测结果符合应用要求，应用要求的检测指标为准确率大于90，召回率大于95；S25、输出优化后的深度车辆检测网络YOLOX。3.根据权利要求2所述的基于深度学习的倾斜三维模型车辆去除方法，其特征在于：在步骤S3中的利用深度车辆检测网络YOLOX对车辆进行定位，然后基于深度图像修复算法LAMA对车辆去除，包括以下步骤：S31、对大幅待推断三维纹理影...

【专利技术属性】
技术研发人员：刘艳飞，丁乐乐，王珍，邢炜光，朱大勇，魏麟，张涛，潘宇明，王震，孟凡效，
申请(专利权)人：天津市勘察设计院集团有限公司，
类型：发明
国别省市：