基于深度学习的倾斜摄影模型全要素单体化方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的倾斜摄影模型全要素单体化方法及装置，该方法包括：获取目标区域的倾斜摄影数据，建立目标区域的三维模型；基于目标区域的三维模型，通过两次虚拟航拍得到三维模型中每个城市部件的两张俯视深度图；获取用户输入的需要单体化的目标城市部件的类别；根据用户输入的类别，通过预设的全要素图像识别深度神经网络从目标城市部件的两张俯视深度图中分别识别出目标城市部件的轮廓形状图像；在世界坐标系下，基于目标城市部件在世界坐标系中的轮廓形状图像，从目标区域的三维模型中分割出单体化模型。本发明专利技术可以对于用户指定的任意城市部件对象实现自动单体化。自动单体化。自动单体化。

【技术实现步骤摘要】
基于深度学习的倾斜摄影模型全要素单体化方法及装置


[0001]本专利技术涉及城市三维建模
，特别涉及一种基于深度学习的倾斜摄影模型全要素单体化方法及装置。

技术介绍

[0002]随着无人机、传感器等技术的不断发展，倾斜摄影逐渐成为城市三维重建的主流方法。基于倾斜摄影构建的城市三维模型多为“表皮”网格模型，无法满足模型对象化管理的需求。因此，要充分释放倾斜摄影模型在城市管理等方面的应用效能，对“表皮”网格模型进行单体化是一项必需工作。
[0003]既有的倾斜摄影模型单体化方法大多局限于单一对象的单体化，比如建筑对象的单体化。但除了建筑以外，城市中还存在很多其他对象，比如桥梁、树木、路灯等。这些对象对于城市建成环境的管理也十分重要，因此对于这些对象的单体化也具有重要价值。在此背景下，如果对于用户指定的任意城市部件对象都能实现高效、自动的单体化，即做到倾斜摄影模型全要素单体化，则可以大大减少用户在使用倾斜摄影模型单体化工具时的对象局限性，显著释放倾斜摄影模型在后续诸多应用中的潜力。
[0004]然而，目前尚且缺少能做到倾斜摄影模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的倾斜摄影模型全要素单体化方法，其特征在于，包括：采用无人机获取目标区域的倾斜摄影数据，建立目标区域的三维模型；基于所述目标区域的三维模型，设置第一虚拟航拍路径和第二虚拟航拍路径，分别基于所述第一虚拟航拍路径和所述第二虚拟航拍路径开展虚拟航拍，通过两次虚拟航拍得到所述三维模型中每个城市部件的两张俯视深度图；其中，所述第一虚拟航拍路径与所述第二虚拟航拍路径在水平面内的轨迹完全一致，且所述第一虚拟航拍路径的高度低于所述第二虚拟航拍路径的高度；获取用户输入的需要单体化的目标城市部件的类别；根据用户输入的类别，通过预设的全要素图像识别深度神经网络从所述目标城市部件的两张俯视深度图中分别识别出所述目标城市部件的轮廓形状图像；基于所述目标城市部件的两张轮廓形状图像的像素坐标，结合虚拟航拍镜头的内参矩阵，计算得到所述目标城市部件的轮廓形状的各个轮廓点的世界坐标，以获取所述目标城市部件在世界坐标系中的轮廓形状图像；在世界坐标系下，基于所述目标城市部件在世界坐标系中的轮廓形状图像，从所述目标区域的三维模型中分割出所述目标城市部件的单体化模型。2.如权利要求1所述的基于深度学习的倾斜摄影模型全要素单体化方法，其特征在于，所述城市部件指的是构成城市建成环境的对象；所述城市部件的类别包括：建构筑物、桥梁、道路、树木、路灯以及雕塑。3.如权利要求1所述的基于深度学习的倾斜摄影模型全要素单体化方法，其特征在于，所述第一虚拟航拍路径至少比所述第二虚拟航拍路径低50m；且所述第一虚拟航拍路径和所述第二虚拟航拍路径的高度均高于所述目标区域内最高城市部件的高度至少50m。4.如权利要求3所述的基于深度学习的倾斜摄影模型全要素单体化方法，其特征在于，在进行虚拟航拍时，设置虚拟航拍的镜头视角为垂直向下，分别沿着所述第一虚拟航拍路径和第二虚拟航拍路径，每隔10m距离对所述目标区域的三维模型进行俯视拍摄，得到两组俯视深度图图像集，每组俯视深度图图像集中均包含了所述目标区域的每个城市部件的至少一张俯视深度图，两组俯视深度图图像集中的图片两两对应；其中，两组俯视深度图图像集中的图片两两对应指的是从一组俯视深度图图像集中任意选出一张图片，总能在另一组俯视深度图图像集中找到与其对应的，且仅存在拍摄高度差异的一张图片。5.如权利要求1所述的基于深度学习的倾斜摄影模型全要素单体化方法，其特征在于，所述全要素图像识别深度神经网络由全要素图像分割模块与图像识别模块构成；其中，所述全要素图像分割模块用于对俯视深度图进行全要素图像分割，得到俯视深度图中所有城市部件的轮廓形状图像；所述全要素图像分割模块同时也用于辅助所述图像识别模块的训练过程；所述图像识别模块用于从所述全要素图像分割模块得到的所有城市部件的轮廓形状图像中识别出属于目标城市部件的轮廓形状图像。6.如权利要求5所述的基于深度学习的倾斜摄影模型全要素单体化方法，其特征在于，所述图像识别模块的训练过程包括：步骤1，收集公开数据集中各类型单个城市部件的图像及其对应的语义标注，形成初始训练数据集，采用所述初始训练集训练所述图像识别模块；
步骤2，收集多个城市的俯视深度图，采用所述全要素图像分割模块对收集到的多个城市的俯视深度图进行全要素图像分割，得到俯视深度图中所有城市部件的轮廓形状的掩码；步骤3，采用当前训练好的所述图像识别模块对所述掩码进行图像识别，得到每个掩码的语义标注以及当前语义标注的置信度得分；将置信度得分高于预设阈值的掩码的语义标注结果补充进当前训练数据集，并对置信度得分低于预设阈值的掩码的语义标注结果进行人工检查和修正，将人工检查和修正后的语义标注结果也补充进当前训练数据集，形成新的训练数据集，并利用新的训练数据集再次对...

【专利技术属性】
技术研发人员：顾栋炼，帅倩雯，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：