建筑物三维轮廓提取及神经网络的训练方法和装置制造方法及图纸

本公开实施例提供一种建筑物三维轮廓提取及神经网络的训练方法和装置，通过神经网络获取建筑物的偏移矢量预测结果来确定所述建筑物的高度，通过偏移矢量预测结果辅助语义分割结果来对建筑物进行三维轮廓提取，得到所述建筑物的三维轮廓，从而能够提高建筑物三维轮廓提取的准确度。廓提取的准确度。廓提取的准确度。

【技术实现步骤摘要】
建筑物三维轮廓提取及神经网络的训练方法和装置


[0001]本公开涉及计算机视觉
，尤其涉及建筑物三维轮廓提取及神经网络的训练方法和装置。

技术介绍

[0002]从遥感影像中获得建筑物的三维轮廓是测绘的重要需求之一，能够为灾害评估，环境监管，居民管理，城市规划等提供重要的数据支撑。然而，对于较高的建筑物，相关技术中的建筑物三维轮廓提取方式难以准确地提取出建筑物的三维轮廓。

技术实现思路

[0003]本公开提供一种建筑物三维轮廓提取及神经网络的训练方法和装置。
[0004]第一方面，本公开实施例提供一种建筑物三维轮廓提取方法，所述方法包括：通过神经网络对包括建筑物的单景影像进行处理，得到语义分割结果和偏移矢量预测结果，所述语义分割结果用于确定所述建筑物上的三维区域，所述偏移矢量预测结果用于确定所述建筑物的高度；基于所述建筑物的语义分割结果和偏移矢量预测结果，对所述建筑物进行三维轮廓提取，得到所述建筑物的三维轮廓。
[0005]在一些实施例中，所述语义分割结果包括用于确定建筑物边缘的边缘分割结果，以及用于确定建筑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种建筑物三维轮廓提取方法，其特征在于，所述方法包括：通过神经网络对包括建筑物的单景影像进行处理，得到语义分割结果和偏移矢量预测结果，所述语义分割结果用于确定所述建筑物上的三维区域，所述偏移矢量预测结果用于确定所述建筑物的高度；基于所述建筑物的语义分割结果和偏移矢量预测结果，对所述建筑物进行三维轮廓提取，得到所述建筑物的三维轮廓。2.根据权利要求1所述的方法，其特征在于，所述语义分割结果包括用于确定建筑物边缘的边缘分割结果，以及用于确定建筑物上各区域的区域分割结果；所述偏移矢量预测结果包括所述建筑物的屋顶区域和侧面的像素点的偏移矢量。3.根据权利要求2所述的方法，其特征在于，所述语义分割结果还包括以下至少一者：用于确定所述建筑物的边缘方向的边缘方向分割结果；用于确定建筑物底座区域的底座分割结果；和/或所述偏移矢量预测结果还包括以下至少一者：所述单景影像中建筑物的平均偏移方向角；所述建筑物的底座区域的像素点的偏移矢量，其中，所述底座区域的任意一个第二像素点的偏移矢量为所述第二像素点指向所述第二像素点在所述屋顶区域对应的第一像素点的矢量。4.根据权利要求1
‑
3任一所述的方法，其特征在于，所述语义分割结果包括用于确定建筑物底座区域的底座分割结果，以及用于确定建筑物上各区域的区域分割结果，所述三维区域包括建筑物的屋顶区域；所述偏移矢量预测结果包括第一像素点的偏移矢量，所述第一像素点为所述屋顶区域的像素点；所述神经网络基于以下方式获取所述底座分割结果：针对每个第一像素点，基于所述第一像素点的偏移矢量对所述第一像素点进行平移，得到所述第一像素点对应的第二像素点；基于各个第一像素点对应的第二像素点确定所述底座分割结果。5.根据权利要求1
‑
4任一所述的方法，其特征在于，所述神经网络包括多个语义分割网络和多个预测网络，所述多个语义分割网络包括：用于确定建筑物边缘的边缘分割网络；用于确定建筑物上各区域的区域分割网络；用于确定所述建筑物的边缘方向的边缘方向分割网络；用于确定建筑物底座区域的底座分割网络；所述多个预测网络包括：用于确定所述建筑物的屋顶区域和侧面的像素点的偏移矢量的第一矢量预测网络；用于确定所述建筑物的底座区域的像素点的偏移矢量的第二矢量预测网络；用于确定所述单景影像中建筑物的平均偏移方向角的方向角预测网络。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：通过初始神经网络对样本影像进行处理，所述初始神经网络包括多个初始分割网络和多个初始预测网络，所述多个初始分割网络包括初始边缘分割网络、初始区域分割网络、初
始边缘方向分割网络和初始底座分割网络，所述初始预测网络包括初始第一矢量预测网络、初始第二矢量预测网络和初始方向角预测网络；分别获取各个初始分割网络的分割损失以及各个初始预测网络的预测损失；对各个初始分割网络的分割损失和各个初始预测网络的预测损失进行求和，得到所述初始神经网络的损失；基于所述初始神经网络的损失对所述初始神经网络进行训练，得到所述神经网络。7.根据权利要求1
‑
6任一所述的方法，其特征在于，所述方法还包括：基于所述语义分割结果确定模板和目标域；基于所述偏移矢量预测结果确定平移向量，基于所述平移向量对所述模板进行平移，并确定平移后所述模板与所述目标域之间的匹配度；基于所述匹配度对所述偏移矢量预测结果进行优化，得到优化后的偏移矢量预测结果；所述基于所述建筑物的语义分割结果和偏移矢量预测结果，对所述建筑物进行三维轮廓提取，包括：基于所述建筑物的语义分割结果和优化后的偏移矢量预测结果，对所述建筑物进行三维轮廓提取。8.根据权利要求7所述的方法，其特征在于，所述偏移矢量预测结果包括所述屋顶区域的各个像素点的偏移矢量；所述基于所述偏移矢量预测结果确定平移向量，包括：基于所述屋顶区域的各个像素点的偏移矢量的平均长度确定所述平移向量的长度范围，所述平均长度在所述长度范围内；基于所述屋顶区域的各个像素点的偏移矢量的平均方向角确定所述平移向量的方向。9.根据权利要求8所述的方法，其特征在于，所述偏移矢量预测结果包括所述单景影像中建筑物的平均偏移方向角；所述基于所述屋顶区域的各个像素点的偏移矢量的平均方向角确定所述平移向量的方向，包括：在所述平均长度小于预设长度的情况下，将所述单景影像中建筑物的平均偏移方向角确定为所述平移向量的方向；在所述平均长度大于或等于所述预设长度的情况下，将所述屋顶区域的各个像素点的偏移矢量的平均方向角确定为所述平移向量的方向。10.根据权利要求7
‑
9任一所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：孟令宣，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：