基于深度学习的实景三维语义重建方法、装置及存储介质制造方法及图纸

本申请公开了基于深度学习的实景三维语义重建方法、装置及存储介质，涉及遥感测绘地理信息技术领域，解决了现有技术中多场景标注不准确的问题，该方法包括，获取航拍图像；对航拍图像进行语义分割，确定像素概率分布图；对航拍图像进行运动恢复结构，确定航拍图像的相机位姿；对航拍图像进行深度估计，确定航拍图像的深度图；将像素概率分布图、相机位姿以及深度图进行语义融合，确定三维语义模型；实现了在场景对象较多、堆叠严重等情况下的高精度分割；并且在大规模场景中，深度估计网络性能不受影响，可实现多种场景下进行稳定且准确的估计，且本申请构建的语义三维重建算法较其他传统的三维重建算法提升了计算速度。传统的三维重建算法提升了计算速度。传统的三维重建算法提升了计算速度。

【技术实现步骤摘要】
基于深度学习的实景三维语义重建方法、装置及存储介质


[0001]本申请涉及遥感测绘地理信息
，尤其涉及基于深度学习的实景三维语义重建方法、装置及存储介质。

技术介绍

[0002]三维重建和场景理解是计算机领域的一个研究热点。具有正确几何结构和语义分割的三维模型在城市规划、自动驾驶、机器视觉等领域至关重要。在城市场景中，语义标签用于可视化建筑物、植被和道路等目标。带有语义标签的三维点云使得三维地图更易于理解，有利于后续的研究和分析。尽管三维语义建模已被广泛研究，但在点云重建过程中，提取语义信息的不同方式常常会导致不一致或错误的结果。相对二维图像，点云数据的语义分割更困难。在缺少三维点云训练数据的情况下，标注点云比标注二维图像更费力。另一个挑战是三维点云所带来的不可避免的噪声，这导致难以精确地知道点云属于哪一类。因此，有必要通过在多个视图上同时估计三维几何语义信息来开发新的语义三维重建方法。
[0003]在过去的几年里，许多关于图像语义分割的研究已经通过深度学习技术取得了令人鼓舞的成果。深度学习技术以训练好的神经网络为基础，可以帮助各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的实景三维语义重建方法，其特征在于，包括：获取航拍图像；对所述航拍图像进行语义分割，确定像素概率分布图；对所述航拍图像进行运动恢复结构，确定所述航拍图像的相机位姿；对所述航拍图像进行深度估计，确定所述航拍图像的深度图；将所述像素概率分布图、所述相机位姿以及所述深度图进行语义融合，确定三维语义模型。2.根据权利要求1所述的方法，其特征在于，所述确定像素概率分布图，包括：对语义分割网络算法进行修改，确定修改后的算法；采用训练集对所述修改后的算法进行迁移学习，确定所述像素概率分布图。3.根据权利要求1所述的方法，其特征在于，所述对所述航拍图像进行运动恢复结构，包括采用SfM算法对所述航拍图像进行运动恢复结构。4.根据权利要求1所述的方法，其特征在于，所述对所述航拍图像进行运动恢复结构还包括：得出所述航拍图像的相机参数和深度范围。5.根据权利要求1所述的方法，其特征在于，所述确定所述航拍图像的深度图，包括：采用基于MVSNet生成所述航拍图像的深度图；使用数据集对所述深度图进行训练，确定训练后的深度图。6.根据权利要求1所述的方法，其特征在于，在进行将所述像素概率分布图、所述相机位姿以及所述深度图进行语义融合之前，包括：对所述深度...

【专利技术属性】
技术研发人员：何娇，王江安，
申请(专利权)人：土豆数据科技集团有限公司，
类型：发明
国别省市：