【技术实现步骤摘要】
本申请涉及数据集构建，特别是涉及一种城市尺度语义分割基准数据集构建方法、装置和设备。
技术介绍
1、在3d世界中，大规模场景语义分割为场景中的每个物体分配特定的含义，从而将复杂和多样的环境信息聚合成几个具体的语义类别，以促进规划和研究。大规模场景语义分割有助于机器准确识别大场景中的物体特征，在推动场景级机器人导航、自动驾驶、城市规划、空间分析和城市流体模拟等领域的发展中起到关键作用。
2、为了提高机器对分割城市数据背后语义的识别能力，通常需要大量真实数据供机器学习参考。在大规模语义分割方法中，目前主流的是基于深度学习的算法。随着卷积神经网络(cnn)的成熟，可以直接处理点云的深度神经网络开始流行，在点云语义分割方面取得了新的突破，尤其是针对城市规模的室外场景。
3、然而，直接处理网格数据的深度神经网络在小尺度物体的语义分割方面取得了不错的结果，但在大规模场景下的网格语义分割方面表现不佳。我们认为这是因为公开的带有细粒度语义标注的大规模场景网格数据集非常有限。目前，唯一公开的城市级场景网格数据集是hessigheim 3d和sum。然而，hessigheim 3d的场景面积仅为0.13平方千米，并且部分区域未标注，而sum仅包含一种数据类型(网格)并且只有6个语义类别，缺乏农村和郊区场景信息的丰富性，不适用于智能城市和农村发展规划的研究。基于多视角的大规模场景语义分割方法也是三维语义分割的主流方法之一，但目前没有公开的带有相关的多视角二维图像的大规模场景三维语义分割数据集，这在一定程度上限制了基于多视角的算
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够满足点云和mesh两种三维数据语义分割方法测试的综合性基准数据集以及相应城市尺度语义分割基准数据集构建方法、装置和设备。
2、一种城市尺度语义分割基准数据集构建方法，该方法包括：
3、采用无人机获取指定测量区域的高分辨率的航拍图像；指定测量区域包括城市、郊区和农村地区。
4、根据航拍图像进行三维模型重建，得到三维数据集。
5、对三维数据集进行语义标签标注，得到带有语义标签的三维数据集。
6、对航拍图像进行语义标注，得到带有语义标签的二维图像数据集。
7、根据带有语义标签的三维图像数据集和二维图像数据集，得到城市尺度语义分割基准数据集。
8、在其中一个实施例中，采用无人机获取指定测量区域的高分辨率的航拍图像，包括：
9、将对指定测量区域的航拍任务划分为多个独立的并行飞行任务。
10、每个无人机按照预规划的飞行路径执行一个独立的飞行任务，在2秒的指定时间间隔内拍摄图像；无人机配备了三轴云台五镜头倾斜摄影相机，用于二维航拍图像采集。
11、根据所有执行任务的无人机航拍的数据，得到指定测量区域的高分辨率的航拍图像。
12、在其中一个实施例中，高精度的实时动态定位系统为rtk或gnss。
13、在其中一个实施例中，根据航拍图像进行三维模型重建，得到三维数据集，包括：
14、对航拍图像进行空中三角测量，确定相机的位置和姿态，并最小化投影误差。
15、根据空中三角测量的结果采用三维重建技术获得城市场景3d网格模型，然后对于场景中未被重建出的大型湖泊采用半自动水体修复技术，得到完整的三维网格数据集。
16、对三维网格数据集进行降采样，得到不带有颜色信息的原始点云。
17、通过最近邻搜索，将网格数据纹理上的真实场景颜色信息传输到点云数据的顶点上，得到具有真实颜色信息的点云数据集。
18、根据三维网格数据集和点云数据集，得到三维数据集。
19、在其中一个实施例中，对三维数据集进行语义标签标注，得到带有语义标签的三维数据集，包括：
20、遵循用于注释三维网格和三维点云数据的一致的语义类别定义标准。
21、根据语义类别的标准定义，在三维数据集中确定了10个语义类别；10个语义类别分别为：建筑、道路、汽车、草地、高植被、操场、湖泊、农田、建筑工地以及地面。
22、根据语义类别采用注释工具，在三维数据集中的每个三维点或三角网格都被分配了一个唯一的语义标签，所有注释数据都经过了两轮手动交叉检查；得到带有语义标签的三维数据集。
23、在其中一个实施例中，对航拍图像进行语义标注，得到带有语义标签的二维图像数据集，包括：
24、采用基于sam模型的自动化实例分割工具对航拍图像进行智能化的语义标注，得到带有语义标签的二维图像数据集。
25、在其中一个实施例中，方法还包括三维网格数据评估步骤：
26、计算三维网格数据中三角形所占据的表面积。
27、对于每个语义类别，计算三维网格数据集中对应语义类别的总表面积，用于表示给语义类别的分布情况。
28、在其中一个实施例中，方法还包括三维数据集评估步骤：
29、采用高精度的实时动态定位系统对航拍图像进行地理参考，并实际场景中手动设置了六个地面控制点。
30、根据第一像素的中位重投影误差、每个地面控制点的第二像素的中位重投影误差以及预设合理误差范围，评估三维数据集的准确性和可靠性。
31、一种城市尺度语义分割基准数据集构建装置，装置包括：
32、航拍图像获取模块，用于采用无人机获取指定测量区域的高分辨率的航拍图像；指定测量区域包括城市、郊区和农村地区。
33、三维数据集重构模块，用于根据航拍图像进行三维模型重建，得到三维数据集。
34、三维图像数据集语义标注模块，用于对三维数据集进行语义标签标注，得到带有语义标签的三维图像数据集。
35、二维图像数据集语义标注模块，用于对航拍图像进行语义标注，得到带有语义标签的二维图像数据集。
36、城市尺度语义分割基准数据集构建模块，用于根据带有语义标签的三维图像数据集和二维图像数据集，得到城市尺度语义分割基准数据集。
37、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法的步骤。
38、上述城市尺度语义分割基准数据集构建方法、装置和设备，采用本方法构建的城市尺度语义分割基准数据集是城市级室外大规模场景数据集，其中包含多种数据类型和丰富的语义标签。该数据集包括两种类型的3d数据：点云和网格，涵盖了一个面积为2.85平方千米的准确注释区域。它包括多个语义标签，涵盖了城市和农村场景的语义信息，可作为3d语义分割的基准；该数据集提供了由无人机捕获的原始2d图像，并附带详细的语义标签。这些图像可用于本文档来自技高网...
【技术保护点】
1.一种城市尺度语义分割基准数据集构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，采用无人机获取指定测量区域的高分辨率的航拍图像，包括：
3.根据权利要求1所述的方法，其特征在于，所述高精度的实时动态定位系统为RTK或GNSS。
4.根据权利要求1所述的方法，其特征在于，根据所述航拍图像进行三维模型重建，得到三维数据集，包括：
5.根据权利要求1所述的方法，其特征在于，对所述三维数据集进行语义标签标注，得到带有语义标签的三维数据集，包括：
6.根据权利要求1所述的方法，其特征在于，对所述航拍图像进行语义标注，得到带有语义标签的二维图像数据集，包括：
7.根据权利要求1所述的方法，其特征在于，所述方法还包括三维网格数据评估步骤：
8.根据权利要求1所述的方法，其特征在于，所述方法还包括三维数据集评估步骤：
9.一种城市尺度语义分割基准数据集构建装置，其特征在于，所述装置包括：
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序
...【技术特征摘要】
1.一种城市尺度语义分割基准数据集构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，采用无人机获取指定测量区域的高分辨率的航拍图像，包括：
3.根据权利要求1所述的方法，其特征在于，所述高精度的实时动态定位系统为rtk或gnss。
4.根据权利要求1所述的方法，其特征在于，根据所述航拍图像进行三维模型重建，得到三维数据集，包括：
5.根据权利要求1所述的方法，其特征在于，对所述三维数据集进行语义标签标注，得到带有语义标签的三维数据集，包括：
6...
【专利技术属性】
技术研发人员：刘煜，高林，朱珏霖，颜深，刘宇翔，张茂军，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。