一种面向城市信息模型的三维语义地图构建方法技术

本发明专利技术涉及一种面向城市信息模型的三维语义地图构建方法，包括：S1、设计和训练深度神经网络，同时提取输入图像的语义分割信息和SLAM特征；S2、将语义分割信息和SLAM特征输入至改进双目ORB

【技术实现步骤摘要】
一种面向城市信息模型的三维语义地图构建方法


[0001]本专利技术涉及数字孪生与SLAM
，尤其是涉及一种面向城市信息模型的三维语义地图构建方法。

技术介绍

[0002]数字孪生是指充分利用物理模型、传感器、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟信息空间中对物理实体进行镜像映射，反映物理实体行为、状态或活动的全生命周期过程的技术。越复杂的系统建立数字孪生体后管理效率提升越高，收益越大，而城市就是最为复杂而庞大的系统，数字孪生城市应运而生，《国民经济和社会发展第十四个五年规划纲要和2035年远景目标》就明确提出“探索建设数字孪生城市”，要“以数字化助推城乡发展和治理模式创新，全面提高运行效率和宜居度”。
[0003]城市信息模型(CIM)是数字孪生城市技术中基础设施端的重要内容，包括山峰河流等自然地貌、道路桥梁等基础设施和各类建筑物等在虚拟空间中的模型及各类属性信息。城市发展日新月异，城市信息模型也要不断更新，使用配备多种传感器的信息采集车通过城市环境巡游构建三维语义地图，是建立城市信息模型的重要手段。
[0004]SLAM(同时定位与地图构建)是车辆自主建立城市三维地图的基本方式。双目相机能够采集信息量丰富的彩色图像，通过立体匹配能够恢复出深度图，成本又远低于激光雷达，适合城市级别的SLAM用作主要传感器。ORB
‑
SLAM3是目前综合性能最好的开源视觉SLAM方案，且支持双目图像输入，本专利技术选择它作为算法的基础框架。但是ORB
‑<br/>SLAM3只能建立稀疏点云级别的几何地图，构建语义地图需要作进一步完善
[0005]目前，关于通过SLAM构建语义地图，已经有了一些研究，但仍然存在一些问题。
[0006]语义地图可以分为点云级别的和物体级别的。点云级别的语义地图研究出现较早，其只需要为每个地图点赋予一个类别标签，构建方法相对简单，但这样的地图包含的语义信息层次太低，不足以生成实用的城市信息模型。物体级别的语义地图，包含了环境中的物体及其类别、轮廓、位姿等参数，更接近人类的环境感知方式，能够有效支撑城市信息模型的生成，不过物体级地图也不便表征道路等不可数的背景事物。
[0007]语义地图的构建首先需要语义提取器，现有的物体级语义SLAM一般采用YOLO系列等目标检测网络作为语义提取器，能够给出若干个矩形的物体检测框，由这些检测框能够以相对简明的方式恢复出物体尺寸和姿态等参数。但是矩形检测框无法表征物体的准确边界，因此难以恢复出物体的形状参数。
[0008]现有的物体级语义SLAM，采用的物体模型多为立方体(cube)和二次曲面(quadric)。这是两种比较规整、参数较少的物体模型，搭配前述目标检测网络给出的检测框，参数生成与优化的计算效率较高。但是真实城市环境中的物体普遍形状比较复杂，上述模型难以有效表征不规则的物体，影响了语义地图构建方法的通用性。
[0009]目前，一种能够充分表征尽可能多不同种类的环境物体的，能够建立多层次城市地图的，精度、鲁棒性与实时性平衡的语义SLAM算法，亟待研究。

技术实现思路

[0010]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供了一种精度与鲁棒性更高的、环境表征能力更强面向城市信息模型的三维语义地图构建方法，该方法将超二次曲面作为环境物体模型，从语义分割构建包括物体级地图在内的多层次语义地图。
[0011]本专利技术的目的可以通过以下技术方案来实现：
[0012]本专利技术提供了一种面向城市信息模型的三维语义地图构建方法，其特征在于，该方法包括以下步骤：
[0013]步骤S1、设计和训练深度神经网络，同时提取输入图像中的语义分割信息和SLAM特征；
[0014]步骤S2、将步骤S1得到的语义分割信息以及SLAM特征输入至改进双目ORB
‑
SLAM3框架，进行相机位姿估计，并持续增量更新稀疏点云语义地图；
[0015]步骤S3、对步骤S2中生成的稀疏点云语义地图，结合步骤S1的语义分割信息进行空间
‑
语义地图点聚类；
[0016]步骤S4、根据空间
‑
语义地图点聚类结果，重建超二次曲面物体形式的物体模型，并对物体模型持续增量优化；
[0017]步骤S5、基于重建的超二次曲面物体模型以及相机位姿估计，构建物体级三维语义地图；
[0018]步骤S6、基于双目立体匹配，获取RGB
‑
D图像，结合相机位姿估计和语义分割信息，构建稠密点云级三维语义地图。
[0019]优选地，所述稀疏点云语义地图、物体级三维语义地图、稠密点云级三维语义地图的构建过程为三个并行进程。
[0020]优选地，所述步骤S1中的深度神经网络的架构具体为：在用于语义分割的HRNetV2网络的末端增设一网络分支，输出定位建图所需的关键点和描述子，形成一多分支网络，即语义分割分支和SLAM特征提取分支；
[0021]所述语义分割分支的训练采用交叉熵损失函数；所述SLAM特征分支的训练采用基于Superpoint的关键点真值构造方式和损失函数。
[0022]优选地，所述步骤S2中改进双目ORB
‑
SLAM3框架，具体结构为：在ORB
‑
SLAM3框架结构基础上，将其中的特征提取器替换为所述步骤S1中的深度神经网络。
[0023]优选地，所述步骤S3中空间
‑
语义地图点聚类采用的距离度量由地图点空间距离和地图点间语义属性的概率分布差异组成，具体表达式：
[0024][0025]式中，m
i
,m
j
是由ORB
‑
SLAM3模型构建的稀疏地图点，是地图点m
i
,m
j
在世界坐标系下的三维坐标，代表地图点m
i
,m
j
的语义类别标签的概率分布，KL(
·
||
·
)代表Kullback
‑
Leibler散度，η1,η2为权重超参数。
[0026]优选地，所述步骤S4中超二次曲面形式的物体模型，具体表达式为：
[0027]超二次曲面的向量表现形式为：
[0028][0029]式中，a＝[a
x
,a
y
,a
z
]T
为三个维度上的尺寸参数，ε＝[ε1,ε2]T
为形状参数；
‑
π/2≤η≤π/2，
‑
π≤ω≤π为迭代变量；
[0030]超二次曲面的约束表达式为：
[0031][0032]式中，a＝[a
x
,a
y
,a
z
]T
为尺寸参数，ε＝[ε1,ε2]T
为形状参数；
[0033]所述超二次曲面物体模型的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向城市信息模型的三维语义地图构建方法，其特征在于，该方法包括以下步骤：步骤S1、设计和训练深度神经网络，同时提取输入图像中的语义分割信息和SLAM特征；步骤S2、将步骤S1得到的语义分割信息以及SLAM特征输入至改进双目ORB
‑
SLAM3框架，进行相机位姿估计，并持续增量更新稀疏点云语义地图；步骤S3、对步骤S2中生成的稀疏点云语义地图，结合步骤S1的语义分割信息进行空间
‑
语义地图点聚类；步骤S4、根据空间
‑
语义地图点聚类结果，重建超二次曲面物体形式的物体模型，并对物体模型持续增量优化；步骤S5、基于重建的超二次曲面物体模型以及相机位姿估计，构建物体级三维语义地图；步骤S6、基于双目立体匹配，获取RGB
‑
D图像，结合相机位姿估计和语义分割信息，构建稠密点云级三维语义地图。2.根据权利要求1所述的一种面向城市信息模型的三维语义地图构建方法，其特征在于，所述稀疏点云语义地图、物体级三维语义地图、稠密点云级三维语义地图的构建过程为三个并行进程。3.根据权利要求1所述的一种面向城市信息模型的三维语义地图构建方法，其特征在于，所述步骤S1中的深度神经网络的架构具体为：在用于语义分割的HRNetV2网络的末端增设一网络分支，输出定位建图所需的关键点和描述子，形成一多分支网络，即语义分割分支和SLAM特征提取分支；所述语义分割分支的训练采用交叉熵损失函数；所述SLAM特征分支的训练采用基于Superpoint的关键点真值构造方式和损失函数。4.根据权利要求1所述的一种面向城市信息模型的三维语义地图构建方法，其特征在于，所述步骤S2中改进双目ORB
‑
SLAM3框架，具体结构为：在ORB
‑
SLAM3框架结构基础上，将其中的特征提取器替换为所述步骤S1中的深度神经网络。5.根据权利要求1所述的一种面向城市信息模型的三维语义地图构建方法，其特征在于，所述步骤S3中空间
‑
语义地图点聚类采用的距离度量由地图点空间距离和地图点间语义属性的概率分布差异组成，具体表达式：式中，m
i
,m
j
是由ORB
‑
SLAM3模型构建的稀疏地图点，是地图点m
i
,m
j
在世界坐标系下的三维坐标，代表地图点m
i
,m
j
的语义类别标签的概率分布，KL(
·
||
·
)代表Kullback
‑
Lei...

【专利技术属性】
技术研发人员：刘成菊，周逊，陈启军，
申请(专利权)人：同济大学，
类型：发明
国别省市：