一种基于多模态融合的大规模园林场景点云语义标注方法技术

本发明专利技术提供了一种基于多模态融合的大规模园林场景点云语义标注方法，包括以下步骤：一、点云特征提取：使用点云特征提取网络对园林场景点云进行特征提取，获得逐点点云特征；二、图像特征提取：使用图像分割网络对园林场景多视图进行多层特征提取与特征聚合，获得多视图逐像素图像特征；三、多模态特征融合：通过反投影对多视图特征与点云进行匹配，将多视图特征与点云特征融合，获得增强的点云特征；四、点云特征分类：对增强后的点云特征进行全局上下文依赖分析，使用特征分类网络预测驻点标签作为逐点标注。该方法利用园林场景图像特征增强点云特征，并通过全局上下文依赖分析增强特征判别性，能够有效地适应大规模园林场景的特殊性。殊性。殊性。

【技术实现步骤摘要】
一种基于多模态融合的大规模园林场景点云语义标注方法


[0001]本专利技术属于三维计算机视觉领域，具体涉及一种基于多模态融合的大规模园林场景点云语义标注方法。

技术介绍

[0002]场景点云语义标注方法旨在将场景点云分割为多个不同语义的部分，并为每个点分配对应的语义标签，其中，大规模园林场景是一类特殊的场景，其在空间尺度上分布范围较大，点数量极多，场景内部对象非常繁多，分布密集且复杂。同时，部分类别的对象属于不规则物体，同类别的对象之间也存在一定的差异。这些因素使得对大规模园林场景点云进行自动语义标注成为一个较难解决的问题。
[0003]针对大规模园林场景，现有的专利提出了一些解决方法。公开号为CN114926637A的中国专利“基于多尺度距离图与点云语义分割的园林地图构建方法”将点云投影为距离图后利用RanegNet++进行语义分割，对场景中的动态/静态区域进行区分，进而完成对园林地图的构建。但该方法仅对动态/静态点进行了区分，无法对园林场景进行详细的语义标注；同时预训练使用的kitti数据集中对象类别和分布模式与大规模园林场景之间存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合的大规模园林场景点云语义标注方法，其特征在于，包括以下步骤：步骤1，点云特征提取：使用点云特征提取网络对园林场景点云进行特征提取，获得逐点点云特征；步骤2，图像特征提取：使用图像多层特征提取网络对园林场景多视图进行多层特征提取，并对多个中间层特征进行特征聚合，获得多视图逐像素图像特征；步骤3，多模态特征融合：通过反投影对多视图逐像素图像特征与点云进行匹配，将同一点对应的多个图像特征进行池化，并与点云特征进行融合，获得增强的点云特征；步骤4，点云特征分类：对增强的点云特征进行全局上下文依赖分析，增强特征的判别性，最后使用逐点分类网络预测驻点标签作为逐点标注。2.根据权利要求1所述的一种基于多模态融合的大规模园林场景点云语义标注方法，其特征在于，步骤1包括构建点云特征提取网络F
P
，对输入的园林场景点云进行特征提取，点云特征提取网络F
P
使用能够直接处理场景点云的语义分割网络，输入园林场景点云P∈R
N
×6，以网络倒数第二层的输出为点云特征其中N为点数量，每一点包含XYZ坐标信息和RGB颜色信息共计6维，C
P
为逐点点云特征长度。3.根据权利要求2所述的一种基于多模态融合的大规模园林场景点云语义标注方法，其特征在于，步骤2的图像语义提取过程包括以下步骤：步骤21，搭建图像多层特征提取网络F
I
，输入园林场景多视图，即多视角的园林场景图像；步骤22，抽取图像多层特征提取网络F
I
各中间层特征进行聚合，获得多视图逐像素图像特征。4.根据权利要求3所述的一种基于多模态融合的大规模园林场景点云语义标注方法，其特征在于，步骤21的图像多层特征提取网络F
I
使用能够提取图像多尺度特征的网络，包括网络编码器，所述网络编码器包括T个特征提取中间层，能够提取图像不同分辨率的多尺度特征，输入园林场景图像I∈R
M
×
H
×
W
×3进行特征提取，其中，T为编码器中间层个数，T>1，M为园林场景图像的数量，H为园林场景图像的像素行数，W为园林场景图像的像素列数，每一像素包含RGB颜色信息共计3维。5.根据权利要求4所述的一种基于多模态融合的大规模园林场景点云语义标注方法，其特征在于，步骤22的中间层特征聚合过程包括以下步骤：步骤221，针对园林场景图像I，将图像多层特征提取网络F
I
编码器部分的T个中间层特征抽取出来，分别是其中，sc1,sc2,
···
,sc
T
分别是T个中间层特征图的缩放比例，C1,C2,
···
,C
T
分别是T个中间层输出的特征维度，C1,C2,
···
,C
T
为2的整数次幂；步骤222，通过双线性插值将T组中间层特征上采样到输入图像原分辨率步骤222，通过双线性插值将T组中间层特征上采样到输入图像原分辨率步骤223，将T组上采样后相同分辨率的中间特征进行逐像素拼接，获得多视图逐像素图像特征其中C
I
＝C1+C2+
···
+C
T
。
6.根据权利要求5所述的一种基于多模态融合的大规模园林场景点云语义标注方法，其特征在于，步骤222的双线性插值上采样如下：假设对于一张图像I
i
∈R
H
×
W
×3，1≤i≤M，其某一中间层特征为t表示该中间层特征图的缩放比例，C
i
表示该中间层输出的特征维度；在进行上采样时，将每个像素看作一个正方形的中心，正方形的大小与图像或特征图的分辨率成反比，即对于原始图像分辨率H
×
W，像素对应的正方形大小为1
×
1，则对于特征图f
i
，像素对应的正方形大小为t
×
t；将特征图f
i
和原始图像I
i
的像素正方形的角点进行对齐，此时由于特征图f
i
分辨率较小，特征图f
i
的所有像素均处于原始图像I
i
的像素内部，为了进行双线性插值，将特征图f
i
边缘按照...

【专利技术属性】
技术研发人员：孙正兴，王一，骆守桐，孙蕴瀚，
申请(专利权)人：南京大学，
类型：发明
国别省市：