基于多模态数据融合的语义分割方法、系统、装置及介质制造方法及图纸

本发明专利技术公开了一种基于多模态数据融合的语义分割方法、系统、装置及介质，其中方法包括以下步骤：获取图像数据和激光雷达的点云数据；根据图像数据将点云数据映射到图像空间；将映射后的数据输入语义分割模型进行处理，获得稠密及稀疏的预测结果，实现对点云数据的语义分割。本发明专利技术通过融合图像信息和点云信息，能够有效滤除图像中的干扰信息，另外，由于融合了拥有更加稠密纹理、颜色信息的2D图像数据，提高了点云分割结果的准确度，可广泛应用于智能识别技术领域。

【技术实现步骤摘要】
基于多模态数据融合的语义分割方法、系统、装置及介质
本专利技术涉及智能识别
，尤其涉及一种基于多模态数据融合的语义分割方法、系统、装置及介质。
技术介绍
目前，在自动驾驶和机器人等许多应用中，视觉传感器(如RGB相机)的应用至关重要。从视觉传感器中获取的RGB图像能够提供丰富的纹理、颜色信息，基于视觉传感器的应用能够精确的对物体进行分类。然而，由于视觉传感器容易受到光线的影响，越来越多的自动驾驶车辆加入了更加鲁棒的激光雷达提升感知系统的鲁棒性。相对视觉传感器而言，由激光雷达获取的点云可以提供物体在物理世界中的坐标信息，基于激光雷达的应用对光线的抗干扰能力较强。然而，由于激光雷达得到的点云数据本身缺少稠密的颜色、纹理特征，单纯基于三维点云的感知方法在细粒度语义分割上精度较低。因此，为了结合多种传感器数据的优势，在实际应用中可以考虑同时使用视觉传感器和激光雷达两种数据来进行联合感知。但是，由于视觉传感器与激光雷达所获取的数据之间存在较大的差异，如何融合多种传感器的数据目前仍有待解决。
技术实现思路
为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种基于多模态数据融合的语义分割方法、系统、装置及介质，以实现通过融合图像信息和点云信息对三维点云预测准确度性能的提升。本专利技术所采用的技术方案是：一种基于多模态数据融合的语义分割方法，包括以下步骤：获取图像数据和激光雷达的点云数据；根据图像数据将点云数据映射到图像空间；将映射后的数据输入语义分割模型进行处理，获得稠密及稀疏的预测结果，实现对点云数据的语义分割。进一步，所述根据图像数据将点云数据映射到图像空间，包括：根据对相机和激光雷达进行标定得到的投影矩阵，将点云数据投影到图像空间；其中，投影后的每个点对应一个五维的特征(d,x,y,z,r)，d表示深度，r表示反射强度；深度d的计算公式为：x,y,z表示坐标值。进一步，所述点云语义分割方法还包括对语义分割模型进行训练的步骤，包括：利用卷积层、批量归一化层、线性整流层和池化层构建双流网络；在所述双流网络中插入感知损失函数，将感知损失函数与图像预测损失函数、点云预测损失函数构成目标损失函数；根据所述目标损失函数对所述双流网络进行训练，获得语义分割模型。进一步，所述利用卷积层、批量归一化层、线性整流层和池化层构建双流网络，包括：利用卷积层、批量归一化层、线性整流层和池化层，为图像数据和点云数据分别构建基本深度神经网络；在所述基本深度神经网络中插入融合模块，构建融合点云数据和图像数据的双流网络。进一步，所述融合模块的表达式为：其中，σ表示sigmoid函数，表示融合得到的特征，[·；·]表示concatenation操作，fl(·)和gl表示卷积操作，⊙表示逐元素的乘法操作。进一步，所述在所述双流网络中插入感知损失函数，包括：利用图像分支和点云分支的感知信息差异，在所述双流网络中插入感知损失函数。进一步，所述目标损失函数的表达式为：L＝Lfoc+λLlov+γLper其中，Lfoc为Multi-classfocalloss，Llov为Lov′aszsoftmaxloss，Lper为感知损失函数；λ和γ分别是不同损失函数的权重；在对网络进行训练的过程中，利用随机梯度下降算法使目标损失函数收敛。本专利技术所采用的另一技术方案是：一种基于多模态数据融合的语义分割系统，包括：采集模块，用于获取图像数据和激光雷达的点云数据；映射模块，用于根据图像数据将点云数据映射到图像空间；分割模块，用于将映射后的数据输入语义分割模型进行处理，获得稠密及稀疏的预测结果，实现对点云数据进行语义分割。本专利技术所采用的另一技术方案是：一种基于多模态数据融合的语义分割装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。本专利技术所采用的另一技术方案是：一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。本专利技术的有益效果是：本专利技术通过融合图像信息和点云信息，能够有效滤除图像中的干扰信息，另外，由于融合了拥有更加稠密纹理、颜色信息的2D图像数据，提高了点云分割结果的准确度。附图说明为了更清楚地说明本专利技术实施例或者现有技术中的技术方案，下面对本专利技术实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本专利技术的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。图1是本专利技术实施例中一种基于多模态数据融合的语义分割方法的流程示意图；图2是本专利技术实施例中投影方式示意图；图3是本专利技术实施例中基于残差的融合模块示意图；图4是本专利技术实施例中一种基于多模态数据融合的语义分割系统的结构框图；图5是本专利技术实施例中一种基于多模态数据融合的语义分割装置的结构框图；图6是本专利技术实施例中一种基于多模态数据融合的语义分割系统的具体结构示意图；图7是本专利技术实施例中在SemanticKITTI数据集的可视化结果示意图；图8是本专利技术实施例中在nuScenes数据集的可视化结果示意图；图9是本专利技术实施例中一种基于多模态数据融合的语义分割方法输入对抗样本时的可视化结果示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。在本专利技术的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。在本专利技术的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。本专利技术的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属
技术人员可以结合技术方案本文档来自技高网...

【技术保护点】
1.一种基于多模态数据融合的语义分割方法，其特征在于，包括以下步骤：/n获取图像数据和激光雷达的点云数据；/n根据图像数据将点云数据映射到图像空间；/n将映射后的数据输入语义分割模型进行处理，获得稠密及稀疏的预测结果，实现对点云数据的语义分割。/n

【技术特征摘要】
1.一种基于多模态数据融合的语义分割方法，其特征在于，包括以下步骤：
获取图像数据和激光雷达的点云数据；
根据图像数据将点云数据映射到图像空间；
将映射后的数据输入语义分割模型进行处理，获得稠密及稀疏的预测结果，实现对点云数据的语义分割。


2.根据权利要求1所述的一种基于多模态数据融合的语义分割方法，其特征在于，所述根据图像数据将点云数据映射到图像空间，包括：
根据对相机和激光雷达进行标定得到的投影矩阵，将点云数据投影到图像空间；
其中，投影后的每个点对应一个五维的特征(d,x,y,z,r)，d表示深度，r表示反射强度；深度d的计算公式为：



x,y,z表示坐标值。


3.根据权利要求1所述的一种基于多模态数据融合的语义分割方法，其特征在于，所述点云语义分割方法还包括对语义分割模型进行训练的步骤，包括：
利用卷积层、批量归一化层、线性整流层和池化层构建双流网络；
在所述双流网络中插入感知损失函数，将感知损失函数与Multi-classfocalloss、Lov′aszsoftmaxloss构成目标损失函数；
根据所述目标损失函数对所述双流网络进行训练，获得语义分割模型。


4.根据权利要求3所述的一种基于多模态数据融合的语义分割方法，其特征在于，所述利用卷积层、批量归一化层、线性整流层和池化层构建双流网络，包括：
利用卷积层、批量归一化层、线性整流层和池化层，为图像数据和点云数据分别构建基本深度神经网络；
在所述基本深度神经网络中插入融合模块，构建融合点云数据和图像数据的双流网络。


5.根据权利要求4所述的一种基于多模态数据融合的语义分割方法，其特征在于，所述融合模块的表达...

【专利技术属性】
技术研发人员：谭明奎，李蓉，庄壮伟，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44