一种深度多模态跨层交叉融合方法、终端设备及存储介质技术

本发明专利技术公开了一种深度多模态跨层交叉融合方法、终端设备及存储介质，所述方法包括：获取包含车道线的RGB图像和点云数据，并进行预处理；将预处理后的RGB图像和点云数据输入预先构建和训练好的语义分割模型，输出图像分割结果；所述语义分割模型用于实现RGB图像和点云数据的跨层交叉融合。本发明专利技术的方法将当前模态的当前层的特征与另一模态的后续所有层特征进行融合，既能将相似的或者相近的特征进行融合，也能将不相似的或者不相近的特征进行融合，对特征进行充分全面的融合；所有融合连接通过一个可学习的参数进行控制，使得融合更加灵活和智能，不用预设和固定融合方式；能够提高图像分割的准确度。

A deep multimodal cross layer cross fusion method, terminal equipment and storage medium

【技术实现步骤摘要】
一种深度多模态跨层交叉融合方法、终端设备及存储介质
本专利技术属于无人驾驶
，具体涉及一种深度多模态跨层交叉融合方法、终端设备及存储介质。
技术介绍
近年来，无人驾驶技术发展迅速，汽车依赖于多种传感器对周围环境进行感知，这就涉及到多传感器数据的融合，也即多模态融合。多模态数据的融合能够为汽车提供更加精确可靠的信息，提高驾驶的安全性以及鲁棒性。由于在全天候全场景下单模态数据的有效性获取很难保证，导致基于单模态数据的自动驾驶算法稳定可靠运行面临很大挑战。而无人驾驶对安全性要求高，基于多模态数据融合的自动驾驶技术能够将不同类型传感器的优势互补，被广泛应用于自动驾驶领域。当前，国内外对多模态数据的融合方法有了一定的研究，主要分为前融合、中间融合、后融合以及交叉融合四种融合方式。但这几种方式都存在一定的问题，前融合直接将多个模态原始数据进行融合，没有考虑不同模态数据所处特征表示空间的差异性。中间融合将多个模态数据在中间某一个特征层次上进行融合，而融合的特征未必在一个特征表示空间上。后融合直接在决策层进行融合，即直接融合多个模态的最终结果，没有考虑各个层次特征之间交互融合。交叉融合则是对前、中、后多种融合方式的结合，但是在对应层次融合的特征还是不能保证在同一特征空间。不同模态数据间具有差异性、互补性是融合存在的意义，多模态数据融合对于最终感知结果的影响分为融合增强和融合抑制两种，但是应该在两个不同模态数据特征差异大还是小的时候进行融合会产生融合增强效果目前没有成熟的理论解释和支撑，同时对多模态数据如何进行融合以及融合时机的选择一直也未得到明确的解决。
技术实现思路
本专利技术的目的在于克服上述技术缺陷，提供了一种深度多模态跨层交叉融合方法，该融合方式更加灵活，充分考虑到了融合的特征是否在一个特征表示空间上，将特征的融合转化为神经网络参数的学习，让网络自己学习融合方式，使已有的前融合、中间融合、后融合以及交叉融合可以看作是跨层交叉融合的特例。为实现上述目的，本专利技术的实施例1提供了一种深度多模态跨层交叉融合方法，所述方法包括：获取包含车道线的RGB图像和点云数据，并进行预处理；将预处理后的RGB图像和点云数据输入预先构建和训练好的语义分割模型，输出图像分割结果；所述语义分割模型用于实现RGB图像和点云数据的跨层交叉融合。作为上述方法的一种改进，所述RGB图像通过安装在行驶车辆上的前向单目相机或前向单目摄像头获得；该RGB图像包括行驶车辆的行车方向正前方和路面上方的路面图像信息；所述点云数据通过安装在行驶车辆上激光雷达获得，该点云包含行驶车辆的行车方向正前方和路面上方的路面点云信息，其视角范围可通过处理与相机图像对齐；RGB图像和点云数据是同步采集的。作为上述方法的一种改进，所述语义分割模型为由点云分支和图像分支组成的SkipCrossNet模型，该模型划分为三个融合单元：第一融合单元，用于对点云数据和RGB图像进行交叉融合；第二融合单元，用于进行点云Encoder阶段的特征与图像Encoder阶段的特征融合；和第三融合单元，用于进行点云Decoder阶段的特征与图像Decoder阶段的特征融合。作为上述方法的一种改进，所述第一融合单元的具体实现过程为：图像对点云的融合为：Lidarf＝R0*RGB+Lidar其中，Lidar为获取的点云数据，RGB为获取的RGB图像，Lidarf为融合之后的点云数据，R0为融合参数；点云对图像的融合为：RGBf＝L0*Lidar+RGB其中，RGBf为融合之后的图像，L0为融合参数；将Lidarf和RGBf输出至第二融合单元。作为上述方法的一种改进，所述第二融合单元包括N个融合阶段；第一融合阶段的输入为：第一融合子单元输出的Lidarf和RGBf；第i融合阶段的输入为第i-1融合阶段的输出；第N融合阶段的输出为第三融合单元的输入；每个融合阶段的融合次数预先设定；当一个融合阶段的融合次数为M时，该融合阶段的具体实现过程为：对于点云分支，将LidarBlock的第一层特征与RGBBlock的第一层特征进行融合：Lidar_LE_Feature2＝S11*RGB_LE_feature1+Lidar_LE_feature1其中，Lidar_LE_Feature2表示LidarBlock的第二层特征，Lidar_LD_feature1表示LidarBlock的第一层特征，即输入该融合阶段的点云特征；RGB_LD_feature1表示RGBBlock的第一层特征，即输入该融合阶段的图像特征，S11表示RGBBlock的第一层特征与LidarBlock的第一层特征的融合参数；当2≤m≤M-1时，将LidarBlock的第m层特征与RGBBlock的前m层所有特征进行融合，得到LidarBlock的第m+1层特征Lidar_LE_Featurem：其中，RGB_LE_Featurek表示RGBBlock的第k层特征，Sk,m表示RGBBlock的第k层特征与LidarBlock的第m层特征的融合参数；Lidar_LE_Featurem表示LidarBlock的第m层特征；对于图像分支，将RGBBlock的第一层特征与LidarBlock的第一层特征进行融合：RGB_LE_Feature2＝T11*Lidar_LE_feature1+RGB_LE_feature1其中，RGB_LE_Feature2表示RGBBlock的第二层特征，T11表示LidarBlock的第一层特征与RGBBlock的第一层特征的融合参数；当2≤m≤M-1时，将RGBBlock的第m层特征与LidarBlock的前m层所有特征进行融合，得到RGBBlock的第m+1层特征RGB_LE_Featurem：其中，Lidar_LE_Featurek表示LidarBlock的第k层特征，Tk,m表示LidarBlock的第k层特征与RGBBlock的第m层特征的融合参数；RGB_LE_Featurem表示RGBBlock的第m层特征；该融合阶段的输出为Lidar_LE_FeatureM和RGB_LE_FearureM。作为上述方法的一种改进，所述第三融合单元的具体实现过程为：将点云Decoder阶段的第一层特征与图像Decoder阶段的第一层特征进行融合：Lidar_LD_Feature2＝R1*RGB_LD_feature1+Lidar_LD_feature1其中，Lidar_LD_Feature2表示点云Decoder阶段的第二层特征，RGB_LD_feature1表示图像Decoder阶段的第一层特征，即第二融合单元输出的图像特征，Lidar_LD_feature1表示点云Decoder阶段的第一层特征，即第二融合单元输出的点云特征，R1表示图像Decoder阶段的第一层特征本文档来自技高网...

【技术保护点】
1.一种深度多模态跨层交叉融合方法，所述方法包括：/n获取包含车道线的RGB图像和点云数据，并进行预处理；/n将预处理后的RGB图像和点云数据输入预先构建和训练好的语义分割模型，输出图像分割结果；所述语义分割模型用于实现RGB图像和点云数据的跨层交叉融合。/n

【技术特征摘要】
1.一种深度多模态跨层交叉融合方法，所述方法包括：
获取包含车道线的RGB图像和点云数据，并进行预处理；
将预处理后的RGB图像和点云数据输入预先构建和训练好的语义分割模型，输出图像分割结果；所述语义分割模型用于实现RGB图像和点云数据的跨层交叉融合。


2.根据权利要求1所述的深度多模态跨层交叉融合方法，其特征在于，所述RGB图像通过安装在行驶车辆上的前向单目相机或前向单目摄像头获得；该RGB图像包括行驶车辆的行车方向正前方和路面上方的路面图像信息；所述点云数据通过安装在行驶车辆上激光雷达获得；RGB图像和点云数据是同步采集的。


3.根据权利要求1或2所述的深度多模态跨层交叉融合方法，其特征在于，所述语义分割模型为由点云分支和图像分支组成的SkipCrossNet模型，该模型划分为三个融合单元：
第一融合单元，用于对点云数据和RGB图像进行交叉融合；
第二融合单元，用于进行点云Encoder阶段的特征与图像Encoder阶段的特征融合；和
第三融合单元，用于进行点云Decoder阶段的特征与图像Decoder阶段的特征融合。


4.根据权利要求3所述的深度多模态跨层交叉融合方法，其特征在于，所述第一融合单元的具体实现过程为：
图像对点云的融合为：
Lidarf＝R0*RGB+Lidar
其中，Lidar为获取的点云数据，RGB为获取的RGB图像，Lidarf为融合之后的点云数据，R0为融合参数；
点云对图像的融合为：
RGBf＝L0*Lidar+RGB
其中，RGBf为融合之后的图像，L0为融合参数；
将Lidarf和RGBf输出至第二融合单元。


5.根据权利要求4所述的深度多模态跨层交叉融合方法，其特征在于，所述第二融合单元包括N个融合阶段；第一融合阶段的输入为：第一融合子单元输出的Lidarf和RGBf；第i融合阶段的输入为第i-1融合阶段的输出；第N融合阶段的输出为第三融合单元的输入；每个融合阶段的融合次数预先设定；
当一个融合阶段的融合次数为M时，该融合阶段的具体实现过程为：
对于点云分支，将LidarBlock的第一层特征与RGBBlock的第一层特征进行融合：
Lidar_LE_Feature2＝S11*RGB_LE_feature1+Lidar_LE_feature1
其中，Lidar_LE_Feature2表示LidarBlock的第二层特征，Lidar_LD_feature1表示LidarBlock的第一层特征，即输入该融合阶段的点云特征；RGB_LD_feature1表示RGBBlock的第一层特征，即输入该融合阶段的图像特征，S11表示RGBBlock的第一层特征与LidarBlock的第一层特征的融合参数；
当2≤m≤M-1时，将LidarBlock的第m层特征与RGBBlock的前m层所有特征进行融合，得到LidarBlock的第m+1层特征Lidar_LE_Featurem：



其中，RGB_LE_Featurek表示RGBBlock的第k层特征，Sk，m表示RGBBlock的第k层特征与LidarBlock的第m层特征的融合参数；Lidar_LE_Featurem表示LidarBlock的第m层特征；
对于图像分支，将RGBBlock的第一层特征与LidarBlock的第一层特征进行融合：
RGB_LE_Feature2＝T11*Lidar_LE_feature1+RGB_LE_feature1
其中，RGB_LE_Feature2表示RGBBlock的的第二层特征，T11表示LidarBlock的第一层特征与RGBBlock的第一层特征的融合参数；
当2≤m≤M-1时，将RGBBlock的第m层特征与LidarBlock的前m层所有特征进行融合，得到R...

【专利技术属性】
技术研发人员：张新钰，李志伟，刘华平，李骏，柯锐，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11