自动驾驶数据融合方法技术

本申请涉及一种自动驾驶数据融合方法

【技术实现步骤摘要】
自动驾驶数据融合方法、装置、设备及介质


[0001]本申请涉及自动驾驶领域，尤其涉及一种自动驾驶数据融合方法
、
相应的装置
、
电子设备及计算机可读存储介质
。

技术介绍

[0002]近年来，由于汽车用户数量的不断增加，公路交通面临的拥堵
、
安全事故等问题越来越严重，自动驾驶技术在车联网技术和人工智能驾驶的协作下，能够合理的规划出行路线和时间，从而极大地提高出行效率，并在一定程度上减少能源消耗
。
[0003]目前，对自动驾驶多模态数据的处理，受小模型的限制及缺少关键词查询库更新和优化，小模型在数据层面需要标注大量业务数据集，繁琐耗时，模型层面需要重复开发，复用率低，精度低，且在业务支持上研发周期长，通用性低，导致对交通场景理解和逻辑描述整体准确性不高，较为单一，同时，
2D
与
3D
多模态数据数据之间的匹配和融合的精度及准确性不高
。
[0004]综上所述，适应现有技术中需要标注大量业务数据集，繁琐耗时，模型层面需要重复开发，复用率低，精度低，且在业务支持上研发周期长，通用性低，导致对交通场景理解和逻辑描述整体准确性不高，较为单一，同时，
2D
与
3D
多模态数据数据之间的匹配和融合的精度及准确性不高等问题，本申请出于解决该问题的考虑作出相应的探索
。

技术实现思路

[0005]本申请的目的在于解决上述问题而提供一种自动驾驶数据融合方法
、
相应的装置
、
电子设备及计算机可读存储介质
。
[0006]为满足本申请的各个目的，本申请采用如下技术方案：
[0007]适应本申请的目的之一而提出的一种自动驾驶数据融合方法，包括如下步骤：
[0008]响应自动驾驶数据融合事件，获取自动驾驶车辆中的二维图像数据以及激光雷达点云数据，对所述二维图像数据进行目标检测以及语义分割，确定目标物体相对应的目标检测结果以及语义分割结果；
[0009]根据所述目标物体相对应的目标检测结果以及语义分割结果确定一个锥体，在所述锥体内对所述激光雷达点云数据进行目标检测，确定所述目标物体相对应的三维点云数据；
[0010]基于注意力查询匹配机制对所述目标物体相对应的目标检测结果以及语义分割结果与所述目标物体相对应的三维点云数据进行融合，确定自动驾驶车辆相对应的多模态融合数据；
[0011]将所述二维图像数据输入至训练好的多模态大模型中，更新所述目标物体相对应的关键词查询库，根据所述目标物体相对应的关键词对所述二维图像数据进行推理，确定自动驾驶车辆相对应的交通场景逻辑描述数据；
[0012]将所述自动驾驶车辆相对应的多模态融合数据以及交通场景逻辑描述数据传送
至预设的数据库中，以确定所述自动驾驶车辆相对应的自动驾驶数据
。
[0013]可选的，获取自动驾驶车辆中的二维图像数据以及激光雷达点云数据的步骤之后
,
包括如下步骤：
[0014]响应图像预处理指令，对所述二维图像数据进行预处理；
[0015]对所述二维图像数据进行尺寸统一化
、
去噪处理以及图像增强
。
[0016]可选的，基于注意力查询匹配机制对所述目标物体相对应的目标检测结果以及语义分割结果与所述目标物体相对应的三维点云数据进行融合的步骤，包括如下步骤：
[0017]将二维图像数据输入至全卷积神经网络中，将所述二维图像数据转换为其对应的特征向量；
[0018]根据所述特征向量确定所述二维图像数据相对应的查询向量
、
键向量以及值向量；
[0019]根据所述查询向量
、
键向量以及值向量计算确定注意力得分结果以及加权求和结果
。
[0020]可选的，基于注意力查询匹配机制对所述目标物体相对应的目标检测结果以及语义分割结果与所述目标物体相对应的三维点云数据进行融合的步骤，包括如下步骤：
[0021]基于预设的
3D
目标检测模型对所述三维点云数据进行目标检测，以确定所述三维点云数据中目标物体的位置；
[0022]计算二维图像数据中所述目标物体的当前位置与三维点云数据中所述目标物体的其他位置之间的注意力得分；
[0023]对所述注意力得分进行归一化处理，使得所有位置的得分之和等于
1。
[0024]可选的，对所述二维图像数据进行目标检测以及语义分割，确定目标物体相对应的目标检测结果以及语义分割结果的步骤，包括：
[0025]将多帧所述二维图像数据输入至预先训练好的目标卷积神经网络模型的特征提取网络中，确定所述特征提取网络输出的特征图；
[0026]将所述特征图输入至所述目标卷积神经网络模型的金字塔结构中，确定所述金字塔结构输出的金字塔特征图；
[0027]根据所述金字塔特征图对目标进行检测，得到所述多个目标检测结果，同时将所述金字塔特征图输入至所述目标卷积神经网络模型的解码器中，确定所述解码器输出的多个语义分割结果，其中，所述多个语义分割结果为多个分割掩码图
。
[0028]可选的，对所述二维图像数据进行目标检测以及语义分割，确定目标物体相对应的目标检测结果以及语义分割结果的步骤，包括如下步骤：
[0029]分别对目标检测结果中的动态目标物体以及静态目标物体进行融合以确定所述目标检测结果，其中，所述动态目标物体包括行人
、
机动车辆或非机动车辆中的一项或任意多项，所述静态目标物体包括交通标志或地面标志的一项或任意多项；
[0030]对所述多个分割掩码图中每个位置的像素点对应分割类别的置信度进行累加，得到每个位置对应一个或多个分割类别的总置信度值；
[0031]确定所述每个位置的目标分割类别为所述总置信度值中的最大值对应的分割类别，得到所述语义分割结果
。
[0032]可选的，将所述自动驾驶车辆相对应的多模态融合数据以及交通场景逻辑描述数
据传送至预设的数据库中的步骤之后，包括如下步骤：
[0033]响应车辆自动驾驶指令，从预设的数据库中获取自动驾驶车辆相对应的多模态融合数据以及交通场景逻辑描述数据；
[0034]根据所述多模态融合数据进行所述自动驾驶车辆相对应的车道线以及车道面拟合，确定拟合后的车道线以及车道面；
[0035]将所述拟合后的车道线
、
车道面以及交通场景逻辑描述数据进行融合确定所述自动驾驶车辆相对应的自动驾驶数据，以驱动所述自动驾驶车辆进行自动驾驶
。
[0036]适应本申请的另一目的而提供的一种自动驾驶数据融合装置，包括：
[0037]图像数据处理模块，设置为响应自动驾驶数据融合事件，获取自动驾驶车辆中的二维图像数据以及激光雷达点云数据，对所述二维图像数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种自动驾驶数据融合方法，其特征在于，包括如下步骤：响应自动驾驶数据融合事件，获取自动驾驶车辆中的二维图像数据以及激光雷达点云数据，对所述二维图像数据进行目标检测以及语义分割，确定目标物体相对应的目标检测结果以及语义分割结果；根据所述目标物体相对应的目标检测结果以及语义分割结果确定一个锥体，在所述锥体内对所述激光雷达点云数据进行目标检测，确定所述目标物体相对应的三维点云数据；基于注意力查询匹配机制对所述目标物体相对应的目标检测结果以及语义分割结果与所述目标物体相对应的三维点云数据进行融合，确定自动驾驶车辆相对应的多模态融合数据；将所述二维图像数据输入至训练好的多模态大模型中，更新所述目标物体相对应的关键词查询库，根据所述目标物体相对应的关键词对所述二维图像数据进行推理，确定自动驾驶车辆相对应的交通场景逻辑描述数据；将所述自动驾驶车辆相对应的多模态融合数据以及交通场景逻辑描述数据传送至预设的数据库中，以确定所述自动驾驶车辆相对应的自动驾驶数据
。2.
根据权利要求1所述的自动驾驶数据融合方法，其特征在于，获取自动驾驶车辆中的二维图像数据以及激光雷达点云数据的步骤之后
,
包括如下步骤：响应图像预处理指令，对所述二维图像数据进行预处理；对所述二维图像数据进行尺寸统一化
、
去噪处理以及图像增强
。3.
根据权利要求1所述的自动驾驶数据融合方法，其特征在于，基于注意力查询匹配机制对所述目标物体相对应的目标检测结果以及语义分割结果与所述目标物体相对应的三维点云数据进行融合的步骤，包括如下步骤：将二维图像数据输入至全卷积神经网络中，将所述二维图像数据转换为其对应的特征向量；根据所述特征向量确定所述二维图像数据相对应的查询向量
、
键向量以及值向量；根据所述查询向量
、
键向量以及值向量计算确定注意力得分结果以及加权求和结果
。4.
根据权利要求3所述的自动驾驶数据融合方法，其特征在于，基于注意力查询匹配机制对所述目标物体相对应的目标检测结果以及语义分割结果与所述目标物体相对应的三维点云数据进行融合的步骤，包括如下步骤：基于预设的
3D
目标检测模型对所述三维点云数据进行目标检测，以确定所述三维点云数据中目标物体的位置；计算二维图像数据中所述目标物体的当前位置与三维点云数据中所述目标物体的其他位置之间的注意力得分；对所述注意力得分进行归一化处理，使得所有位置的得分之和等于
1。5.
根据权利要求1所述的自动驾驶数据融合方法，其特征在于，对所述二维图像数据进行目标检测以及语义分割，确定目标物体相对应的目标检测结果以及语义分割结果的步骤，包括：将多帧所述二维图像数据输入至预先训练好的目标卷积神经网络模型的特征提取网络中，确定所述特征提取网络输出的特征图；将所述特征图输入至所述目标卷积神经网络模型的金字塔结构中，确定所述金字塔结
构输出的金字塔特征图；根据所述金字塔特征图对目标进行检测，得到所述多个目标检测结果，同时将所述金字塔特征图输入至所述目标卷积神经网络模型的解码器中，确定所述解码器输出的多个...

【专利技术属性】
技术研发人员：陈钰琳，李贺，陈晓雪，谭北海，邓润荣，周召高，严锦杰，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：