【技术实现步骤摘要】
本申请涉及自动驾驶，尤其是涉及面向协同端到端大模型的自动驾驶轨迹决策方法及装置。
技术介绍
1、目前，现有的协同感知或端对端的算法主要包括：多传感器信息特征融合，实现更高的感知精度和范围；利用注意力机制聚合视频前后帧特征，实时性的成本较高，具有注意力漂移问题，可能更关注较早的帧而忽略较新的信息导致性能下降；使用大模型提高视频理解的效果。
2、但是现有的自动驾驶大语言模型，大都没有基于协同感知特征进行推理学习，进而影响了车辆行驶的轨迹决策的准确性。
技术实现思路
1、有鉴于此，本申请提供面向协同端到端大模型的自动驾驶轨迹决策方法及装置，以解决上述技术问题。
2、第一方面，本申请实施例提供一种面向协同端到端大模型的自动驾驶轨迹决策方法，包括：
3、获取当前时刻的目标区域的自车端的rgb图像、他车端的rgb图像、路端的rgb图像以及路端的点云数据；
4、利用第一特征提取网络分别对所述自车端的rgb图像、所述他车端的rgb图像和所述路端的rgb图像进行处理，得到第一图像特征、第二图像特征和第三图像特征；
5、对所述第一图像特征、所述第二图像特征和所述第三图像特征进行融合处理，得到图像融合特征；
6、利用第二特征提取网络对所述路端的点云数据进行处理，得到路端点云特征；
7、对所述图像融合特征和所述路端点云特征进行处理，得到第一bev特征和第二bev特征；
8、对所述第一bev特征和所述第二bev特
9、利用大视觉语言模型对表征用户意图的prompt信息和所述融合bev特征进行融合处理，得到文本信息；利用自然语言大模型对所述文本信息进行处理，得到自车轨迹决策结果。
10、进一步地，对所述第一图像特征、所述第二图像特征和所述第三图像特征进行融合处理，得到图像融合特征，包括：
11、利用第一1x1卷积层对第一图像特征进行处理，得到第一键向量ksv、第一值向量vsv和键向量qsv；
12、利用第二1x1卷积层对第二图像特征进行处理，得到第二键向量kvr和第二值向量vvr；
13、利用第三1x1卷积层对第三图像特征进行处理，得到第三键向量kvr和第三值向量vvr；
14、第一融合特征f1为：
15、
16、第二融合特征f2为：
17、
18、第三融合特征f3为：
19、
20、图像融合特征fim为：
21、fim＝f1+f2+f3
22、其中，dk表示第一键向量ksv的维度。
23、进一步地，对所述图像融合特征和所述路端点云特征进行处理，得到第一bev特征和第二bev特征，包括：
24、利用变形交叉注意力网络对图像融合特征进行处理，得到第一bev特征
25、
26、其中，q为待学习的bev参数；表示将第j个三维点sj投影到图像融合特征fim的第i个通道的结果；deformattn()表示变形交叉注意力网络；
27、利用变形交叉注意力机制网络对路端点云特征进行处理，得到第二bev特征
28、
29、其中，表示将第j个三维点sj投影到路端点云特征flid的第i个通道的结果；
30、将第二bev特征转换到以自车为中心的坐标系下。
31、进一步地，对所述第一bev特征和所述第二bev特征进行融合，得到融合bev特征；包括：
32、利用第一3x3卷积层对第一bev特征进行降维，得到降维后的第一bev特征；
33、利用自适应全局平均池化操作对降维后的第一bev特征进行处理，得到第一全局特征；
34、利用第四1x1卷积层对第一全局特征进行降维，得到降维后的第一全局特征；
35、对降维后的第一全局特征进行归一化处理，得到第一权重特征图；
36、利用第一乘法器计算第一bev特征和第一权重特征图的乘积结果，得到加权的第一bev特征；
37、利用第二3x3卷积层对第二bev特征进行降维，得到降维后的第二bev特征；
38、利用第二自适应全局平均池化操作对降维后的第二bev特征进行处理，得到第二全局特征；
39、利用第五1x1卷积层对第二全局特征进行降维，得到降维后的第二全局特征；
40、对降维后的第二全局特征进行归一化处理，得到第二权重特征图；
41、利用第二乘法器计算第二bev特征和第二权重特征图的乘积结果，得到加权的第二bev特征；
42、对加权的第一bev特征和加权的第二bev特征进行拼接，得到融合bev特征。
43、进一步地，所述第一特征提取网络为resnet101；所述第二特征提取网络为voxelnet。
44、进一步地，所述方法还包括：对第一特征提取网络、第二特征提取网络、第一1x1卷积层、第二1x1卷积层、第三1x1卷积层、变形交叉注意力网络、第一3x3卷积层、第四1x1卷积层、第二3x3卷积层和第五1x1卷积层进行联合训练的步骤。
45、第二方面，本申请实施例提供一种面向协同端到端大模型的自动驾驶轨迹决策装置，包括：
46、获取单元，用于获取当前时刻的目标区域的自车端的rgb图像、他车端的rgb图像、路端的rgb图像以及路端的点云数据；
47、第一处理单元，用于利用第一特征提取网络分别对所述自车端的rgb图像、所述他车端的rgb图像和所述路端的rgb图像进行处理，得到第一图像特征、第二图像特征和第三图像特征；
48、第一融合单元，用于对所述第一图像特征、所述第二图像特征和所述第三图像特征进行融合处理，得到图像融合特征；
49、第二处理单元，用于利用第二特征提取网络对所述路端的点云数据进行处理，得到路端点云特征；
50、第三处理单元，用于对所述图像融合特征和所述路端点云特征进行处理，得到第一bev特征和第二bev特征；
51、第二融合单元，用于对所述第一bev特征和所述第二bev特征进行融合，得到融合bev特征；
52、轨迹决策单元，用于利用大视觉语言模型对表征用户意图的prompt信息和所述融合bev特征进行融合处理，得到文本信息；利用自然语言大模型对所述文本信息进行处理，得到自车轨迹决策结果。
53、第三方面，本申请实施例提供一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例的方法。
54、第四方面，本申请实施例一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现本申请实施例的方法。
本文档来自技高网...【技术保护点】
1.一种面向协同端到端大模型的自动驾驶轨迹决策方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对所述第一图像特征、所述第二图像特征和所述第三图像特征进行融合处理，得到图像融合特征，包括：
3.根据权利要求2所述的方法，其特征在于，对所述图像融合特征和所述路端点云特征进行处理，得到第一BEV特征和第二BEV特征，包括：
4.根据权利要求3所述的方法，其特征在于，对所述第一BEV特征和所述第二BEV特征进行融合，得到融合BEV特征；包括：
5.根据权利要求1所述的方法，其特征在于，所述第一特征提取网络为ResNet101；所述第二特征提取网络为VoxelNet。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：对第一特征提取网络、第二特征提取网络、第一1x1卷积层、第二1x1卷积层、第三1x1卷积层、变形交叉注意力网络、第一3x3卷积层、第四1x1卷积层、第二3x3卷积层和第五1x1卷积层进行联合训练的步骤。
7.一种面向协同端到端大模型的自动驾驶轨迹决策装置，其特征在于，包括：p>
8.一种电子设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现权利要求1-6任一项所述的方法。
...【技术特征摘要】
1.一种面向协同端到端大模型的自动驾驶轨迹决策方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对所述第一图像特征、所述第二图像特征和所述第三图像特征进行融合处理，得到图像融合特征，包括：
3.根据权利要求2所述的方法，其特征在于，对所述图像融合特征和所述路端点云特征进行处理，得到第一bev特征和第二bev特征，包括：
4.根据权利要求3所述的方法，其特征在于，对所述第一bev特征和所述第二bev特征进行融合，得到融合bev特征；包括：
5.根据权利要求1所述的方法，其特征在于，所述第一特征提取网络为resnet101；所述第二特征提取网络为voxelnet。
6.根据权利要求4所述...
【专利技术属性】
技术研发人员：卢凤黎，李志伟，王景微，郭一朴，王坤峰，沈甜雨，王力，谭启凡，张新钰，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。