面向协同端到端大模型的自动驾驶轨迹决策方法及装置制造方法及图纸

本申请提供面向协同端到端大模型的自动驾驶轨迹决策方法及装置，其中的方法包括：利用第一特征提取网络对自车端的RGB图像、他车端的RGB图像和路端的RGB图像进行处理，得到第一图像特征、第二图像特征和第三图像特征；对第一图像特征、第二图像特征和第三图像特征进行融合处理得到图像融合特征；利用第二特征提取网络对路端的点云数据进行处理得到路端点云特征；对图像融合特征和路端点云特征进行处理得到第一BEV特征和第二BEV特征；对第一BEV特征和第二BEV特征进行融合得到融合BEV特征；用大视觉语言模型将prompt信息和融合BEV特征进行融合得到文本信息；利用自然语言大模型对文本信息进行处理得到自车轨迹决策结果。本申请提高了轨迹决策的准确性。

【技术实现步骤摘要】

本申请涉及自动驾驶，尤其是涉及面向协同端到端大模型的自动驾驶轨迹决策方法及装置。

技术介绍

1、目前，现有的协同感知或端对端的算法主要包括：多传感器信息特征融合，实现更高的感知精度和范围；利用注意力机制聚合视频前后帧特征，实时性的成本较高，具有注意力漂移问题，可能更关注较早的帧而忽略较新的信息导致性能下降；使用大模型提高视频理解的效果。

2、但是现有的自动驾驶大语言模型，大都没有基于协同感知特征进行推理学习，进而影响了车辆行驶的轨迹决策的准确性。

技术实现思路

1、有鉴于此，本申请提供面向协同端到端大模型的自动驾驶轨迹决策方法及装置，以解决上述技术问题。

2、第一方面，本申请实施例提供一种面向协同端到端大模型的自动驾驶轨迹决策方法，包括：

3、获取当前时刻的目标区域的自车端的rgb图像、他车端的rgb图像、路端的rgb图像以及路端的点云数据；

4、利用第一特征提取网络分别对所述自车端的rgb图像、所述他车端的rgb图像和所述路端的rgb图像进行处理，得到第一图像本文档来自技高网...

【技术保护点】

1.一种面向协同端到端大模型的自动驾驶轨迹决策方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对所述第一图像特征、所述第二图像特征和所述第三图像特征进行融合处理，得到图像融合特征，包括：

3.根据权利要求2所述的方法，其特征在于，对所述图像融合特征和所述路端点云特征进行处理，得到第一BEV特征和第二BEV特征，包括：

4.根据权利要求3所述的方法，其特征在于，对所述第一BEV特征和所述第二BEV特征进行融合，得到融合BEV特征；包括：

5.根据权利要求1所述的方法，其特征在于，所述第一特征提取网络为ResNet101；所...

【技术特征摘要】

1.一种面向协同端到端大模型的自动驾驶轨迹决策方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对所述第一图像特征、所述第二图像特征和所述第三图像特征进行融合处理，得到图像融合特征，包括：

3.根据权利要求2所述的方法，其特征在于，对所述图像融合特征和所述路端点云特征进行处理，得到第一bev特征和第二bev特征，包括：

4.根据权利要求3所述的方法，其特征在于，对所述第一bev特征和所述第二bev特征进行融合，得到融合bev特征；包括：

5.根据权利要求1所述的方法，其特征在于，所述第一特征提取网络为resnet101；所述第二特征提取网络为voxelnet。

6.根据权利要求4所述...

【专利技术属性】
技术研发人员：卢凤黎，李志伟，王景微，郭一朴，王坤峰，沈甜雨，王力，谭启凡，张新钰，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：