一种辅助驾驶方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种辅助驾驶方法、装置、电子设备及存储介质，涉及智能驾驶技术领域，包括获取包含多个模态的待处理驾驶数据，相比单一模态，能更全面地描述高速行驶场景，为决策提供丰富信息；将多模态的待处理驾驶数据进行表征转换得到第一、第二和第三特征向量，不同的特征向量可用于不同的分析任务，这种细致的划分有助于实现多层次决策；通过掩膜处理、物体定位、时序预测等多任务，分别获取目标物体的行为、位置、时序信息，细化分析维度，弥补通用多模态大模型缺乏专门处理机制的缺陷；最后整合多维度信息输出辅助驾驶策略，综合考虑多种因素，制定更合理决策，克服通用模型信息整合不足、难以适应复杂任务的问题。

【技术实现步骤摘要】

本申请涉及智能驾驶，尤其涉及一种辅助驾驶方法、装置、电子设备及存储介质。

技术介绍

1、随着智能驾驶技术的不断发展，辅助驾驶系统在提升驾驶安全性、减少交通事故等方面发挥了重要作用。特别是在高速公路等复杂场景下，辅助驾驶系统的作用尤为显著。

2、相关技术基于多模态大模型，直接进行端到端的场景解读，输入视频，经过模型直接输出驾驶建议。但是在高速公路场景中，车辆之间的交互、车道变换的时序信息等复杂任务对辅助驾驶系统提出了更高的要求。现有的一些通用模型通常无法应对这种多层次的决策需求。

技术实现思路

1、本申请提供了一种辅助驾驶方法、装置、电子设备及存储介质，以至少解决相关技术中通用多模态大模型无法满足高速公路场景下复杂任务的多层次决策需求的问题。

2、本申请提供了一种辅助驾驶方法，包括：获取待处理驾驶数据，待处理驾驶数据包括多个模态的数据；对待处理驾驶数据进行表征转换得到第一特征向量、第二特征向量和第三特征向量；基于第一特征向量进行掩膜处理确定第一特征向量对应的目标物体，并对目标物体进行动作本文档来自技高网...

【技术保护点】

1.一种辅助驾驶方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述待处理驾驶数据进行表征转换得到第一特征向量、第二特征向量和第三特征向量，包括：

3.根据权利要求2所述的方法，其特征在于，所述待处理驾驶数据包括文本数据和图像数据；

4.根据权利要求3所述的方法，其特征在于，所述对所述待处理驾驶数据进行编码，得到各个模态的数据对应的嵌入表示，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据预训练语言模型对所述各个模态的数据对应的嵌入表示进行映射，得到所述第一特征向量、所述第二特征向量和所述第三特征向量，包...

【技术特征摘要】

1.一种辅助驾驶方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述待处理驾驶数据进行表征转换得到第一特征向量、第二特征向量和第三特征向量，包括：

3.根据权利要求2所述的方法，其特征在于，所述待处理驾驶数据包括文本数据和图像数据；

4.根据权利要求3所述的方法，其特征在于，所述对所述待处理驾驶数据进行编码，得到各个模态的数据对应的嵌入表示，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据预训练语言模型对所述各个模态的数据对应的嵌入表示进行映射，得到所述第一特征向量、所述第二特征向量和所述第三特征向量，包括：

...

【专利技术属性】
技术研发人员：郑培儒，龚湛，赵云，朱红，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：