世界知识增强的自动驾驶模型、训练方法，自动驾驶方法和车辆技术

本公开提供了一种世界知识增强的自动驾驶模型、训练方法，自动驾驶方法和车辆，涉及计算机技术领域，尤其涉及自动驾驶和人工智能技术领域。实现方案为一种自动驾驶模型包括：编码网络，被配置成对场景信息进行编码，以得到所述场景信息的场景表示；生成式语言模型，被配置成对所述场景表示进行处理，以得到自然语言形式的驾驶行为描述；规划网络，被配置成基于所述场景表示和所述驾驶行为描述获取目标自动驾驶策略信息。通过利用场景表示以及基于场景表示产生的自然语言描述来进行规划，自动驾驶模型可以在不借助外部指导信息的情况下利用生成式语言模型中的先验知识和世界知识进行自动驾驶的决策和推理。

【技术实现步骤摘要】

本公开涉及计算机，尤其涉及自动驾驶和人工智能，具体涉及一种世界知识增强的自动驾驶模型、训练方法，自动驾驶方法、自动驾驶车辆、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

1、在自动驾驶模型的训练过程中，使用各种驾驶行为数据作为自动驾驶模型的学习目标。由于实际驾驶人的不同驾驶习惯和复杂的真实情况导致自动驾驶模型所学习的驾驶行为数据具有多样性。

2、人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

3、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。...

【技术保护点】

1.一种自动驾驶模型，包括：

2.如权利要求1所述的自动驾驶模型，其中，所述场景表示是鸟瞰图BEV空间中的隐式表示。

3.如权利要求1所述的自动驾驶模型，其中，所述场景信息包括由自动驾驶车辆上的至少一个传感器采集的感知信息和交通信息。

4.如权利要求1所述的自动驾驶模型，其中，所述驾驶行为描述包括针对车辆行驶轨迹和车辆的控制信号中的至少一种的自然语言描述。

5.如权利要求1所述的自动驾驶模型，其中，所述生成式语言模型是大语言模型。

6.如权利要求5所述的自动驾驶模型，其中，利用生成式语言模型对所述场景表示进行处理包括：

<...

【技术特征摘要】

1.一种自动驾驶模型，包括：

2.如权利要求1所述的自动驾驶模型，其中，所述场景表示是鸟瞰图bev空间中的隐式表示。

3.如权利要求1所述的自动驾驶模型，其中，所述场景信息包括由自动驾驶车辆上的至少一个传感器采集的感知信息和交通信息。

4.如权利要求1所述的自动驾驶模型，其中，所述驾驶行为描述包括针对车辆行驶轨迹和车辆的控制信号中的至少一种的自然语言描述。

5.如权利要求1所述的自动驾驶模型，其中，所述生成式语言模型是大语言模型。

6.如权利要求5所述的自动驾驶模型，其中，利用生成式语言模型对所述场景表示进行处理包括：

7.如权利要求1所述的自动驾驶模型，其中，所述编码网络和所述规划层是基于transformer的神经网络结构。

8.一种用于如权利要求1-7中任一项所述的自动驾驶模型的训练方法，所述训练方法包括：

9.如权利要求8所述的训练方法，其中，所述规划网络处理的所述样本时刻的驾驶行为描述是所述真实驾驶行为描述。

10.如权利要求8所述的训练方法，其中，利用所述生成式语言模型对所述样本场景表示进行处理，以得到所述样本时刻的预测驾驶行为描述包括：

11.如权利要求8-10中任一项所述的训...

【专利技术属性】
技术研发人员：黄际洲，王凡，
申请(专利权)人：阿波罗智能技术北京有限公司，
类型：发明
国别省市：