基于多模态认知语言模型的自动驾驶方法技术

本发明专利技术提供了一种基于多模态认知语言模型的自动驾驶方法

【技术实现步骤摘要】
基于多模态认知语言模型的自动驾驶方法、介质及设备


[0001]本专利技术涉及自动驾驶
，特别是涉及一种基于多模态认知语言模型的自动驾驶方法
、
介质及设备
。

技术介绍

[0002]目前，传统的自动驾驶方法中产生的决策方案不具备人类的常识，无法对未知且不安全的场景做出正确的决策
。
当传统的自动驾驶方法控制的智能车辆处于未知且不安全的场景时，传统的自动驾驶方法可能控制智能车辆做出错误的动作，导致产生交通事故
。

技术实现思路

[0003]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于多模态认知语言模型的自动驾驶方法
、
介质及设备，能够解决传统的自动驾驶方法在未知且不安全场景下输出的决策不准确的问题，达到提高用户信任感的目的
。
[0004]具体地，本专利技术提供了一种基于多模态认知语言模型的自动驾驶方法，包括：获取智能汽车的多模态信息，所述多模态信息包括所述智能汽车的检测数据和用于引导所述智能汽车动作的提示信息；
[0005]将所述多模态信息输入预设认知语言模型，所述预设认知语言模型以所述提示信息作为引导，并根据人类驾驶的常识
、
交通规则
、
驾驶场景对所述检测数据进行处理，以得到用于调整所述智能汽车动作的决策
。
[0006]可选地，在所述的得到用于调整所述智能汽车动作的决策之后，还包括：获取做出所述决策的原因/>。
[0007]可选地，所述的将所述多模态信息输入预设认知语言模型，包括：
[0008]获取所述检测数据中的点云数据和第一图片数据，对所述点云数据进行图像处理，以得到第二图片数据；
[0009]将所述第一图片数据和所述第二图片数据进行分割，并将分割后的所述第一图片数据和所述第二图片数据通过预设的线性投影模型进行映射，以得到多维向量数据；将所述多维向量数据输入所述预设认知语言模型
。
[0010]可选地，所述的将所述多维向量数据输入所述预设认知语言模型，包括：
[0011]对所述多维向量数据进行编码，以得到用编码数据；
[0012]将所述编码数据输入所述预设认知语言模型
。
[0013]可选地，在所述的将所述多模态信息输入预设认知语言模型之前，还包括：获取训练数据和初始认知语言模型；
[0014]采用所述训练数据对所述初始认知语言模型进行无监督训练，以得到所述预设认知语言模型
。
[0015]可选地，在所述的得到所述预设认知语言模型后，还包括：
[0016]获取用户在不同场景下的驾驶数据；
[0017]根据所述驾驶数据对所述预设认知语言模型进行监督学习，以对所述预设认知语言模型进行调整
。
[0018]可选地，在所述的得到用于调整所述智能汽车动作的决策之后，还包括：采用预设评估规则对所述决策进行评估，并根据所述评估的结果确定是否对所述决策进行调整
。
[0019]可选地，在所述的得到用于调整所述智能汽车动作的决策之后，还包括：对所述驾驶场景和所述决策进行存储；
[0020]所述自动驾驶方法还包括：获取当前驾驶场景；
[0021]根据所述当前驾驶场景得到用于调整所述智能汽车动作的决策
。
[0022]根据本专利技术的另一个方面，本专利技术还提供了一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理器执行时实现根据上述任一项所述的自动驾驶方法
。
[0023]根据本专利技术的又一个方面，本专利技术还提供了一种计算机设备，所述计算机设备包括存储器
、
处理器及存储在所述存储器上并在所述处理器上运行的机器可执行程序，并且所述处理器执行所述机器可执行程序时实现上述任一项所述的自动驾驶方法
。
[0024]本专利技术的基于多模态认知语言模型的自动驾驶方法中，采用了预设认知语言模型以提示信息作为引导，并根据人类驾驶的常识
、
交通规则
、
驾驶场景对智能汽车的检测数据进行处理，得到用于调整智能汽车动作的决策的技术手段，实现智能汽车的自动驾驶
。
与传统的自动驾驶方法在未知且不安全场景做出的决策相比，预设认知语言模型可以结合人类驾驶的常识处理未知且不安全场景，输出适用未知且不安全场景的决策，解决了传统的自动驾驶方法在未知且不安全场景下输出的决策不准确的问题，提高了决策的准确度，从而提高了用户对自动驾驶的信任感
。
[0025]根据下文结合附图对本专利技术具体实施例的详细描述，本领域技术人员将会更加明了本专利技术的上述以及其他目的
、
优点和特征
。
附图说明
[0026]后文将参照附图以示例性而非限制性的方式详细描述本专利技术的一些具体实施例
。
附图中相同的附图标记标示了相同或类似的部件或部分
。
本领域技术人员应该理解，这些附图未必是按比例绘制的
。
附图中：
[0027]图1是根据现有技术一中传统智能驾驶方法的示意性流程图；
[0028]图2是根据现有技术二中基于规则的传统智能驾驶方法的示意性流程图；
[0029]图3是根据现有技术二中车辆变道场景的示意性流程图；
[0030]图4是根据现有技术三中基于强化学习的决策规划算法的示意性流程图；
[0031]图5是根据本专利技术一个实施例的基于多模态认知语言模型的自动驾驶方法的示意性流程图；
[0032]图6是根据本专利技术一个实施例的自动驾驶方法中处理检测数据的示意性流程图；
[0033]图7是根据本专利技术一个实施例的自动驾驶方法中处理多维向量数据的示意性流程图；
[0034]图8是根据本专利技术一个实施例的自动驾驶方法的整体示意性流程图；
[0035]图9是根据本专利技术一个实施例的自动驾驶方法中获取预设认知语言模型的示意性
流程图；
[0036]图
10
是根据本专利技术一个实施例的自动驾驶方法中预设认知语言模型处理数据的示意性流程图；
[0037]图
11
是根据本专利技术一个实施例的自动驾驶方法中获取符合用户习惯的预设认知语言模型的示意性流程图；
[0038]图
12
是根据本专利技术一个实施例的机器可读存储介质的示意图；
[0039]图
13
是根据本专利技术一个实施例的计算机设备的示意图
。
具体实施方式
[0040]下面参照图1至图
13
来描述本专利技术实施例的基于多模态认知语言模型的自动驾驶方法
、
介质及设备
。
在本实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态认知语言模型的自动驾驶方法，其特征在于，包括：获取智能汽车的多模态信息，所述多模态信息包括所述智能汽车的检测数据和用于引导所述智能汽车动作的提示信息；将所述多模态信息输入预设认知语言模型，所述预设认知语言模型以所述提示信息作为引导，并根据人类驾驶的常识
、
交通规则
、
驾驶场景对所述检测数据进行处理，以得到用于调整所述智能汽车动作的决策
。2.
根据权利要求1所述的自动驾驶方法，其特征在于，在所述的得到用于调整所述智能汽车动作的决策之后，还包括：获取做出所述决策的原因
。3.
根据权利要求1所述的自动驾驶方法，其特征在于，所述的将所述多模态信息输入预设认知语言模型，包括：获取所述检测数据中的点云数据和第一图片数据，对所述点云数据进行图像处理，以得到第二图片数据；将所述第一图片数据和所述第二图片数据进行分割，并将分割后的所述第一图片数据和所述第二图片数据通过预设的线性投影模型进行映射，以得到多维向量数据；将所述多维向量数据输入所述预设认知语言模型
。4.
根据权利要求3所述的自动驾驶方法，其特征在于，所述的将所述多维向量数据输入所述预设认知语言模型，包括：对所述多维向量数据进行编码，以得到编码数据；将所述编码数据输入所述预设认知语言模型
。5.
根据权利要求1所述的自动驾驶方法，其特征在于，在所述的将所述多模态...

【专利技术属性】
技术研发人员：李梦雨，宋永康，黄萌，田向远，万烨星，
申请(专利权)人：宁波路特斯机器人有限公司，
类型：发明
国别省市：