自动驾驶的多任务决策方法及装置制造方法及图纸

本公开提供了一种自动驾驶的多任务决策方法

【技术实现步骤摘要】
自动驾驶的多任务决策方法及装置、电子设备和介质


[0001]本公开涉及数据处理领域，尤其涉及自然语言处理和自动驾驶
，具体涉及一种自动驾驶的多任务决策方法
、
装置
、
电子设备
、
计算机可读存储介质和计算机程序产品
。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为
(
如学习
、
推理
、
思考
、
规划等
)
的学科，既有硬件层面的技术也有软件层面的技术
。
人工智能硬件技术一般包括如传感器
、
专用人工智能芯片
、
云计算
、
分布式存储
、
大数据处理等技术
:
人工智能软件技术主要包括计算机视觉技术
、
语音识别技术
、
自然语言处理技术以及机器学习
/
深度学习
、
大数据处理技术
、
知识图谱技术等几大方向
。
[0003]相关技术中，用于自动驾驶的多任务决策模型会针对每个决策任务建立一个分支网络，并通过多个分支网络并行处理采集到的传感器数据，以同时生成多个控制决策
。

技术实现思路

[0004]本公开提供了一种自动驾驶的多任务决策方法
、
装置
、
电子设备
、
计算机可读存储介质和计算机程序产品
。
[0005]根据本公开的一方面，提供了一种自动驾驶的多任务决策方法，包括：获取自动驾驶的场景数据，其中，所述场景数据包括主车的行驶状态信息和场景环境信息，所述场景环境信息指示会对所述主车的行驶状态产生影响的至少一种环境因素；基于所述场景数据和多个目标决策任务生成对应的文本数据，其中，所述文本数据指示与所述多个目标决策任务相关联的至少部分所述行驶状态信息和至少部分所述场景环境信息；以及将所述文本数据输入语义理解模型，以得到所述语义理解模型输出的针对所述多个目标决策任务的目标控制决策，其中，所述语义理解模型是基于第一文本训练数据和第二文本训练数据训练得到的，所述第一文本训练数据包括训练车辆的训练行驶状态信息和训练场景环境信息，所述训练场景环境信息指示会对所述训练车辆的行驶状态产生影响的至少一种环境因素，所述第二文本训练数据包括基于所述训练行驶状态信息和所述训练场景环境信息生成的针对多个训练决策任务的训练控制决策，所述多个训练决策任务至少包括所述多个目标决策任务
。
[0006]根据本公开的另一方面，提供了一种语义理解模型的训练方法，包括：获取第一文本训练数据，所述第一文本训练数据包括主车的训练行驶状态信息和训练场景环境信息，其中，所述训练场景环境信息指示会对所述主车的行驶状态产生影响的至少一种环境因素；根据所述第一文本训练数据确定第二文本训练数据，其中，所述第二文本训练数据包括根据所述训练行驶状态信息和所述训练场景环境信息确定的针对多个训练决策任务的训练控制决策；将所述第一文本训练数据输入初始语义理解模型，以得到所述初始语义理解模型输出的初始控制决策；以及基于所述初始控制决策和所述第二文本训练数据调整所述
初始语义理解模型的网络参数，以得到目标语义理解模型
。
[0007]根据本公开的另一方面，提供了一种自动驾驶的多任务决策装置，包括：第一获取单元，被配置为获取自动驾驶的场景数据，其中，所述场景数据包括主车的行驶状态信息和场景环境信息，所述场景环境信息指示会对所述主车的行驶状态产生影响的至少一种环境因素；生成单元，被配置为基于所述场景数据和多个目标决策任务生成对应的文本数据，其中，所述文本数据指示与所述多个目标决策任务相关联的至少部分所述行驶状态信息和至少部分所述场景环境信息；以及决策单元，被配置为将所述文本数据输入语义理解模型，以得到所述语义理解模型输出的针对所述多个目标决策任务的目标控制决策，其中，所述语义理解模型是基于第一文本训练数据和第二文本训练数据训练得到的，所述第一文本训练数据包括训练车辆的训练行驶状态信息和训练场景环境信息，所述训练场景环境信息指示会对所述训练车辆的行驶状态产生影响的至少一种环境因素，所述第二文本训练数据包括基于所述训练行驶状态信息和所述训练场景环境信息生成的针对多个训练决策任务的训练控制决策，所述多个训练决策任务至少包括所述多个目标决策任务
。
[0008]根据本公开的另一方面，提供了一种语义理解模型的训练装置，包括：第二获取单元，被配置为获取第一文本训练数据，所述第一文本训练数据包括主车的训练行驶状态信息和训练场景环境信息，其中，所述训练场景环境信息指示会对所述主车的行驶状态产生影响的至少一种环境因素；确定单元，被配置为根据所述第一文本训练数据确定第二文本训练数据，其中，所述第二文本训练数据包括根据所述训练行驶状态信息和所述训练场景环境信息确定的针对多个训练决策任务的训练控制决策；处理单元，被配置为将所述第一文本训练数据输入初始语义理解模型，以得到所述初始语义理解模型输出的初始控制决策；以及第二调整单元，被配置为基于所述初始控制决策和所述第二文本训练数据调整所述初始语义理解模型的网络参数，以得到目标语义理解模型
。
[0009]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法
。
[0010]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行如上所述的方法
。
[0011]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现如上所述的方法
。
[0012]根据本公开的另一方面，提供了一种自动驾驶车辆，包括如上所述的电子设备
。
[0013]根据本公开的一个或多个实施例，将获取到的自动驾驶场景数据转换为文字数据，并使用语义理解模型来处理该文字数据，以基于该文字数据中包括的与自动驾驶决策任务相关的所有特征因素来同时生成针对多个决策任务的控制决策，不需要针对每个决策任务设置并行的分支网络即可将所有决策任务融合在一起，建立起了多个决策任务之间的紧密关联关系，能够最大程度地利用自动驾驶场景中包括的所有特征因素来从整体角度出发进行控制决策，提高了生成控制决策的效率和准确性
。
[0014]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围
。
本公开的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0015]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种自动驾驶的多任务决策方法，包括：获取自动驾驶的场景数据，其中，所述场景数据包括主车的行驶状态信息和场景环境信息，所述场景环境信息指示会对所述主车的行驶状态产生影响的至少一种环境因素；基于所述场景数据和多个目标决策任务生成对应的文本数据，其中，所述文本数据指示与所述多个目标决策任务相关联的至少部分所述行驶状态信息和至少部分所述场景环境信息；以及将所述文本数据输入语义理解模型，以得到所述语义理解模型输出的针对所述多个目标决策任务的目标控制决策，其中，所述语义理解模型是基于第一文本训练数据和第二文本训练数据训练得到的，所述第一文本训练数据包括训练车辆的训练行驶状态信息和训练场景环境信息，所述训练场景环境信息指示会对所述训练车辆的行驶状态产生影响的至少一种环境因素，所述第二文本训练数据包括基于所述训练行驶状态信息和所述训练场景环境信息生成的针对多个训练决策任务的训练控制决策，所述多个训练决策任务至少包括所述多个目标决策任务
。2.
根据权利要求1所述的方法，其中，所述基于所述场景数据和多个目标决策任务生成对应的文本数据包括：对于所述多个目标决策任务中的每个目标决策任务，确定该目标决策任务对应的至少一个影响因素，以得到所述多个目标决策任务对应的多个影响因素，其中，每个影响因素与所述主车的行驶状态或所处场景环境相关联；从所述场景数据中提取与所述多个影响因素关联的特征数据；以及基于所述特征数据生成所述文本数据
。3.
根据权利要求2所述的方法，其中，所述基于所述特征数据生成所述文本数据包括：根据所述多个目标决策任务中每个目标决策任务获取相应的第一文本模板，以得到多个第一文本模板；以及基于所述特征数据和所述多个第一文本模板生成所述文本数据
。4.
根据权利要求2所述的方法，其中，所述基于所述特征数据生成所述文本数据包括：根据所述多个影响因素获取对应的第二文本模板；以及基于所述特征数据和所述第二文本模板生成所述文本数据
。5.
根据权利要求1‑4中任一项所述的方法，还包括：将所述文本数据和所述目标控制决策作为训练数据返回所述语义理解模型，以调整所述语义理解模型的网络参数
。6.
根据权利要求1‑5中任一项所述的方法，其中，所述多个目标决策任务包括风险预警任务
、
盲区提示任务和路径选择任务中的至少两个
。7.
一种语义理解模型的训练方法，包括：获取第一文本训练数据，所述第一文本训练数据包括主车的训练行驶状态信息和训练场景环境信息，其中，所述训练场景环境信息指示会对所述主车的行驶状态产生影响的至少一种环境因素；根据所述第一文本训练数据确定第二文本训练数据，其中，所述第二文本训练数据包括根据所述训练行驶状态信息和所述训练场景环境信息确定的针对多个训练决策任务的训练控制决策；
将所述第一文本训练数据输入初始语义理解模型，以得到所述初始语义理解模型输出的初始控制决策；以及基于所述初始控制决策和所述第二文本训练数据调整所述初始语义理解模型的网络参数，以得到目标语义理解模型
。8.
如权利要求7所述的方法，其中，所述根据所述第一文本训练数据确定第二文本训练数据包括：根据所述第一文本训练数据和预设驾驶规则确定所述第二文本训练数据
。9.
如权利要求7或8所述的方法，其中，所述根据所述第一文本训练数据确定第二文本训练数据包括：获取所述第一文本训练数据对应的场景测试数据，其中，所述场景测试数据包括所述主车在所述训练场景环境信息对应的目标场景下
、
以所述训练行驶状态信息对应的行驶状态继续行驶所得到的测试结果数据；以及基于所述第一文本训练数据和所述场景测试数据确定所述第二文本训练数据
。10.
一种自动驾驶的多任务决策装置，包括：第一获取单元，被配置为获取自动驾驶的场景数据，其中，所述场景数据包括主车的行驶状态信息和场景环境信息，所述场景环境信息指示会对所述主车的行驶状态产生影响的至少一种环境因素；生成单元，被配置为基于所述场景数据和多个目标决策任务生成对应的文本数据，其中，所述文本数据指示与所述多个目标决策任务相关联的至少部分所述行驶状态信息和至少部分所述场景环境信息；以及决策单元，被配置为将所述文本数据输入语义理解模型，以得到所述语义理解模型输出的针对所述多个目标决策任务的目标控制决策，其中，所述语义理解模型是基于第一文本训练数据和第二文本训练数据训练得到的，所述第一文本训练数据包括训练车...

【专利技术属性】
技术研发人员：郑欣悦，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：