System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 自动驾驶决策方法、系统、介质、自动驾驶系统及车辆技术方案_技高网

自动驾驶决策方法、系统、介质、自动驾驶系统及车辆技术方案

技术编号:40763690 阅读:4 留言:0更新日期:2024-03-25 20:14
本公开涉及一种自动驾驶决策方法、系统、介质、自动驾驶系统及车辆,涉及自动驾驶技术领域。其中,该方法包括:获取场景类别、目标和环境检测结果;基于场景类别、目标和环境检测结果生成自然语言形式的第一提示文本;利用第一提示文本查询大型语言模型,得到自然语言形式的第一查询结果;根据多个预设确认预期目标且生成格式化的第一提示模板;将第一查询结果与格式化的第一提示模板组合,生成自然语言形式的第二提示文本;利用第二提示文本查询大型语言模型,得到结构化的自然语言形式的第二查询结果。通过以上方法,能利用大型语言模型的常识进行驾驶决策且具备可解释性,且可集成到传统自动驾驶软件协议栈。

【技术实现步骤摘要】

本公开涉及自动驾驶,特别涉及一种自动驾驶决策方法、系统、介质、自动驾驶系统及车辆


技术介绍

1、自动驾驶系统通常采用模块化的结构实现,具体地软件上通常用分层的模块分别实现感知,决策,规划,轨迹跟踪,横向和纵向车辆控制等不同的功能。这种分层结构软件协议栈中的决策模块通常会根据感知的数据计算和更新周围环境中的目标运动信息,基于运动模型更新自车和环境目标的动态相对位置关系,再参考基于安全,交通法规预设确定的量化规则,做出合理的跟随或变道的横向决策和加速或减速的纵向决策。这种基于量化规则的决策模块有两个缺点:第一,它通常只能处理平稳的交通场景,对于稍复杂一些的场景或者动态性稍高的场景往往无法合理进行决策;第二,即便对于稳定的交通场景,在处于边界条件的时刻,往往由于自车和环境车辆决策交互的不可预测性所造成的交通场景决策本身的模糊性,量化规则也无法合理和灵活地进行决策。对于采用基于规则的自动驾驶系统,实际工程上往往通过针对特定场景堆叠复杂的启发式量化规则来覆盖测试中出现的决策问题,也就是专家系统。专家系统是一种不可持续的开发策略,一方面这是由实际交通场景和多方决策的复杂性造成的,这种堆叠规则的方法会导致庞大而复杂的规则系统,本身可能不自洽且无法合理解释规则之间的相容性;另一方面,在特定道路场景随测试增多,针对不同场景分别维护复杂的规则库,特别是测试这些规则库的工程开销是不可持续的。

2、利用端到端的深度神经网络是如今自动驾驶技术处理复杂场景的主要方法,目前的应用方式举例来说有以下几种方式:偏重在感知模块,诸如基于transformer模型的bev模型(鸟瞰图模型)或者占据格栅网络(tesla等);有采用强化学习方式进行从感知到规划控制或决策的端到端学习(nvidia,wayve);针对十字路口等特殊的复杂场景进行特殊特征处理和与感知模型的融合。

3、毫末智行drivegpt,是用于驾驶行为规划的大型基础模型,其中的行为规划对应了横纵向决策,它是通过定义一种专门的形式化“驾驶语言”作为该基础模型的接口,所以并非自然语言,需要进行内嵌化,对场景进行量化描述,利用已有驾驶标注数据,经过适配,可以训练大模型drive languange model。但是,drivegpt的性能取决于drive languagemodel的训练,基础模型从零开始训练是非常困难的,开销巨大;driving languauage是一种人为定义的形式化语言,专门为描述交通场景而设计,还需要进行内嵌化训练,场景离散的量化描述需要人为定义的参数,产生了不必要的超参;driving language非自然语言接口,对场景描述可能是有限的,和自然语言比,还面临长尾效应问题。


技术实现思路

1、本公开提出一种自动驾驶决策方法、系统、介质、自动驾驶系统及车辆,以解决上述技术问题。

2、根据本公开的第一方面,提出一种自动驾驶决策方法,包括:获取场景类别、目标和环境检测结果;基于所述场景类别、所述目标和环境检测结果生成自然语言形式的第一提示文本;利用所述第一提示文本查询大型语言模型,得到自然语言形式的第一查询结果;根据多个预设确认预期目标且生成格式化的第一提示模板,其中,所述多个预设包括场景模板预设、驾驶风格预设;将所述第一查询结果与所述格式化的第一提示模板组合,生成自然语言形式的第二提示文本;利用所述第二提示文本查询大型语言模型,得到结构化的自然语言形式的第二查询结果,其中,所述第二查询结果包括横向和纵向决策。

3、在一些实施例中,所述基于所述场景类别、所述目标和环境检测结果生成自然语言形式的第一提示文本,包括:根据所述场景类别选择对应的场景、驾驶预设条件及结果预设条件,并确定和组装第二提示模版;将所述目标和环境检测结果填入所述第二提示模板,生成自然语言形式的第一提示文本。

4、在一些实施例中,所述目标和环境检测结果包括其他车辆的运动信息及其相对本车的位置、路况。

5、在一些实施例中,所述大型语言模型为部署在云端的openai gpt系列、googlebard、meta llama系列、百度文心一言或阿里云通义千问。

6、在一些实施例中,所述大型语言模型通过模型蒸馏、监督细调以及量化低阶自适应针对自动驾驶相应场景细调训练得到较小模型后部署在企业内网服务器或车端服务器上。

7、在一些实施例中,所述结构化的自然语言形式的第二查询结果为json字符串。

8、根据本公开的第二方面,提出一种自动驾驶决策系统,包括:获取模块,用于获取场景类别、目标和环境检测结果;生成模块,用于基于所述场景类别、所述目标和环境检测结果生成自然语言形式的第一提示文本;第一查询模块,用于利用所述第一提示文本查询大型语言模型,得到自然语言形式的第一查询结果;确认模块,用于根据多个预设确认预期目标且生成格式化的第一提示模板;组合模块,将所述第一查询结果与所述格式化的第一提示模板组合,生成自然语言形式的第二提示文本;第二查询模块,用于利用所述第二提示文本查询大型语言模型,得到结构化的自然语言形式的第二查询结果。

9、根据本公开的第三方面,提出一种计算机可存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现如上述的自动驾驶决策方法。

10、根据本公开的第四方面,提出一种自动驾驶系统,包括权利要求7所述的自动驾驶决策系统、感知子系统以及控制子系统,所述自动驾驶决策系统基于所述感知子系统提供的场景类别、目标和环境检测结果生成决策指令,所述控制子系统基于所述决策指令对车辆进行控制。

11、根据本公开的第五方面,提出一种车辆,利用上述的自动驾驶系统对所述车辆进行控制。

12、通过采用上述技术方案,本公开的实施例能达到的有益技术效果陈述如下:可利用大型语言模型的常识进行驾驶决策且具备可解释性;自然语言可以将复杂感知信息高度压缩的特性,具有占用接口信息带宽小的优势;可集成到传统自动驾驶软件协议栈;接口完全兼容现存软件协议栈;可非常便捷集成系统需求到软件中;可灵活布置到移动端(适配的较小模型)或云端(高性能大型基础模型);可利用申请网络的批处理模式高速并发法处理多种可能方案;利用神经网络的多方案处理的结构进行安全校验和决策。

本文档来自技高网...

【技术保护点】

1.一种自动驾驶决策方法,其特征在于,所述方法包括:

2.根据权利要求1所述的自动驾驶决策方法,其特征在于,所述基于所述场景类别、所述目标和环境检测结果生成自然语言形式的第一提示文本,包括:

3.根据权利要求1或2所述的自动驾驶决策方法,其特征在于,所述目标和环境检测结果包括其他车辆的运动信息及其相对本车的位置、路况。

4.根据权利要求1所述的自动驾驶决策方法,其特征在于,所述大型语言模型为部署在云端的OpenAI GPT系列、Google Bard、Meta Llama系列、百度文心一言或阿里云通义千问。

5.根据权利要求1所述的自动驾驶决策方法,其特征在于,所述大型语言模型通过模型蒸馏、监督细调以及量化低阶自适应针对自动驾驶相应场景细调训练得到较小模型后部署在企业内网服务器或车端服务器上。

6.根据权利要求1所述的自动驾驶决策方法,其特征在于,所述结构化的自然语言形式的第二查询结果为json字符串。

7.一种自动驾驶决策系统,其特征在于,包括:

8.一种计算机可存储介质,其特征在于,其上存储有计算机程序指令,该指令被处理器执行时实现如权利要求1至6任一项所述的自动驾驶决策方法。

9.一种自动驾驶系统,其特征在于,包括权利要求7所述的自动驾驶决策系统、感知子系统以及控制子系统,所述自动驾驶决策系统基于所述感知子系统提供的场景类别、目标和环境检测结果生成决策指令,所述控制子系统基于所述决策指令对车辆进行控制。

10.一种车辆,其特征在于,利用权利要求9所述的自动驾驶系统对所述车辆进行控制。

...

【技术特征摘要】

1.一种自动驾驶决策方法,其特征在于,所述方法包括:

2.根据权利要求1所述的自动驾驶决策方法,其特征在于,所述基于所述场景类别、所述目标和环境检测结果生成自然语言形式的第一提示文本,包括:

3.根据权利要求1或2所述的自动驾驶决策方法,其特征在于,所述目标和环境检测结果包括其他车辆的运动信息及其相对本车的位置、路况。

4.根据权利要求1所述的自动驾驶决策方法,其特征在于,所述大型语言模型为部署在云端的openai gpt系列、google bard、meta llama系列、百度文心一言或阿里云通义千问。

5.根据权利要求1所述的自动驾驶决策方法,其特征在于,所述大型语言模型通过模型蒸馏、监督细调以及量化低阶自适应针对自动驾驶相应场景细调训练得到较小模...

【专利技术属性】
技术研发人员:忻斌健
申请(专利权)人:上海前晨汽车科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1