车辆语言处理制造技术

本公开提供了“车辆语言处理”。一种计算系统可以被编程为基于输入到使用包括变分自动编码器(VAE)的逆强化学习(IRL)系统训练的深度神经网络(DNN)的车辆传感器数据来确定车辆动作。所述计算系统还可以被编程为基于所述车辆动作来操作车辆。

Vehicle language processing

【技术实现步骤摘要】
车辆语言处理
本公开总体上涉及车辆计算系统，并且更具体地涉及车辆语言处理。
技术介绍
车辆可以被装备成以自主模式和乘员驾驶模式这两种模式操作。车辆可以被装备有计算装置、网络、传感器和控制器以获取关于车辆环境的信息并且基于所述信息来操作车辆。车辆的安全和舒适的操作可以取决于获取关于车辆环境的准确且及时的信息。车辆传感器可以提供关于要行驶的路线和要在车辆环境中避开的对象的数据。车辆的安全且有效的操作可以取决于当车辆正在道路上操作时获取关于车辆环境中的路线和对象的准确且及时的信息。
技术实现思路
车辆可以被装备成以自主模式和乘员驾驶模式这两种模式操作。通过半自主模式或完全自主模式，意指一种操作模式，其中车辆可以部分地或全部地由计算装置作为具有传感器和控制器的车辆信息系统的一部分来驾驶。车辆可以被占用或未被占用，但是在任一种情况下，车辆都可以在没有乘员帮助的情况下被部分地或完全地驾驶。出于本公开的目的，自主模式被限定为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式下，车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主车辆中，这些中没有一个由计算机控制。车辆中的计算装置可以被编程为获取关于车辆外部环境的数据并且使用所述数据来确定用于以自主或半自主模式操作车辆的车辆轨迹。例如，计算装置可以向控制器(例如，电子控制单元或ECU)提供信息以在包括其他车辆和行人的对象的位置的交通中的道路上操作车辆。基于传感器数据，计算装置可以确定在存在其他车辆和行人的情况下车辆行驶以到达道路上的目的地的路径多项式，其中路径多项式是描述当车辆从道路上的第一位置移动到道路上的第二位置时连接车辆的连续位置的直线或曲线的多项式函数。计算装置可以基于可以用于操作道路上的车辆的路径多项式来确定车辆轨迹。本文讨论了一种用于基于输入到变分自动编码器(VAE)的车辆传感器数据来确定车辆(奖励函数)的行为的技术。然后，奖励函数被用于使用被限定为深层神经网络的策略网络来获得重构策略。本文公开了一种方法，其包括：基于输入到使用包括变分自动编码器(VAE)的逆强化学习(IRL)系统训练的深度神经网络(DNN)的车辆传感器数据来确定车辆动作；以及基于车辆动作来操作车辆。可以使用VAE来训练DNN以生成重构策略。重构策略可以基于车辆状态和潜在奖励函数。对抗鉴别器网络可以鉴别重构策略和专家策略。专家策略可以基于具有N个轨迹的车辆。可以使用重构策略来恢复专家策略和潜在奖励函数。车辆传感器数据可以包括来自左车道、右车道和同一车道中的相邻车辆的距离和相对速度。车辆动作可以包括三种车辆速度变化模式，所述三种车辆速度变化模式包括更高速度、更低速度和无变化。车辆动作可以包括三种车辆横向位置变化模式，所述三种车辆横向位置变化模式包括左车道变换操纵、同一车道和右车道变换操纵。VAE可以包括策略处理块，所述策略处理块基于奖励和专家状态来确定重构的动作。VAE可以包括鉴别器处理块，所述鉴别器处理块基于所述重构的动作和所述专家动作、基于所述重构的动作和所述专家动作的相似性来确定处理后的奖励。DNN基于处理后的奖励更新潜在的计算信息。可以基于车辆动作来确定路径多项式。操作车辆可以包括基于路径多项式指示车辆动力传动系统、制动部件和转向部件。还公开了一种存储用于执行上述方法步骤中的一些或全部的程序指令的计算机可读介质。还公开了一种计算机，所述计算机被编程为执行上述方法步骤中的一些或全部，所述计算机包括计算机设备，其被编程为基于输入到使用包括变分自动编码器(VAE)的逆强化学习(IRL)系统训练的深度神经网络(DNN)的车辆传感器数据来确定车辆动作，以及基于车辆动作来操作车辆。可以使用VAE来训练DNN以生成重构策略。重构策略可以基于车辆状态和潜在奖励函数。对抗鉴别器网络可以鉴别重构策略和专家策略。专家策略可以基于具有N个轨迹的车辆。可以使用重构策略来恢复专家策略和潜在奖励函数。车辆传感器数据可以包括来自左车道、右车道和同一车道中的相邻车辆的距离和相对速度。计算机设备还可以被编程为在车辆动作中包括三种车辆速度变化模式，所述三种车辆速度变化模式包括更高速度、更低速度和无变化。车辆动作可以包括三种车辆横向位置变化模式，所述三种车辆横向位置变化模式包括左车道变换操纵、同一车道和右车道变换操纵。VAE可以包括策略处理块，所述策略处理块基于奖励和专家状态来确定重构的动作。VAE可以包括鉴别器处理块，所述鉴别器处理块基于所述重构的动作和所述专家动作、基于所述重构的动作和所述专家动作的相似性来确定处理后的奖励。DNN基于处理后的奖励更新潜在的计算信息。可以基于车辆动作来确定路径多项式。操作车辆可以包括基于路径多项式指示车辆动力传动系统、制动部件和转向部件。附图说明图1是示例性交通基础设施系统的框图。图2是示例性交通场景的图。图3是示例逆强化学习(IRL)系统的图。图4是基于车辆轨迹操作车辆的示例过程的流程图。具体实施方式图1是交通基础设施系统100的图，所述车辆信息系统包括可以在自主(“自主”本身在本公开中意指“完全自主”)模式下和乘员驾驶(也称为非自主)模式下操作的车辆110。车辆110还包括用于在自主操作期间执行用于驾驶车辆110的计算的一个或多个计算装置115。计算装置115可以从传感器116接收关于车辆的操作的信息。计算装置115可以以自主模式、半自主模式或非自主模式来操作车辆110。出于本公开的目的，将自主模式限定为由计算装置控制车辆110的推进、制动和转向中的每一者的模式；在半自主模式下，计算装置115控制车辆110的推进、制动和转向中的一者或两者；在非自主模式下，操作人员控制车辆的推进、制动和转向。计算装置115包括诸如已知的处理器和存储器。此外，存储器包括一种或各种形式的计算机可读介质，并且存储可由处理器执行以执行包括如本文所公开的各种操作的指令。例如，计算装置115可以包括编程来操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部和/或外部灯等中的一者或多者，以及确定计算装置115而不是操作人员是否控制这种操作和何时控制这种操作。计算装置115可以包括或例如经由如下文进一步描述的车辆通信总线联接到一个以上的计算装置(例如，其包括在车辆110中以用于监测和/或控制各种车辆部件的控制器(例如，动力传动系统控制器112、制动控制器113、转向控制器114等))。计算装置115通常被布置为用于在车辆通信网络(例如，其包括车辆110中的总线，诸如控制器局域网(CAN)等)上进行通信；车辆110网络可以另外地或替代地包括诸如已知的有线或无线通信机制，诸如以太网或其他通信协议。经由车辆网络，计算装置115可以向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从这些装置接收消息。替代地或另本文档来自技高网...

【技术保护点】
1.一种方法，其包括：/n基于输入到使用包括变分自动编码器(VAE)的逆强化学习(IRL)系统训练的深度神经网络(DNN)的车辆传感器数据来确定车辆动作；和/n基于所述车辆动作来操作车辆。/n

【技术特征摘要】
20181101 US 16/177,7871.一种方法，其包括：
基于输入到使用包括变分自动编码器(VAE)的逆强化学习(IRL)系统训练的深度神经网络(DNN)的车辆传感器数据来确定车辆动作；和
基于所述车辆动作来操作车辆。


2.如权利要求1所述的方法，其还包括使用所述VAE训练所述DNN以生成重构策略。


3.如权利要求2所述的方法，其中所述重构策略基于车辆状态和潜在奖励函数。


4.如权利要求3所述的方法，其中对抗鉴别器网络鉴别所述重构策略和专家策略。


5.如权利要求4所述的方法，其中所述专家策略基于具有N个轨迹的所述车辆。


6.如权利要求5所述的方法，其中使用所述重构策略来恢复所述专家策略和所述潜在奖励函数。


7.如权利要求1所述的方法，其中所述车辆传感器数据包括来自左车道、右车道和同一车道中的相邻车辆的距离和相对速度。


8.如权利要求1所述的方法，其中所述车辆动作包括三种车辆速度变化模...

【专利技术属性】
技术研发人员：阿尔潘·库萨利，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国;US