自主车辆策略的生成制造技术

本申请涉及自主车辆策略的生成。一种自主车辆策略生成系统可以包括：状态输入生成器，所述状态输入生成器生成与正在经历训练的自主车辆相关联的一组属性；交通模拟器，所述交通模拟器模拟出模拟环境，所述模拟环境包括所述自主车辆、与多条车道相关联的道路、以及所述模拟环境内的另一车辆；Q‑掩蔽器，所述Q‑掩蔽器确定针对某个时间间隔要应用于所述自主车辆的一组可能动作中的一个子组的掩蔽；以及动作生成器，所述动作生成器从所述一组可能动作中探索剩余的一组动作，并且基于所述剩余的一组动作和与所述自主车辆相关联的所述一组属性确定针对所述时间间隔的自主车辆策略。

Generation of Autonomous Vehicle Strategy

This application relates to the generation of autonomous vehicle strategy. An autonomous vehicle strategy generation system may include: a state input generator that generates a set of attributes associated with an autonomous vehicle undergoing training; a traffic simulator that simulates an analog environment that includes the autonomous vehicle, a road associated with multiple lanes, and another in the analog environment. A vehicle; a Q mask, the Q mask determines a masking for a subgroup of possible actions to be applied to the autonomous vehicle at a certain time interval; and an action generator that explores the remaining set of actions from the set of possible actions and is based on the remaining set of actions and the one associated with the autonomous vehicle. Group attributes determine the autonomous vehicle strategy for the time interval.

【技术实现步骤摘要】
自主车辆策略的生成相关申请的交叉引用本申请要求2017年10月12日提交的名称为“TACTICALDECISIONMAKINGFORLANECHANGINGWITHDEEPREINFORCEMENTLEARNING”的美国临时专利申请序列号62/571717(代理人案卷号HRA-43303)的权益；上面提到的一个或多个申请的全部内容以引用方式并入本文。
技术介绍
近年来，自动驾驶汽车得到人们越来越多的关注。但自主驾驶车辆面临许多决策，诸如何时变换车道、如何变换车道，等等。而这些决策时常在多车道或多主体的背景或环境中作出。在任何情况下，自动驾驶车辆都可以被要求以安全的方式有效地执行对车道变换的策划。这在以多车道高速公路为背景或环境的情况下可能是有用的，诸如在存在高速交通的情况下。由于自主车辆与其他车辆之间存在交互作用，连同许多其他因素(诸如天气或道路状况)的影响，所以确定或生成这些驾驶策划或车道变换决策可能很复杂且富有挑战性。
技术实现思路
根据一个方面，自主车辆策略生成系统可以包括状态输入生成器、交通模拟器、Q-掩蔽器和动作生成器。状态输入生成器可以生成与正在经历训练的自主车辆相关联的一组属性。交通模拟器可以模拟出模拟环境，该模拟环境包括自主车辆、与多条车道相关联的道路、以及该模拟环境内的另一车辆。Q-掩蔽器可以确定针对某个时间间隔要应用于该自主车辆的一组可能动作中的一个子组的掩蔽。动作生成器可以从该组可能动作中探索剩余的一组动作，并且基于剩余的这组动作和与该自主车辆相关联的这组属性确定针对该时间间隔的自主车辆策略。剩余的这组动作排除了被掩蔽子组的动作。这组属性可以包括与该自主车辆相关联的当前速度、与该自主车辆相关联的车道定位，以及从该自主车辆到目标的距离。目标可以是期望的目的地。针对该自主车辆的该组可能动作可以包括在该时间间隔期间自主驾驶策划下列各项：保持与该自主车辆相关联的当前速度、加速、减速、执行变换到右侧车道或执行变换到左侧车道。Q-掩蔽器可以基于下列各项确定要应用于该子组的动作的掩蔽：指示该自主车辆与模拟环境之间或者该自主车辆与模拟环境内的另一车辆之间的预定义的容许交互作用的先验知识；指示容许的驾驶策划的交通规则；或者与该自主车辆相关联的能力，该能力指示与该自主车辆相关联的在物理上可能的驾驶策划。Q-掩蔽器可以基于先验知识确定被掩蔽子组的动作，以便包括：当该自主车辆定位在道路的最右侧车道上时自主驾驶策划执行变换到右侧车道，以及当该自主车辆定位在道路的最左侧车道上时自主驾驶策划执行变换到左侧车道。Q-掩蔽器可以基于先验知识确定被掩蔽子组的动作，以便包括：在该自主车辆与另一车辆两者定位在同一车道中的情况下，当该自主车辆定位在该另一车辆后方的第一阈值距离处时自主驾驶策划加速；以及在该自主车辆与另一车辆两者定位在同一车道中的情况下，当该自主车辆定位在该另一车辆前方的第二阈值距离处时自主驾驶策划减速。Q-掩蔽器可以基于先验知识确定被掩蔽子组的动作，以便包括：当该自主车辆定位在另一车辆的右侧并且在该另一车辆的车道变换阈值距离内时自主驾驶策划变换到左侧车道，以及当该自主车辆定位在另一车辆的左侧并且在该另一车辆的车道变换阈值距离内时自主驾驶策划变换到右侧车道。Q-掩蔽器可以基于先验知识确定被掩蔽子组的动作，以便包括：在该自主车辆与另一车辆之间的碰撞时间(TTC)估计值低于TTC阈值时，与预期会缩短该TTC估计值相关联的任何驾驶策划。Q-掩蔽器可以基于交通规则确定被掩蔽子组的动作，以便包括：当与该自主车辆相关联的当前速度大于与道路相关联的速度限值时加速，以及当与该自主车辆相关联的当前速度小于与道路相关联的最低速度限值时减速。Q-掩蔽器可以基于交通规则确定被掩蔽子组的动作，以便包括：当该自主车辆正好定位在道路的双车道标识右侧时自主驾驶策划执行变换到右侧车道，以及当该自主车辆正好定位在道路的双车道标识左侧时自主驾驶策划执行变换到左侧车道。动作生成器可以从该组可能动作中探索剩余的这组动作，并且针对一个或多个附加的时间间隔确定自主车辆策略，直到该自主车辆达到终止状态为止。动作生成器可以将与一个或多个附加的时间间隔相关联的探索到的一组或多组动作存储为对应的一条或多条轨迹线。动作生成器可以基于奖励函数从该组可能动作中探索剩余的这组动作，并且基于该奖励函数确定自主车辆策略。奖励函数可以包括贴现因子。根据一个方面，自主车辆策略生成方法可以包括：生成与正在经历训练的自主车辆相关联的一组属性；模拟出模拟环境，该模拟环境包括该自主车辆、与多条车道相关联的道路、以及该模拟环境内的另一车辆；确定针对某个时间间隔要应用于该自主车辆的一组可能动作中的一个子组的掩蔽；从该组可能动作中探索剩余的一组动作；以及基于剩余的这组动作和与该自主车辆相关联的这组属性确定针对该时间间隔的自主车辆策略。剩余的这组动作排除了被掩蔽子组的动作。这组属性可以包括与该自主车辆相关联的当前速度、与该自主车辆相关联的车道定位，以及从该自主车辆到目标的距离。目标可以是期望的目的地。针对该自主车辆的该组可能动作可以包括在该时间间隔期间自主驾驶策划下列各项：保持与该自主车辆相关联的当前速度、加速、减速、执行变换到右侧车道或执行变换到左侧车道。可以基于下列各项确定要应用于该子组的动作的掩蔽：指示该自主车辆与模拟环境之间或者该自主车辆与模拟环境内的另一车辆之间的预定义的容许交互作用的先验知识；指示容许的驾驶策划的交通规则；或者与该自主车辆相关联的能力，该能力指示与该自主车辆相关联的在物理上可能的驾驶策划。该方法可以包括在模拟环境外向自主车辆实施该自主车辆策略。根据一个方面，自主车辆策略生成系统可以包括状态输入生成器、交通模拟器、Q-掩蔽器和动作生成器。状态输入生成器可以生成与正在经历训练的自主车辆相关联的一组属性。交通模拟器可以模拟出模拟环境，该模拟环境包括自主车辆、与多条车道相关联的道路、以及该模拟环境内的另一车辆。Q-掩蔽器可以基于下列各项确定针对某个时间间隔要应用于该自主车辆的一组可能动作中的一个子组的掩蔽：指示该自主车辆与模拟环境之间或者该自主车辆与模拟环境内的另一车辆之间的预定义的容许交互作用的先验知识；指示容许的驾驶策划的交通规则；或者与该自主车辆相关联的能力，该能力指示与该自主车辆相关联的在物理上可能的驾驶策划。动作生成器可以从该组可能动作中探索剩余的一组动作，并且基于剩余的这组动作和与该自主车辆相关联的这组属性确定针对该时间间隔的自主车辆策略。剩余的这组动作排除了被掩蔽子组的动作。附图说明图1是根据一个或多个方面的自主车辆策略生成系统的组件图。图2是根据一个或多个方面的自主车辆策略生成方法的流程图。图3A是根据一个或多个方面的自主车辆策略生成方法的流程图。图3B是根据一个或多个方面的与自主车辆策略生成相关联的示例性模拟界面。图4A至图4C是根据一个或多个方面的可以在其中实现自主车辆策略生成的示例性场景。图5是根据一个或多个方面的示例计算机可读介质或计算机可读设备的图示，该计算机可读介质或计算机可读设备包括被配置为体现本文所列出的规定中的一个或多个的处理器可执行指令。图6是根据一个或多个方面的示例计算环境的图示，在该计算环境中实现了本文所列出的规定中的一个或多本文档来自技高网...

【技术保护点】
1.一种自主车辆策略生成系统，其包括：状态输入生成器，所述状态输入生成器生成与正在经历训练的自主车辆相关联的一组属性；交通模拟器，所述交通模拟器模拟出模拟环境，所述模拟环境包括所述自主车辆、与多条车道相关联的道路、以及所述模拟环境内的另一车辆；Q‑掩蔽器，所述Q‑掩蔽器确定针对某个时间间隔要应用于所述自主车辆的一组可能动作中的一个子组的掩蔽；以及动作生成器，所述动作生成器从所述一组可能动作中探索剩余的一组动作，并且基于所述剩余的一组动作和与所述自主车辆相关联的所述一组属性确定针对所述时间间隔的自主车辆策略，其中所述剩余的一组动作排除了所述被掩蔽子组的动作。

【技术特征摘要】
2017.10.12 US 62/571,717;2018.08.14 US 16/103,8471.一种自主车辆策略生成系统，其包括：状态输入生成器，所述状态输入生成器生成与正在经历训练的自主车辆相关联的一组属性；交通模拟器，所述交通模拟器模拟出模拟环境，所述模拟环境包括所述自主车辆、与多条车道相关联的道路、以及所述模拟环境内的另一车辆；Q-掩蔽器，所述Q-掩蔽器确定针对某个时间间隔要应用于所述自主车辆的一组可能动作中的一个子组的掩蔽；以及动作生成器，所述动作生成器从所述一组可能动作中探索剩余的一组动作，并且基于所述剩余的一组动作和与所述自主车辆相关联的所述一组属性确定针对所述时间间隔的自主车辆策略，其中所述剩余的一组动作排除了所述被掩蔽子组的动作。2.根据权利要求1所述的自主车辆策略生成系统，其中所述一组属性包括与所述自主车辆相关联的当前速度、与所述自主车辆相关联的车道定位，以及从所述自主车辆到目标的距离，其中所述目标是期望的目的地。3.根据权利要求1所述的自主车辆策略生成系统，其中针对所述自主车辆的所述一组可能动作包括在所述时间间隔期间自主驾驶策划下列各项：保持与所述自主车辆相关联的当前速度、加速、减速、执行变换到右侧车道或执行变换到左侧车道。4.根据权利要求1所述的自主车辆策略生成系统，其中所述Q-掩蔽器基于下列各项确定要应用于所述子组的动作的所述掩蔽：指示所述自主车辆与所述模拟环境之间或者所述自主车辆与所述模拟环境内的所述另一车辆之间的预定义的容许交互作用的先验知识；指示容许的驾驶策划的交通规则；或者与所述自主车辆相关联的能力，所述能力指示与所述自主车辆相关联的在物理上可能的驾驶策划。5.根据权利要求4所述的自主车辆策略生成系统，其中所述Q-掩蔽器基于所述先验知识确定所述被掩蔽子组的动作，以便包括：当所述自主车辆定位在所述道路的最右侧车道上时自主驾驶策划执行变换到右侧车道；以及当所述自主车辆定位在所述道路的最左侧车道上时自主驾驶策划执行变换到左侧车道。6.根据权利要求4所述的自主车辆策略生成系统，其中所述Q-掩蔽器基于所述先验知识确定所述被掩蔽子组的动作，以便包括：在所述自主车辆与所述另一车辆两者定位在同一车道中的情况下，当所述自主车辆定位在所述另一车辆后方的第一阈值距离处时自主驾驶策划加速；以及在所述自主车辆与所述另一车辆两者定位在同一车道中的情况下，当所述自主车辆定位在所述另一车辆前方的第二阈值距离处时自主驾驶策划减速。7.根据权利要求4所述的自主车辆策略生成系统，其中所述Q-掩蔽器基于所述先验知识确定所述被掩蔽子组的动作，以便包括：当所述自主车辆定位在所述另一车辆的右侧并且在所述另一车辆的车道变换阈值距离内时自主驾驶策划变换到左侧车道；以及当所述自主车辆定位在所述另一车辆的左侧并且在所述另一车辆的车道变换阈值距离内时自主驾驶策划变换到右侧车道。8.根据权利要求4所述的自主车辆策略生成系统，其中所述Q-掩蔽器基于所述先验知识确定所述被掩蔽子组的动作，以便包括：在所述自主车辆与所述另一车辆之间的碰撞时间(TTC)估计值低于TTC阈值时，与预期会缩短TTC估计值相关联的任何驾驶策划。9.根据权利要求4所述的自主车辆策略生成系统，其中所述Q-掩蔽器基于所述交通规则确定所述被掩蔽子组的动作，以便包括：当与所述自主车辆相关联的当前速度大于与所述道路相关联的速度限值时加速；以及当与所述自主车辆相关联的当前速度小于与所述道路相关联的最低速度限值时减速。10...

【专利技术属性】
技术研发人员：M·库卡达姆，A·纳卡埃·赛尔维达尼，A·考斯冈，藤村希久雄，
申请(专利权)人：本田技研工业株式会社，
类型：发明
国别省市：日本,JP