用于SAE 4级自动化车道变更的基于强化学习的方法技术

本公开涉及用于在自动化机动车辆中自动地启动车道变更的系统和方法，并且具体地涉及采用强化学习的SAE 4级自动化车道变更系统的优化和使用。在传感融合处理器(37)中组合传感数据(8)以生成所感测车辆驾驶环境(1)的语义图像(26、27、28)的堆叠。在使用马尔可夫决策过程的强化学习系统中使用所述堆叠，以便优化自动化车道变更系统(90)的神经网络。

Reinforcement learning based approach for SAE level 4 automated lane change

【技术实现步骤摘要】
用于SAE4级自动化车道变更的基于强化学习的方法
本公开涉及用于在自动化机动车辆中自动地启动车道变更的系统和方法，并且具体地涉及采用强化学习的SAE4级自动化车道变更系统的优化和使用。
技术介绍
自动化自驾机动车辆(有时称为自主车辆)，特别是汽车，能够在几乎没有人工输入的情况下感测周围环境并进行移动和操纵。自动化汽车通常组合各种传感器来感知其周围环境，所述各种传感器诸如雷达、计算机视觉、光达、声纳、GPS、里程计和惯性测量装置。自动化控制系统对传感信息进行解译以识别适当的导航路径以及障碍物和相关标志。标准机构国际SAE将自动化驾驶系统的第二高的级别定义为“4级”，其中自动化驾驶系统的驾驶模式特定的行为控制动态驾驶任务的所有方面，即使驾驶员未对干预请求适当地作出响应也是如此。更难以安全执行的操纵之一是车道变更，例如通过移出到更快车道中以维持期望设定速度，或移回到更慢车道中以允许跟随的车流进行超车。实时使关于何时能够安全地进行车道变更的决策自动化尤其困难。大多数当前可用的车道变更系统要么需要人工输入以启动车道变更，并且因此低本文档来自技高网...

【技术保护点】
1.一种优化用于与本车的车辆自动化驾驶系统一起使用的自动化车道变更系统的方法，所述车道变更系统包括各自用于接收对应传感数据的多个传感输入端、用于组合所述传感数据的传感融合处理器、以及强化学习系统，所述方法包括以下步骤：/n-向所述传感输入端提供来自不同源的所述传感数据，所述数据表示所述本车的所感测车辆驾驶环境，所述车辆驾驶环境包括沿着同一道路通行的至少两条交通车道；/n-在所述传感融合处理器中组合所述传感数据以生成所述所感测车辆驾驶环境的语义图像，所述语义图像是在所述传感数据被提供给所述传感输入端时所述车辆驾驶环境的二维简化静态表示，所述维度沿着所述道路在所述本车的前方和后方延伸并且侧向跨越所...

【技术特征摘要】
20181212 EP 18212102.01.一种优化用于与本车的车辆自动化驾驶系统一起使用的自动化车道变更系统的方法，所述车道变更系统包括各自用于接收对应传感数据的多个传感输入端、用于组合所述传感数据的传感融合处理器、以及强化学习系统，所述方法包括以下步骤：
-向所述传感输入端提供来自不同源的所述传感数据，所述数据表示所述本车的所感测车辆驾驶环境，所述车辆驾驶环境包括沿着同一道路通行的至少两条交通车道；
-在所述传感融合处理器中组合所述传感数据以生成所述所感测车辆驾驶环境的语义图像，所述语义图像是在所述传感数据被提供给所述传感输入端时所述车辆驾驶环境的二维简化静态表示，所述维度沿着所述道路在所述本车的前方和后方延伸并且侧向跨越所述至少两条车道延伸；
-使用所述传感融合处理器重复生成所述语义图像，所述语义图像提供所述车辆驾驶环境的所述静态表示中的在所述本车在沿着所述道路的所述车道中的第一车道中行进期间的对应时间时的至少两个的序列；以及
-将所述语义图像提供给强化学习系统，所述强化学习系统采用马尔可夫决策过程(MDP)，其中每个语义图像的两个维度被划分成单元并向所述MDP提供MDP网格世界，在所述MDP网格世界中，所述本车由代理表示并且所述本车在其中行进的所述车道由代理状态表示；
-使用强化学习来针对表示所述本车的成功车道变更的所述代理状态的变更对所述MDP进行求解；以及
-在所述自动化车道变更系统中体现所述MDP的所述解，借此在使用时，所述自动化车道变更系统在所述自动化车道变更系统的输出端处提供表示用于在所述车辆自动化驾驶系统对所述本车的自动化驾驶期间启动车道变更的是/否决策的信号。


2.如权利要求1所述的方法，其中所述语义图像被抹去表示所述车辆驾驶环境的所述至少两条车道中的弯道的信息，借此所述语义图像中的所述车道由所述MDP网格世界中的所述单元的平行阵列表示。


3.如权利要求1或权利要求2所述的方法，其中所述语义图像中的所述本车和在所述车辆驾驶环境中感测到的每辆其他车辆由所述MDP网格世界中的所述单元的块表示，所述块中的每一个具有相同的大小和形状，而不管所述其他车辆中的每一辆的所感测长度或宽度如何，并且其中：
-表示所述道路上在所述本车后方的车辆的每个块的前缘与在所述本车后方的所述车辆的所感测前边缘相对应；并且
-表示所述道路上在所述本车前方的车辆的每个块的后缘与在所述本车前方的所述车辆的所感测后边缘相对应。


4.一种使用车辆自动化驾驶系统来在车辆驾驶环境中自动地驾驶本车的方法，所述车辆驾驶环境包括沿着同一道路通行的至少两条交通车道，所述车辆自动化驾驶系统包括自动化车道变更系统，所述车道变更系统包括各自用于接收对应传感数据的多个传感输入端、用于组合所述传感数据的传感融合处理器、以及用于生成用于启动从所述道路的第一车道到所述道路的第二车道的车道变更的是/否决策的神经网络，所述方法包括：
-向所述传感输入端提供来自不同源的所述传感数据，所述数据表示所述本车的所述车辆驾驶环境；
-在所述传感融合处理器中组合所述传感数据以生成所述所感测车辆驾驶环境的语义图像，所述语义图像是在所述传感数据被提供给所述传感输入端时所述车辆驾驶环境的二维简化静态网格状表示，所述维度沿着所述道路在所述本车的前方和后方延伸并且侧向跨越所述至少两条车道延伸；
-使用所述传感融合处理器重复生成所述语义图像，所述语义图像提供所述车辆驾驶环境的所述静态表示中的在所述本车在沿着所述道路的所述车道中的第一车道中行进期间的对应时间时的至少两个的序列；以及
-将所述语义图像提供给所述自动化车道变更系统的所述神经网络，所述神经网络处理所述网格状表示的序列以生成用于启动所述本车从所...

【专利技术属性】
技术研发人员：L·韦罗内塞，A·尚蒂亚，S·帕塔克，
申请(专利权)人：威斯通全球技术公司，
类型：发明
国别省市：美国;US