包括运用部分可观察马尔可夫决策过程模型示例的自主车辆操作管理制造技术

自主车辆操作管理可以包括由自主车辆穿越车辆交通运输网。穿越所述车辆交通运输网可以包括：运用特定情景操作控制评估模块示例，其中，所述特定情景操作控制评估模块示例是特定情景操作控制评估模块的示例，其中，所述特定情景操作控制评估模块实施部分可观察马尔可夫决策过程。穿越所述车辆交通运输网包括：接收来自于所述特定情景操作控制评估模块示例的候选的车辆控制动作；并且基于所述候选的车辆控制动作来穿越所述车辆交通运输网的一部分。

Autonomous vehicle operation management including some observable Markov decision process model examples

Autonomous vehicle operation and management may include passing through vehicle transportation network by autonomous vehicle. The vehicle traffic network traversing the vehicle can include: using a specific scenario operation control evaluation module example, wherein the specific scenario operation control evaluation module example is an example of a specific scenario operation control evaluation module, wherein the implementation part of the specific scenario operation control evaluation module can observe the Markov decision process. Traversing the vehicle traffic network includes: receiving candidate vehicle control actions from the example of the specific scenario operation control evaluation module; and traversing a part of the vehicle traffic network based on the candidate vehicle control actions.

【技术实现步骤摘要】
【国外来华专利技术】包括运用部分可观察马尔可夫决策过程模型示例的自主车辆操作管理
本公开涉及自主车辆操作管理和自主驾驶。
技术介绍
诸如自主车辆之类的车辆可以穿越车辆交通运输网的一部分。穿越车辆交通运输网的一部分可以包括生成或捕获数据，例如通过车辆的传感器生成或捕获数据，所述数据例如是表示车辆的操作环境的数据或车辆的操作环境的一部分的数据。因此，包括运用部分可观察马尔可夫决策过程模型示例的自主车辆操作管理用系统、方法和设备可能是有利的。
技术实现思路
本文公开了包括运用部分可观察马尔可夫决策过程模型示例的自主车辆操作管理的各个方面、特征、元素、实现方式和实施方式。所公开实施方式的一个方面是一种在穿越车辆交通运输网时使用的方法，所述方法包括由自主车辆穿越车辆交通运输网，其中，穿越所述车辆交通运输网包括：运用特定情景操作控制评估模块示例，其中，所述特定情景操作控制评估模块示例是特定情景操作控制评估模块的示例，其中，所述特定情景操作控制评估模块实施部分可观察马尔可夫决策过程；接收来自于所述特定情景操作控制评估模块示例的候选的车辆控制动作；并且基于所述候选的车辆控制动作来穿越所述车辆交通运输网的一部分。所公开实施方式的另一方面是一种在穿越车辆交通运输网时使用的方法，所述方法包括由自主车辆穿越车辆交通运输网，其中，穿越所述车辆交通运输网包括：将特定情景操作控制评估模块示例进行实例化，所述特定情景操作控制评估模块示例是实施部分可观察马尔可夫决策过程的特定情景操作控制评估模块的示例，实施所述部分可观察马尔可夫决策过程的特定情景操作控制评估模块对独特的车辆操作控制情景进行建模。对所述独特的车辆操作控制情景进行建模包括：识别对应于所述独特的车辆操作控制情景的多个状态；基于所述独特的车辆操作控制情景，识别多个可用的车辆控制动作；识别多个条件性转换概率，其中，来自于所述多个条件性转换概率的每个条件性转换概率表示从来自于所述多个状态的相应的第一状态转换到来自于所述多个状态的相应的第二状态的概率；识别奖励函数，其中，所述奖励函数生成对应于从来自于所述多个状态的相应的第一状态转换到来自于所述多个状态的相应的第二状态的奖励；识别多个观察，来自于所述多个观察的每个观察对应于来自于所述多个状态的相应的状态；以及识别多个条件性观察概率，其中，来自于所述多个条件性观察概率的每个条件性观察概率指示针对来自于所述多个观察的相应的观察的准确性的概率。穿越所述车辆交通运输网可以包括：接收来自于所述特定情景操作控制评估模块示例的候选的车辆控制动作；以及基于所述候选的车辆控制动作穿越所述车辆交通运输网的一部分。所公开实施方式的另一方面是一种自主车辆，所述自主车辆用于包括运用部分可观察马尔可夫决策过程模型示例的自主车辆操作管理。所述自主车辆包括处理器，所述处理器被配置为执行存储在非暂时性计算机可读介质上的指令，以对特定情景操作控制评估模块示例进行操作，其中，所述特定情景操作控制评估模块示例是特定情景操作控制评估模块的示例，其中，所述特定情景操作控制评估模块实施部分可观察马尔可夫决策过程；接收来自于所述特定情景操作控制评估模块示例的候选的车辆控制动作；以及基于所述候选的车辆控制动作控制所述自主车辆以穿越所述车辆交通运输网的一部分。本文公开的方法、设备、程序和算法的这些和其他方面、特征、元素、实现方式和实施方式的变型在下文中被进一步详细描述。附图说明通过参考以下描述和附图中提供的示例，本文公开的方法和设备的各个方面将变得更加明显，在附图中：图1是车辆的示例的图，其中可以实现本文公开的各方面、特征和元素；图2是车辆运输和通信系统的一部分的示例的图，其中可以实现本文公开的各方面、特征和元素；图3是根据本公开的车辆交通运输网的一部分的图；图4是根据本公开的实施方式的自主车辆操作管理系统的示例的图；图5是根据本公开的实施方式的自主车辆操作管理的示例的流程图；图6是根据本公开的实施方式的堵塞场景的示例的图；图7是根据本公开的实施方式的包括行人情景的行人场景的示例的图；图8是根据本公开的实施方式的包括交叉路口情景的交叉路口场景的示例的图；和图9是根据本公开的实施方式的包括车道变更情景的车道变更场景的示例的图。具体实施方式诸如自主车辆或半自主车辆之类的车辆可以穿越车辆交通运输网的一部分。所述车辆可包括一个或多个传感器，并且穿越所述车辆交通运输网可包括：传感器生成或捕获传感器数据，例如生成或捕获对应于车辆的操作环境或车辆的操作环境的一部分的数据。例如，传感器数据可以包括与一个或多个外部对象相对应的信息，所述一个或多个外部对象例如是行人、周边车辆、车辆操作环境内的其他对象、车辆交通运输网几何结构(车辆运输几何网络)或其组合。自主车辆可包括自主车辆操作管理系统，所述自主车辆操作管理系统可以包括一个或多个操作环境监测器，所述操作环境监测器可以处理用于自主车辆的操作环境的信息，例如传感器数据。操作环境监测器可以包括堵塞监测器，所述堵塞监测器可以确定车辆交通运输网在时空上接近所述自主车辆的一些部分的可用性信息的概率。自主车辆操作管理系统可以包括：自主车辆操作管理控制器、或执行器，所述自主车辆操作管理控制器、或执行器可以检测对应于外部对象的一个或多个操作情景，诸如行人情景、交叉路口情景、车道变更情景、或任何其他车辆操作情景或车辆操作情景的组合。自主车辆操作管理系统可以包括一个或多个特定情景操作控制评估模块。每个特定情景操作控制评估模块可以是相应操作情景的模型，例如是部分可观察马尔可夫决策过程(PartiallyObservableMarkovDecisionProcess，POMDP)模型。自主车辆操作管理控制器可以响应于对相应的操作场景进行检测而将特定情景操作控制评估模块的相应示例进行实例化。自主车辆操作管理控制器可以接收来自相应的经实例化的特定情景操作控制评估模块示例的候选的车辆控制动作，可以从候选的车辆控制动作中识别车辆控制动作，并且可以根据经识别的车辆控制动作控制自主车辆以穿越车辆交通运输网的一部分。虽然本文参考自主车辆进行了描述，但是本文描述的方法和设备可以在能够自主操作或半自动操作的任何车辆中实现。尽管参考车辆交通运输网进行了描述，但是本文描述的方法和设备可以包括在可通行车辆的任何区域中操作的自主车辆。如本文所使用的，术语“计算机”或“计算装置”包括能够执行本文所公开的任何方法或所述任何方法的任何一个或多个部分的任何单元或多个单元的组合。如本文所使用的，术语“处理器”指示一个或多个处理器，诸如一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个微控制器、一个或多个应用处理器、一个或多个专用集成电路、一个或多个专用标准产品；一个或多个现场可编程门阵列、任何其他类型的集成电路或集成电路的组合、一个或多个状态机或它们的任意组合。如本文所使用的，术语“存储器”指示任何计算机可用介质或计算机可读介质，或者可以有形地包含、存储、通信或传输可以由任何处理器使用或与任何处理器结合使用的任何信号或信息的装置。例如，存储器可以是一个或多个只读存储器(readonlymemories，ROM)、一个或多个随机存取存储器(randomaccessmemories本文档来自技高网...

【技术保护点】
1.一种在穿越车辆交通运输网时使用的方法，所述方法包括：由自主车辆穿越车辆交通运输网，其中，穿越所述车辆交通运输网包括：运用特定情景操作控制评估模块示例，其中，所述特定情景操作控制评估模块示例是特定情景操作控制评估模块的示例，其中，所述特定情景操作控制评估模块实施部分可观察马尔可夫决策过程；接收来自于所述特定情景操作控制评估模块示例的候选的车辆控制动作；以及基于所述候选的车辆控制动作来穿越所述车辆交通运输网的一部分。

【技术特征摘要】
【国外来华专利技术】1.一种在穿越车辆交通运输网时使用的方法，所述方法包括：由自主车辆穿越车辆交通运输网，其中，穿越所述车辆交通运输网包括：运用特定情景操作控制评估模块示例，其中，所述特定情景操作控制评估模块示例是特定情景操作控制评估模块的示例，其中，所述特定情景操作控制评估模块实施部分可观察马尔可夫决策过程；接收来自于所述特定情景操作控制评估模块示例的候选的车辆控制动作；以及基于所述候选的车辆控制动作来穿越所述车辆交通运输网的一部分。2.根据权利要求1所述的方法，其中，穿越所述车辆交通运输网的所述部分包括：根据经识别的路线来穿越所述车辆交通运输网的所述部分。3.根据权利要求1所述的方法，其中，所述特定情景操作控制评估模块示例与外部对象相关联，所述外部对象距所述自主车辆不超出限定的地理空间距离。4.根据权利要求1所述的方法，其中，所述特定情景操作控制评估模块示例是来自于多个特定情景操作控制评估模块的特定情景操作控制评估模块的示例。5.根据权利要求4所述的方法，其中，来自所述多个特定情景操作控制评估模块的每个特定情景操作控制评估模块对独特的车辆操作情景进行建模。6.根据权利要求1所述的方法，其中，运用所述特定情景操作控制评估模块示例包括：根据所述特定情景操作控制评估模块示例对独特的车辆操作情景进行建模。7.根据权利要求6所述的方法，其中，对所述独特的车辆操作情景进行建模包括对传感器不确定性进行建模。8.根据权利要求6所述的方法，其中，对所述独特的车辆操作控制情景进行建模包括：从所述自主车辆的传感器接收传感器信息；基于所述传感器信息来对所述独特的车辆操作控制情景进行建模。9.根据权利要求8所述的方法，其中，接收所述传感器信息包括：从所述自主车辆的传感器信息处理单元接收经处理的传感器信息，所述传感器信息处理单元从所述自主车辆的所述传感器接收所述传感器信息，并且基于所述传感器信息生成所述经处理的传感器信息。10.根据权利要求8所述的方法，其中，对所述独特的车辆操作控制情景进行建模包括：接收表示所述车辆交通运输网的车辆交通运输网信息；基于所述传感器信息和所述车辆交通运输网信息来对所述独特的车辆操作控制情景进行建模。11.根据权利要求6所述的方法，其中，对所述独特的车辆操作控制场景情景进行建模包括：从堵塞监测器示例接收关于所述车辆交通运输网的所述部分的可用性的概率；基于所述可用性的概率来对所述独特的车辆操作控制情景进行建模。12.根据权利要求11所述的方法，其中，对所述独特的车辆操作控制情景进行建模包括：识别多个状态；识别多个车辆控制动作；识别多个条件性转换概率，其中，来自于所述多个条件性转换概率的每个条件性转换概率表示：从来自于所述多个状态的相应的第一状态转换到来自于所述多个状态的相应的第二状态的概率；识别奖励函数，其中，所述奖励函数生成与从来自于所述多个状态的相应的第一状态转换到来自于所述多个状态的相应的第二状态相对应的奖励；识别多个观察，其中，所述可用性的概率是所述多个观察中的一个，并且其中，所述传感器信息包括观察的概率中的一者或多者；以及识别多个条件性观察概率，其中，来自于所述多个条件性观察概率的每个条件性观察概率指示关于来自于所述多个观察的相应的观察的准确性的概率。13.根据权利要求12所述的方法，其中，所述多个状态包括以下项中的一者或多者：所述自主车辆的当前地理空间位置的指示；所述自主车辆的运动状态的指示；所述自主车辆在所述当前地理空间位置处的时间段的指示；所述外部对象的当前地理空间位置的指示；所述外部对象的运动状态的指示；与所述外部对象相对应的可用性的概率的指示；或者所述自主车辆相对于所述外部对象的优先级的指示。14.根据权利要求12所述的方法，其中，所述多个车辆控制动作包括以下项中的一者或多者：停止车辆控制动作；等待...

【专利技术属性】
技术研发人员：K雷，S维特维奇，S齐伯斯坦，L佩德森，
申请(专利权)人：日产北美公司，马萨诸塞大学，
类型：发明
国别省市：美国,US