提供车辆导航模拟环境的方法和装置制造方法及图纸

一种方法可以包括递归地执行：(1)向模拟车辆提供模拟环境的一个或多个状态，并且所述状态包括模拟车辆的第一当前时间和第一当前位置；以及(2)当所述模拟车辆达到里程碑时，获得所述模拟车辆的动作，其中：所述动作包括：在所述模拟车辆的所述第一当前位置等待，在乘客组A的运输起点接载乘客组A，并在乘客组B的运输目的地放下乘客组B，所述里程碑是任何乘客组的运输的起点或终点；(3)确定对所述动作的所述模拟车辆的奖励；(4)基于所述动作来更新一个或多个所述状态，以获得用于提供给所述模拟车辆的一个或多个更新状态。

【技术实现步骤摘要】
【国外来华专利技术】提供车辆导航模拟环境的方法和装置优先权信息本申请要求于2018年5月3日提交的题为“MethodandDeviceforProvidingVehicleNavigationSimulationEnvironment”(提供车辆导航模拟环境的方法和装置)的美国非临时申请号15/970,414的优先权的权益，其内容通过引用合并于此。
本申请一般涉及用于提供车辆导航模拟环境以及提供车辆导航的方法和装置。
技术介绍
车辆调度平台可以自动将运输请求分配给相应的车辆以提供运输服务。运输服务可以包括运输单个乘客/乘客组或多个乘客/乘客组拼车。每个车辆司机提供的运输服务均会得到奖励。对于车辆司机来说，重要的是最大化他们在街上花费时间的奖励。
技术实现思路
本申请的各种实施例可以包括：用于提供车辆导航模拟环境的系统、方法和非暂时性计算机可读介质。根据一个方面，一种用于提供车辆导航模拟环境的示例性方法可以包括，在一段时间内递归执行步骤(1)-(4)：(1)向模拟主体提供模拟环境的一个或多个状态，其中：所述模拟主体包括模拟车辆，以及，所述状态包括模拟车辆的第一当前时间和第一当前位置；(2)当所述模拟车辆达到里程碑时，获得所述模拟车辆的动作，其中：所述动作包括：在所述模拟车辆的所述第一当前位置处等待，在乘客组A的运输起点处接载乘客组A，并在乘客组B的运输目的地放下乘客组B，所述乘客组A和乘客组B各自包含一个或多个乘客，并且所述里程碑是任何乘客组的运输的起点或终点；(3)确定对所述动作的所述模拟车辆奖励；以及(4)基于所述动作更新所述一个或多个所述状态，以获得用于提供给所述模拟车辆的一个或多个更新状态，其中，所述更新状态包括所述模拟车辆的第二当前时间和第二当前位置。根据另一方面，本申请提供一种存储指令的非暂时性计算机可读存储介质，该指令由一个或多个处理器执行，用于提供车辆导航模拟环境。所述方法包括在一段时间内递归执行步骤(1)-(4)。根据另一方面，本申请提供一种提供车辆导航的方法。包括：确定真实车辆的当前位置；以及响应于确定所述真实车辆已经达到一个里程碑，所述里程碑是任何乘客组的运输的起点或目的地，至少基于经训练的策略提供的指令，以使所述真实车辆的累积奖励最大化。所述提供的指令包括：在所述当前位置等待、在乘客组A的所述运输起点处接载所述乘客组A、在乘客组B的所述运输目的地放下所述乘客组B。所述乘客组A和所述乘客组B各自包括一个或多个乘客。在所述乘客组A的所述运输起点接载所述乘客组A的指令包括：当所述真实车辆上载有第一乘客组时，则接载第二乘客组。运送所述第一乘客组和所述第二乘客组花费的总和最少：(路线选项1)的乘客总额外乘车时间和(路线选项2)的乘客总额外乘车时间。所述(路线选项1)包括：接载所述第二乘客组、放下乘客组P、放下所述第二乘客组。所述(路线选项2)包括：接载所述第二乘客组、放下所述第二乘客组、放下所述第一乘客组。与一组一组接送且无拼车相比，所述(路线选项1)的所述乘客总额外乘车时间是由所述模拟车辆按照所述(路线选项1)运送所述第一乘客组和所述第二乘客组所花费的额外时间的总和。与一组一组接送且无拼车相比，所述(路线选项2)的所述乘客总额外乘车时间是由所述模拟车辆按照所述(路线选项2)运送所述第一乘客组和所述第二乘客组所花费的额外时间的总和。在此公开的系统、方法和非暂时性计算机可读介质的这些和其他特征，以及相关结构要素的操作和功能以及零件和制造经济性的结合将变得更加明显。参照附图考虑以下描述和所附权利要求，所有这些均形成了本说明书的一部分，其中，相同的附图标记在各个附图中表示相应的部分。然而，应当明确地理解，附图仅出于说明和描述的目的，并且不意味着是对本专利技术范围的限定。附图说明在所附权利要求中具体阐述了本技术的各种实施例的某些特征。通过参考下面的详细描述，可以更好地理解本技术的特征和优点，所述详细描述阐述了说明性实施例，在其中利用了本专利技术的原理，并结合了附图：图1是根据本申请的一些实施例所示的用于提供车辆导航模拟环境的示例性环境。图2是根据本申请的一些实施例所示的用于提供车辆导航的示例性环境。图3A是根据本申请的一些实施例所示的示例性强化学习框架。图3B-3D是根据本申请的一些实施例所示的用于提供车辆导航模拟环境的示例性算法。图3E是根据本申请的一些实施例所示的用于拼车的示例性路线选项。图4A是根据本申请的一些实施例所示的用于提供车辆导航模拟环境的示例性方法的流程图。图4B是根据本申请的一些实施例所示的用于提供车辆导航的示例性方法的流程图。图5是根据本申请的一些实施例所示的示例计算机系统的框图。具体实施方式车辆平台可以提供运输服务。这种车辆平台也可以被称为车辆呼叫或车辆调度平台，其可以通过诸如安装有平台应用程序的移动电话之类的设备来访问。通过该应用程序，用户(运输请求者)可以将运送请求(例如，上车位置、目的地)发送到车辆平台。车辆平台可以将请求转达给车辆司机。车辆司机可以从接受的请求中选择，根据接受的请求接送乘客，并相应地获得奖励。每个运输请求可以包括该乘客组是否开放拼车的指示。有时，两个或以上开放拼车的乘客/乘客组可能会在一定的行程距离内共享同一辆车。现有平台仅提供当前运输请求的基本信息，司机无法通过这些信息来确定最大化其收入的最佳策略(例如，谁来接送、是否接受拼车)。或者，如果平台自动将车辆与服务请求者匹配，则仅基于简单条件匹配，例如：距离最近。此外，利用当前技术，当乘车拼车时，司机无法确定最佳路线。因此，为了帮助司机最大化他们的收入和/或帮助乘客最小化他们的乘车时间，对于车辆平台而言重要的是提供可以改善车辆服务的自动决策功能。本申请的各种实施例包括用于提供车辆导航模拟环境的系统、方法和非暂时性计算机可读介质，以及用于提供车辆导航的系统、方法和非暂时性计算机可读介质。所提供的车辆导航模拟环境可以包括用于训练有助于最大化车辆司机奖励和/或最小化乘客乘车时间的策略的模拟器。所提供的车辆导航可以基于经训练的策略以在真实情况下指导真实的车辆司机。本申请所公开的系统和方法提供了用于构造车辆导航环境(也被称为模拟器)的算法，该车辆导航环境用于基于历史数据(例如，关于时间和位置的各种历史旅程和奖励)来训练算法或模型。根据训练，算法或模型可以提供经训练的策略。经训练的策略可以使车辆司机的奖励最大化，使乘客的时间成本最小化，车辆平台的效率最大化，车辆服务的效率最大化和/或根据训练来优化其他参数。可以将经训练的策略部署在平台的服务器上和/或驱动程序使用的计算设备上。图1是根据本申请的一些实施例所示的用于提供车辆导航模拟环境的示例性环境100。如图1所示，示例性环境100可以包括至少一个计算系统102a，其包括一个或多个处理器104a和存储器106a。处理器104a可以包括CPU(中央处理单元)，GPU(图形处理单元)和/或替代处理器或集成电路。存储器106a可以是非暂时性的并且是计本文档来自技高网...

【技术保护点】
1.一种提供车辆导航模拟环境的方法，包括，在一段时间内递归执行步骤(1)-(4)：/n(1)向模拟主体提供模拟环境的一种或多种状态，其中：/n所述模拟主体包括模拟车辆，以及/n所述状态包括所述模拟车辆的第一当前时间和第一当前位置；/n(2)当所述模拟车辆达到里程碑时，获得所述模拟车辆的动作，其中：/n所述动作包括：在所述模拟车辆的所述第一当前位置等待，在乘客组A的运输起点处接载乘客组A，并在乘客组B的运输目的地放下乘客组B，/n所述乘客组A和所述乘客组B各自包含一个或多个乘客，并且/n所述里程碑是任何乘客组的运输的起点或终点；/n(3)确定对所述动作的所述模拟车辆的奖励；以及/n(4)基于所述动作来更新一个或多个所述状态，以获得用于提供给所述模拟车辆的一个或多个更新状态，其中，所述更新状态包括所述模拟车辆的第二当前时间和第二当前位置。/n

【技术特征摘要】
【国外来华专利技术】20180503 US 15/970,4141.一种提供车辆导航模拟环境的方法，包括，在一段时间内递归执行步骤(1)-(4)：
(1)向模拟主体提供模拟环境的一种或多种状态，其中：
所述模拟主体包括模拟车辆，以及
所述状态包括所述模拟车辆的第一当前时间和第一当前位置；
(2)当所述模拟车辆达到里程碑时，获得所述模拟车辆的动作，其中：
所述动作包括：在所述模拟车辆的所述第一当前位置等待，在乘客组A的运输起点处接载乘客组A，并在乘客组B的运输目的地放下乘客组B，
所述乘客组A和所述乘客组B各自包含一个或多个乘客，并且
所述里程碑是任何乘客组的运输的起点或终点；
(3)确定对所述动作的所述模拟车辆的奖励；以及
(4)基于所述动作来更新一个或多个所述状态，以获得用于提供给所述模拟车辆的一个或多个更新状态，其中，所述更新状态包括所述模拟车辆的第二当前时间和第二当前位置。


2.根据权利要求1所述的方法，其特征在于：
仅当所述模拟车辆上没有乘客时，所述模拟车辆才执行在所述模拟车辆的所述第一当前位置等待的动作；以及
当所述模拟车辆上的乘客达到最大容量时，所述模拟车辆仅执行在所述乘客组B的所述运输目的地放下所述乘客组B的动作。


3.根据权利要求1所述的方法，其特征在于：
如果所述动作为在所述模拟车辆的当前位置等待，所述第二当前时间为与所述第一当前时间加上时间段对应的当前时间，所述第二当前位置与所述第一当前位置相同；以及
如果所述动作为在所述乘客组A的运输起点处接载所述乘客组A，则所述第二当前时间是与接载所述乘客组A对应的当前时间，所述第二当前位置是所述乘客组A的运输起点；以及
如果所述动作为在所述乘客组B的所述运输目的地放下所述乘客组B，则所述第二当前时间是与放下所述乘客组B对应的当前时间，所述第二当前位置是所述乘客组B的运输目的地。


4.根据权利要求1所述的方法，其特征在于：
在所述第一当前时间，在所述模拟车辆根据请求接收的所有乘客组的所有运输起点中，所述乘客组A的运输起点最接近所述第一当前位置；以及
在所述第一当前时间，所述模拟车辆上所有乘客组的所有运输目的地中，所述乘客组B的运输目的地最接近所述第一当前位置。


5.根据权利要求1所述的方法，其特征在于，确定对所述动作的所述模拟车辆的所述奖励，包括：
确定在所述第一当前位置处等待的所述模拟车辆的所述奖励为零；
确定在所述乘客组A的所述运输起点处接载所述乘客组A的所述模拟车辆的所述奖励为零；以及
根据从所述乘客组B的所述运输起点到所述乘客组B的运输目的地的理论行驶距离，确定所述模拟车辆在所述乘客组B的运输目的地放下所述乘客组B的所述奖励。


6.根据权利要求1所述的方法，其特征在于：
在所述乘客组A的运输起点接载所述乘客组A的所述动作包括：在所述模拟车辆上载有第一乘客组的情况下，接载第二乘客组；
运送所述第一乘客组和所述第二乘客组所花费的时间总和最小：(路线选项1)乘客总额外乘车时间和(路线选项2)的乘客总额外乘车时间；
所述(路线选项1)包括：接载所述第二乘客组、放下所述乘客组P、放下所述第二乘客组；
所述(路线选项2)包括：接载所述第二乘客组、放下所述第二乘客组、放下所述第一乘客组；
与一组接一组运输且不拼车相比，当所述模拟车辆按照所述(路线选项1)运输时，所述(路线选项1)的所述乘客总额外乘车时间是所述第一乘客组和所述第二乘客组所花费的额外时间的总和；以及
与一组接一组运输且不拼车相比，当所述模拟车辆按照所述(路线选项2)运输时，所述(路线选项2)的所述乘客总额外乘车时间是所述第一乘客组和第二乘客组所花费的额外时间的总和。


7.根据权利要求6所述的方法，还包括：
如果所述(路线选项1)的所述乘客总额外乘车时间小于所述(路线选项2)的所述乘客总额外乘车时间，则分配所述模拟车辆采用所述(路线选项1)；以及
如果所述(路线选项1)的所述乘客总额外乘车时间大于所述(路线选项2)的所述乘客总额外乘车时间，则分配所述模拟车辆采用所述(路线选项2)。


8.根据权利要求1所述的方法，其特征在于：
基于历史旅客群体的旅行历史数据，递归执行步骤(1)-(4)训练可在该时间段内最大化累积奖励的策略；以及
经训练的策略确定了在真实环境中针对真实车辆的动作，所述在真实环境中针对所述真实车辆的动作选自：
(动作1)在所述真实车辆的当前位置等待，
(动作2)接载乘客组，以及
(动作3)放下乘客组。


9.根据权利要求8所述的方法，其特征在于，如果车上有两个或以上乘客组，则所述经训练的策略还确定在所述真实车辆上乘客组下车的顺序。


10.一种非暂时性计算机可读存储介质，当由一个或多个处理器执行时，所述存储指令使一个或多个处理器执行一种用于提供车辆导航模拟环境的方法，所述方法包括在一段时间内递归执行步骤(1)-(4)：
(1)向模拟主体提供模拟环境的一种或多种状态，其中：
所述模拟主体包括模拟车辆，以及
所述状态包括所述模拟车辆的第一当前时间和第一当前位置；
(2)当所述模拟车辆达到里程碑时，获得所述模拟车辆的动作，其中：
所述动作包括：在所述模拟车辆的所述第一个当前位置等待，在乘客组A的运输起点处接载乘客组A，并在乘客组B的运输目的地放下乘客组B，
所述乘客组A和所述乘客B各自包含一个或多个乘客，并且
所述里程碑是任何乘客组运输的起点或终点；
(3)确定对所述动作的所述模拟车辆的奖励；以及
(4)基于所述动作更新一个或多个所述状态，以获得用于提供给所述模拟车辆的一个或多个更新状态，其中，所述更新状态包括所述模拟车辆的第二当前时间和第二当前位置...

【专利技术属性】
技术研发人员：秦志伟，伊杉·金达尔，陈学文，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11