可以将分层多代理增强学习用于共享出行平台的统一订单派发和车队管理。可以获得信息。该信息可以包括共享出行平台的状态和一组消息。可以将所获得的信息输入到训练的分层增强学习(HRL)模型中。训练的HRL模型可以包括至少一个对应于地区的管理者模块，并且至少一个管理者模块可以包括一组工作者模块，每个工作者模块对应于该地区的辖区。可以基于共享出行平台的状态和该组消息来获得该地区中的辖区的至少一个目标。可以基于乘车共享平台的状态、该组消息和至少一个目标为该地区中的辖区中的每个车辆生成车辆动作。中的每个车辆生成车辆动作。中的每个车辆生成车辆动作。
【技术实现步骤摘要】
【国外来华专利技术】用于在线共享出行平台的统一订单派发和车队管理
[0001]相关申请交叉引用
[0002]本申请要求2019年12月19日提交且标题为“用于在线共享出行平台的统一订单派发和车队管理”的美国非临时性专利申请16/720,676以及2019年2月26日提交且标题为“搭乘订单派发的系统和方法”的美国临时性专利申请62/810,860的优先权。美国非临时性专利申请16/720,676要求美国临时性专利申请62/810,860的优先权。上述专利申请通过引用整体并入本文。
[0003]本公开一般涉及基于分层多模块增强学习的在线共享出行平台内的订单派发和车队管理的统一决策任务。
技术介绍
[0004]在线共享出行平台可以通过共享和重新分配运输资源以促进运输效率来实质性地改变日常生活。共享出行平台可以执行两个决策制定任务。第一任务可以包括订单派发。订单派发可以包括将来自乘客的订单与可用车辆(即驾驶员)实时匹配来直接交付服务。第二种决策制定任务可以包括车队管理。车队管理可以包括预先将车辆重新定位到某些区域，以对后来的命令派发做准备。
[0005]例如，在处理大量订单和车辆时，互连订单派发和车队管理可能存在很大技术难题。一种解决途径是将每个可用车辆作为代理建立模型。然而，对于这种解决途径，该平台必须维持与环境交互的数千个代理，从而产生巨大的计算成本。寻求最优控制策略的一个关键性难题是在即时和将来的酬劳(例如，累计驾驶员收入)之间找到权衡。将车辆以贪婪的方式与长途订单相匹配可能在单个订单派发阶段获得高即时收益，但可能会有损于订单响应速率(order response rate，ORR)。在高峰时段期间，此问题可能更加突出，因为这些行程可能具有长驾驶时间并结束于不受欢迎的目的地。
技术实现思路
[0006]本说明书的多种实施例包括但不限于用于搭乘订单派发的系统、方法和非暂时性计算机可读介质。
[0007]在多种实施方式中，一种方法可以包括获得信息。所获得的信息可以包括共享出行平台的状态和一组消息。该方法还可以包括将所获得的信息输入到训练的分层增强学习(hierarchical reinforcement learning，HRL)模型中。训练的分层增强学习(HRL)模型可以包括对应于地区的至少一个管理者模块，并且该至少一个管理者模块可以包括一组工作者模块，每个工作者模块对应于该地区中的辖区。该方法还可以包括基于共享出行平台的状态和一组消息来获得该地区中的辖区的至少一个目标。该方法还可以包括基于共享出行平台的状态、该组消息和至少一个目标以在地区中的辖区中为每个车辆生成一组车辆动作。
[0008]在本公开的另一方面，一种计算系统可以包括一个或多个处理器和一个或多个非暂时性计算机可读存储器，该一个或多个非暂时性计算机可读存储器耦合到所述一个或多个处理器且配置有由所述一个或多个处理器可执行的指令。执行指令可以使系统执行多个操作。这些操作可以包括获得信息。所获得的信息可以包括共享出行平台的状态和一组消息。这些操作还可以包括将所获得的信息输入到训练的分层增强学习(HRL)模型中。训练的分层增强学习(HRL)模型可以包括对应于地区的至少一个管理者模块，并且该至少一个管理者模块可以包括一组工作者模块，每个工作者模块对应于该地区中的辖区。这些操作还可以包括基于共享出行平台的状态和一组消息来获得该地区中的辖区的至少一个目标。这些操作还可以包括基于共享出行平台的状态、该组消息和至少一个目标在地区中的辖区中为每个车辆生成一组车辆动作。
[0009]本公开的又一方面涉及一种非暂时性计算机可读存储介质，其配置有一个或多个处理器可执行的指令，以使该一个或多个处理器执行多个操作。这些操作可以包括获得信息。所获得的信息可以包括共享出行平台的状态和一组消息。这些操作还可以包括将所获得的信息输入到训练的分层增强学习(HRL)模型中。训练的分层增强学习(HRL)模型可以包括对应于地区的至少一个管理者模块，并且该至少一个管理者模块可以包括一组工作者模块，每个工作者模块对应于该地区中的辖区。这些操作还可以包括基于共享出行平台的状态和一组消息来获得该地区中的辖区的至少一个目标。这些操作还可以包括基于共享出行平台的状态、该组消息和至少一个目标在地区中的辖区中为每个车辆生成一组车辆动作。
[0010]在一些实施例中，共享出行平台的状态可以包括该辖区中可用车辆的数量、该辖区中的出行订单的数量、该辖区的熵、车队管理组中车辆的数量以及辖区中订单的分布。
[0011]在一些实施例中，该组消息可以包括用于在至少一个管理者模块的第一管理者模块与第二管理者模块之间进行协调的一组管理者级消息，以及用于该组工作者模块在之间进行通信的一组工作者级消息。
[0012]在一些实施例中，对应于该组工作者模块中每个工作者模块的辖区可以对应于代表真实世界地理区域的网格世界中的网格单元。
[0013]在一些实施例中，车辆动作可以包括订单派发(OD)或车队管理(FM)。
[0014]在一些实施例中，OD可以包括在共享出行平台中将对应车辆分派给乘客。
[0015]在一些实施例中，FM可以包括将对应车辆重新定位到不同的辖区或将对应车辆保持在辖区中。
[0016]在一些实施例中，生成车辆动作可以包括为一组工作者代理中的每个工作者代理获得一组特征权重。该组特征权重可以基于共享出行平台的状态、该组消息和至少一个目标来获得。可以针对一组出行订单获得一组排名特征。可以基于该组特征权重和该组排名特征来获得候选OD任务订单和候选FM任务订单的排名列表。可以从每个车辆的排名列表中选择最上方的车辆动作。
[0017]在一些实施例中，至少一个管理者模块可以基于累计驾驶员收入和订单响应速率来接收响应所述车辆动作的外在酬劳。
[0018]在一些实施例中，该组工作者模块中的每个工作者模块可以基于至少一个目标与共享出行平台状态随时间的变化之间的余弦相似性来接收响应所述车辆动作的内在酬劳。
[0019]参考附图来考虑下文描述以及所附权利要求，本文公开的系统、方法和非暂时性
计算机可读介质的这些和其它特征以及操作方法和相关结构元件的功能和部件组合以及制造经济性将变得显而易见，所有这些附图构成本说明书的一部分，其中多个不同附图中相似的附图编号指代相应部分。然而，应当清楚地理解，附图仅用于说明和描述的目的，并无意作为对本专利技术限制的定义。应理解，前文概略描述和下文的详细描述仅为示范性和解释性的，并且不限制按权利要求的专利技术。
附图说明
[0020]在所附权利要求中具体阐述了本专利技术技术的各种实施例的某些特征。通过参考以下详细描述将获得对该技术的特征和优点的更好理解，所述详细描述阐述了利用本专利技术的原理的示例性实施例，以及在附图中：
[0021]图1示出了根据多种实施例的用于统一搭乘订单派发和车队管理的示例性系统。
[0022]图2A示出了根据多种实施例的六边形网格世界的示例图。
[0023]图2B示出了根据多种实施本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于统一搭乘订单派发和车队管理的计算机实现的方法，包括：获得信息，所述信息包括共享出行平台的状态和一组消息；将所获得的信息输入到训练的分层增强学习(HRL)模型中，其中，所述训练的HRL模型包括与地区对应的至少一个管理者模块，以及其中，所述至少一个管理者模块包括与所述地区中的辖区对应的一组工作者模块；基于所述共享出行平台的状态和所述一组消息来获得所述地区中的所述辖区的至少一个目标；以及对于所述地区中的所述辖区中的每个车辆，基于所述共享出行平台的状态、所述一组消息和所述至少一个目标生成车辆动作。2.根据权利要求1所述的方法，其中，所述共享出行平台的状态包括：所述辖区中的可用车辆的数量、所述辖区中的出行订单的数量、所述辖区的熵、车队管理群组中的车辆的数量以及所述辖区中的订单分布。3.根据权利要求1所述的方法，其中，所述一组消息包括：用于在所述至少一个管理者模块的至少第一管理者模块和第二管理者模块之间进行协调的一组管理者级消息，以及用于在所述一组工作者模块之间进行通信的一组工作者级消息。4.根据权利要求1所述的方法，其中，所述一组工作者模块的每个工作者模块对应于表示真实世界地理区域的网格世界中的网格单元。5.根据权利要求1所述的方法，其中，所述车辆动作包括：订单派发(OD)或车队管理(FM)。6.根据权利要求5所述的方法，其中，所述订单派发包括在所述共享出行平台中将对应的车辆派遣给乘客。7.根据权利要求5所述的方法，其中，所述车队管理包括将对应的车辆重新定位到不同的辖区或将所述对应的车辆保留在所述辖区。8.根据权利要求5所述的方法，其中，为每个车辆生成所述车辆动作包括：基于所述共享出行平台的状态、所述一组消息和所述至少一个目标来获得一组特征权重；获得一组出行订单的一组排名特征；基于所述一组特征权重和所述一组排名特征获得候选订单派发任务订单和候选车队管理任务订单的排名列表；以及为每个车辆从所述排名列表中选择置顶的车辆动作。9.根据权利要求1所述的方法，其中，所述至少一个管理者模块被配置为基于累计驾驶员收入和订单响应速率来接收响应所述车辆动作的外在酬劳。10.根据权利要求1所述的方法，其中，所述一组工作者模块中的每个工作者模块被配置为基于所述至少一个目标与所述共享出行平台的状态随时间的变化之间的余弦相似度来接收响应所述车辆动作的内在酬劳。11.一种用于统一搭车订单派发和车队管理的系统，其包括一个或多个处理器和耦合到所述一个或多个处理器且配置有指令的一个或多个非瞬态计算机可读存储器，所述指令可被所述一个或多个处理器执行以使所述系统执行包括以下的操作：获得信息，所述信息包括共享出行平台的状态和一组消息；
将所获得的信息输入到训练的分层增强学习(HRL)模型中，其中，所述训练的HRL模型包括与地区对应的至少一个管理者模块，以及其中，所述至少一个管理者模块包括与所述地区中...
【专利技术属性】
技术研发人员：焦岩，秦志伟，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。