车辆路径确定方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种车辆路径确定方法、装置、设备及存储介质，该方法包括：确定各个客户的信息、各个车辆的容量以及仓库的位置信息，将各个客户的位置信息、各个客户的服务时间窗口、各个车辆的容量以及仓库的位置信息，输入预先训练好的车辆路径确定模型中，得到车辆路径确定模型输出的每个车辆的路径信息。其中，每个车辆的路径信息包括：每个车辆对应的各目标客户，以及，在不超过车辆的容量并且不超出各目标客户的服务时间窗口的前提下，对各目标客户的运输顺序，车辆路径确定模型为在训练过程中以每个训练车辆的训练路径的相关统计量为状态信息训练得到的模型。该方法确定车辆路径的效率较高。径的效率较高。径的效率较高。

【技术实现步骤摘要】
车辆路径确定方法、装置、设备及存储介质


[0001]本专利技术涉及物流
，尤其涉及一种车辆路径确定方法、装置、设备及存储介质。

技术介绍

[0002]车辆路径问题一直是物流调度领域中的研究热点，车辆路径规划得当可以实现有效分配物流资源，减少物流运输成本。车辆路径问题(Vehicle Routing Problem，简称：VRP)最早于20世纪60年代提出，其基本问题是有容量限制的车辆路径问题(Capacitated Vehicle Routing Problem，简称：CVRP)。该问题是指，在满足车载量约束条件下，使得服务所有客户点的车辆行驶距离最小化，达到降低物流配送成本为目的。
[0003]目前在解决车辆路径问题时可以采用蚁群算法、模拟退火算法、粒子群算法等。这些算法在训练过程中均需要利用仓库和客户的地点。
[0004]但是，在训练过程利用仓库和客户的地点，这使得针对仓库节点或者客户节点增加的情况下，均需要重新迭代搜索，训练出的模型的复制性较差，从而导致确定车辆路径的效率较低。

技术实现思路

[0005]本专利技术提供了一种车辆路径确定方法、装置、设备及存储介质，以解决相关技术中由于模型的复制性差而导致车辆路径的确定效率较低的技术问题。
[0006]根据本专利技术的一方面，提供了一种车辆路径确定方法，包括：
[0007]确定各个客户的信息、各个车辆的容量以及仓库的位置信息；其中，各个客户的信息包括：各个客户的位置信息以及各个客户的服务时间窗口；
[0008]将所述各个客户的位置信息、所述各个客户的服务时间窗口、所述各个车辆的容量以及所述仓库的位置信息，输入预先训练好的车辆路径确定模型中，得到所述车辆路径确定模型输出的每个车辆的路径信息；其中，所述每个车辆的路径信息包括：每个所述车辆对应的各目标客户，以及，在不超过所述车辆的容量并且不超出各所述目标客户的服务时间窗口的前提下，对各所述目标客户的运输顺序，所述车辆路径确定模型为采用强化学习算法，以降低训练车辆的训练路径的总距离为指标，并且，在训练过程中以每个训练车辆的训练路径的相关统计量为状态信息训练得到的模型，在训练过程中，所述强化学习算法根据启发式算子对所述状态信息进行调整。
[0009]根据本专利技术的另一方面，提供了一种车辆路径确定装置，包括：
[0010]第一确定模块，用于确定各个客户的信息、各个车辆的容量以及仓库的位置信息；其中，各个客户的信息包括：各个客户的位置信息以及各个客户的服务时间窗口；
[0011]第二确定模块，用于将所述各个客户的位置信息、所述各个客户的服务时间窗口、所述各个车辆的容量以及所述仓库的位置信息，输入预先训练好的车辆路径确定模型中，得到所述车辆路径确定模型输出的每个车辆的路径信息；其中，所述每个车辆的路径信息
包括：每个所述车辆对应的各目标客户，以及，在不超过所述车辆的容量并且不超出各所述目标客户的服务时间窗口的前提下，对各所述目标客户的运输顺序，所述车辆路径确定模型为采用强化学习算法，以降低训练车辆的训练路径的总距离为指标，并且，在训练过程中以每个训练车辆的训练路径的相关统计量为状态信息训练得到的模型，在训练过程中，所述强化学习算法根据启发式算子对所述状态信息进行调整。
[0012]根据本专利技术的又一方面，提供了一种电子设备，所述电子设备包括：
[0013]至少一个处理器；以及
[0014]与所述至少一个处理器通信连接的存储器；其中，
[0015]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的车辆路径确定方法。
[0016]根据本专利技术的再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的车辆路径确定方法。
[0017]本专利技术实施例的技术方案，包括：确定各个客户的信息、各个车辆的容量以及仓库的位置信息，其中，各个客户的信息包括：各个客户的位置信息以及各个客户的服务时间窗口，将各个客户的位置信息、各个客户的服务时间窗口、各个车辆的容量以及仓库的位置信息，输入预先训练好的车辆路径确定模型中，得到车辆路径确定模型输出的每个车辆的路径信息。其中，每个车辆的路径信息包括：每个车辆对应的各目标客户，以及，在不超过车辆的容量并且不超出各目标客户的服务时间窗口的前提下，对各目标客户的运输顺序，车辆路径确定模型为采用强化学习算法，以降低训练车辆的训练路径的总距离为指标，并且，在训练过程中以每个训练车辆的训练路径的相关统计量为状态信息训练得到的模型，在训练过程中，强化学习算法根据启发式算子对状态信息进行调整。其具有以下技术效果：一方面，本实施例提供的车辆路径确定方法解决了一种CVRPTW，其确定出的路径信息可以实现不超过车辆的容量并且不超出各目标客户的服务时间窗口，规划出的路径更符合实际的需求；另一方面，本实施例在车辆路径确定模型的训练过程中与仓库的位置信息和客户的位置信息的关联性不强，利用每个训练车辆的训练路径的相关统计量作为状态信息，这使得训练出的车辆路径确定模型与仓库的位置信息和客户的位置信息解耦，在实际的仓库的位置信息和客户的位置信息与训练过程中的仓库的位置信息和客户的位置信息不一致时，也可以利用该模型进行路径规划，模型的泛化能力以及复制性较强，从而，提高了确定车辆路径的效率；再一方面，由于强化学习算法处理序列优化问题的效率较高，因此，本实施例中利用强化学习算法训练出的车辆路径确定模型进一步提高了输出车辆的路径信息的效率。
[0018]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0019]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他
的附图。
[0020]图1为本专利技术实施例一提供的车辆路径确定方法的流程示意图；
[0021]图2为本专利技术实施例一提供的车辆路径确定方法的应用场景的示意图；
[0022]图3为根据本专利技术实施例一提供的车辆路径确定方法输出的一种车辆路径的示意图；
[0023]图4为本专利技术实施例二提供的车辆路径确定方法的流程图；
[0024]图5为图4所示实施例中训练车辆路径确定模型的示意图；
[0025]图6是根据本专利技术实施例提供的一种车辆路径确定装置的结构示意图；
[0026]图7是根据本专利技术实施例提供的另一种车辆路径确定装置的结构示意图；
[0027]图8是实现本专利技术实施例的车辆路径确定方法的电子设备的结构示意图。
具体实施方式
[0028]为了使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆路径确定方法，其特征在于，包括：确定各个客户的信息、各个车辆的容量以及仓库的位置信息；其中，各个客户的信息包括：各个客户的位置信息以及各个客户的服务时间窗口；将所述各个客户的位置信息、所述各个客户的服务时间窗口、所述各个车辆的容量以及所述仓库的位置信息，输入预先训练好的车辆路径确定模型中，得到所述车辆路径确定模型输出的每个车辆的路径信息；其中，所述每个车辆的路径信息包括：每个所述车辆对应的各目标客户，以及，在不超过所述车辆的容量并且不超出各所述目标客户的服务时间窗口的前提下，对各所述目标客户的运输顺序，所述车辆路径确定模型为采用强化学习算法，以降低训练车辆的训练路径的总距离为指标，并且，在训练过程中以每个训练车辆的训练路径的相关统计量为状态信息，训练得到的模型，在训练过程中，所述强化学习算法根据启发式算子对所述状态信息进行调整。2.根据权利要求1所述的方法，其特征在于，所述车辆路径确定模型还为以降低每个训练车辆的总等待时间为指标训练得到的模型。3.根据权利要求1所述的方法，其特征在于，所述客户的信息还包括：所述客户的需求量以及所述客户的服务时长。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：确定训练数据；其中，所述训练数据包括：各个训练客户的信息、各个训练车辆的容量以及训练仓库的位置信息，各个所述训练客户的信息包括：各个所述训练客户的位置信息、各个训练客户的服务时间窗口、各个训练客户的需求量以及各个训练客户的服务时长；根据所述训练数据，获取初始状态信息；其中，所述初始状态信息包括：每个训练车辆的初始路径的相关统计量；将所述初始状态信息输入初始车辆路径确定模型中，得到所述初始车辆路径确定模型中输出的新状态信息以及初始启发式算子；其中，所述新状态信息包括：每个训练车辆的更新路径的相关统计量，所述初始启发式算子用于对所述初始状态信息进行调整得到所述新状态信息；根据所述新状态信息与基准状态信息，确定奖励值；其中，所述奖励值与所述新状态信息对应的所有训练车辆的更新路径的总距离相对于基准状态信息对应的所有训练车辆的基准路径的总距离的减小程度成正比，所述基准状态信息为训练过程中对应的总距离第一次降低的状态信息或者初始状态信息；根据所述奖励值，确定更新后的初始车辆路径确定模型；若未满足预设的训练结束条件，则将所述新状态信息确定为更新后的初始状态信息，返回执行“将所述初始状态信息输入所述初始车辆路径确定模型中，得到所述初始车辆路径确定模型中输出的新状态信息以及初始启发式算子”的步骤；若满足所述预设的训练结束条件，则将更新后的初始车辆路径确定模型确定为所述车辆路径确定模型。5.根据权利要求4所述的方法，其特征在于，所述奖励值还与所述新状态信息对应的所有训练车辆的总等待时间相对于基准状态信息对应的所有训练车辆的总等待时间的减小程度成正比，以及，与所述新状态信息对应的所有训练车辆的更新路径的距离形成的距离序列的标准差，相对于基准状态信息对应的所有训练车辆的基准路径的距离形成的距离序
列的标准差的减小程度成正比。6.根据权利要求5所述的方法，其特征在于，所述根据所述新状态信息与基准状态信息，确定奖励值，包括：将所述新状态信息对应的所有训练车辆的更新路径的总距离、所述新状态信息对应的所有训练车辆的更新路径的距离形成的距离序列的标准差以及所述新状态信息对应的所有训练车辆的总等待时间进行预设处理后作为所述新状态信息对应的目标函数；将所述基准状态信息对应的所有训练车辆的基准路径的总距离、所述基准状态信息对应的所有训练车辆的基准路径的距离形成的距离序列的标准差以及所述基准状态信息对应的所有训练车辆的总等待时间进行预设处理后作为所述基准状态信息对应的目标函数；若所述新状态信息对应的...

【专利技术属性】
技术研发人员：谢海琴，吴佳霖，何梁，
申请(专利权)人：卡奥斯工业智能研究院青岛有限公司，
类型：发明
国别省市：