一种应用于驳船管理系统中的船舶智能调度算法技术方案

本发明专利技术公开了一种应用于驳船管理系统中的船舶智能调度算法，包括以下操作步骤：S1：基于Neo4J数据库建立港口航道网络图，将驳船管理系统中的码头和航道信息作为有向图中的节点和有向边存入非关系型数据库Neo4J中，其中航道的信息需要包含方向、长度、航道水深、最大船高等，这些信息作为有向边的属性存储，用于后续调度时作为订单匹配的影响因素，将驳船管理系统中所有地理信息以有向图节点空间的形式来表达。本发明专利技术所述的一种应用于驳船管理系统中的船舶智能调度算法，将航线、船舶、订单进行整合，通过不断训练模型获得相对成熟的算法，用于实际生产场景中的调度决策，提高调度的效率和决策效益。的效率和决策效益。的效率和决策效益。

【技术实现步骤摘要】
一种应用于驳船管理系统中的船舶智能调度算法


[0001]本专利技术涉及驳船运输领域，特别涉及一种应用于驳船管理系统中的船舶智能调度算法。

技术介绍

[0002]在驳船运输领域，传统的驳船运输调度方式完全依赖调度人员的工作经验，这是因为船舶调度的影响因素较多，同时每一次调度时可选择的方案非常多，如何判断一次调度结果的优劣往往没有标准，主要依靠个人经验，需要人工安排每条船每个航次的执行计划，这种做法不仅需要大量人力资源投入，而且单纯依靠个人经验进行的调度决策可能并非最优决策，造成航运公司运营成本的增加，因此需要借助智能调度算法进行船舶调度。

技术实现思路

[0003]本专利技术的主要目的在于提供一种应用于驳船管理系统中的船舶智能调度算法，可以有效解决
技术介绍
中的问题。
[0004]为实现上述目的，本专利技术采取的技术方案为：
[0005]一种应用于驳船管理系统中的船舶智能调度算法，包括以下操作步骤：
[0006]S1：基于Neo4J数据库建立港口航道网络图，将驳船管理系统中的码头和航道信息作为有向图中的节点和有向边存入非关系型数据库Neo4J中，其中航道的信息需要包含方向、长度、航道水深、最大船高等，这些信息作为有向边的属性存储，用于后续调度时作为订单匹配的影响因素，将驳船管理系统中所有地理信息以有向图节点空间的形式来表达，进行船、订单、航线的匹配；
[0007]S2：基于分层强化学习建立船舶智能调度模型，将船舶调度系统分割成两个部分，主要包括：离线学习模块和在线匹配模块，其中，离线学习模块是从系统历史调度轨迹中提取船舶状态、调度策略以及相应的奖赏等信息，并进行训练，进而更新网络的参数，同时，学习模块中得到的策略值函数V(s)将会放到实时储存中，在线匹配模块中，从实时存储中获得策略值函数V(s)并计算出相应的该船舶与多订单对应的效用指标ρ
ij
，将该指标作为船舶
‑
订单匹配二分图中的权重进行船舶调度；
[0008]S3：状态定义，将船舶
‑
订单匹配的历史数据作为抽取状态特征的数据来源，具体地，在运输一批订单时，把最近一段时间内影响匹配的因素作为当前船舶周边所处的状态，令s代表状态，则有s
t
＝(l
t
,μ
t
,υ
t
)，其中，上下文特征向量υ
t
包括两类，动态特征υ
dt
和静态特征υ
st
；
[0009]S4：奖赏函数设定，确定好状态空间s和动作空间a后，状态转移函数t也随即确定，此时定义强化学习中的奖励函数R
/r
的规则为：当一份订单的分配成立时，奖赏值为此订单匹配船舶的单船配载率，否则奖励值为0，再利用奖赏塑性方法对奖赏函数的表达进行丰富，将“在状态s上选择动作a，并转移到状态s
’”
的奖赏定义为：
[0010]R(s,o,s
’
)＝R0(s,o,s
’
)+Φ(s)
[0011]其中R0(s,o,s
’
)为原始定义的奖赏函数，Φ(s)为势函数，且为船舶学习过程中的子目标，将势函数Φ(s)定义为：
[0012][0013]S5：算法流程，基于上述的强化学习的值函数估计的方法，使用深度神经网络来进行拟合，进行模拟调度，首先初始化模拟环境，并在任务结束之前不断调用“船舶
‑
订单匹配”方法随机执行调度，每一次调度中船舶调度思路不同，并在执行结束后返回一个奖励值反映当前决策的优劣，任务执行过程中不断地积累奖励值反映本次所有匹配的优劣。
[0014]优选的，所述S3步骤中的影响因素包括船舶所处的码头位置l
t
、原始时间戳μ
t
以及给定的上下文特征向量υ
t
等。
[0015]优选的，所述S3步骤中的动态特征υ
dt
包括给定时空点的供应和需求的实时特征等，静态特征υ
st
包含船舶静态，船舶当前的运输状态、运输订单的信息、货量等。
[0016]优选的，所述S4步骤中的动作空间a包括船舶能够选择调度策略的空间，即可选择的订单信息。
[0017]与现有技术相比，本专利技术具有如下有益效果：
[0018]本专利技术中，通过使用分层强化学习建立船舶调度模型，将航线、船舶、订单进行整合，通过不断训练模型获得相对成熟的算法，用于实际生产场景中的调度决策，提高调度的效率和决策效益。
附图说明
[0019]图1是本专利技术的调配流程图。
具体实施方式
[0020]下面将结合本专利技术的实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]本专利技术涉及一种应用于驳船管理系统中的船舶智能调度算法，包括以下操作步骤：
[0022]S1：基于Neo4J数据库建立港口航道网络图，将驳船管理系统中的码头和航道信息作为有向图中的节点和有向边存入非关系型数据库Neo4J中，其中航道的信息需要包含方向、长度、航道水深、最大船高等，这些信息作为有向边的属性存储，用于后续调度时作为订单匹配的影响因素，将驳船管理系统中所有地理信息以有向图节点空间的形式来表达，进行船、订单、航线的匹配；
[0023]S2：基于分层强化学习建立船舶智能调度模型，将船舶调度系统分割成两个部分，主要包括：离线学习模块和在线匹配模块，其中，离线学习模块是从系统历史调度轨迹中提取船舶状态、调度策略以及相应的奖赏等信息，并进行训练，进而更新网络的参数，同时，学习模块中得到的策略值函数V(s)将会放到实时储存中，在线匹配模块中，从实时存储中获
得策略值函数V(s)并计算出相应的该船舶与多订单对应的效用指标ρ
ij
，将该指标作为船舶
‑
订单匹配二分图中的权重进行船舶调度；
[0024]S3：状态定义，将船舶
‑
订单匹配的历史数据作为抽取状态特征的数据来源，具体地，在运输一批订单时，把最近一段时间内影响匹配的因素作为当前船舶周边所处的状态，影响因素包括船舶所处的码头位置l
t
、原始时间戳μ
t
以及给定的上下文特征向量υ
t
等，令s代表状态，则有s
t
＝(l
t
,μ
t
,υ
t
)，其中，上下文特征向量υ
t
包括两类，动态特征υ
dt
和静态特征υ
st
，动态特征υ
dt
包括给定时空点的供应和需求的实时特征等，静态特征υ
st
包含船舶静态，船舶当前的运本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于驳船管理系统中的船舶智能调度算法，其特征在于：包括以下操作步骤：S1：基于Neo4J数据库建立港口航道网络图，将驳船管理系统中的码头和航道信息作为有向图中的节点和有向边存入非关系型数据库Neo4J中，其中航道的信息需要包含方向、长度、航道水深、最大船高等，这些信息作为有向边的属性存储，用于后续调度时作为订单匹配的影响因素，将驳船管理系统中所有地理信息以有向图节点空间的形式来表达，进行船、订单、航线的匹配；S2：基于分层强化学习建立船舶智能调度模型，将船舶调度系统分割成两个部分，主要包括：离线学习模块和在线匹配模块，其中，离线学习模块是从系统历史调度轨迹中提取船舶状态、调度策略以及相应的奖赏等信息，并进行训练，进而更新网络的参数，同时，学习模块中得到的策略值函数V(s)将会放到实时储存中，在线匹配模块中，从实时存储中获得策略值函数V(s)并计算出相应的该船舶与多订单对应的效用指标ρ
ij
，将该指标作为船舶
‑
订单匹配二分图中的权重进行船舶调度；S3：状态定义，将船舶
‑
订单匹配的历史数据作为抽取状态特征的数据来源，具体地，在运输一批订单时，把最近一段时间内影响匹配的因素作为当前船舶周边所处的状态，令s代表状态，则有s
t
＝(l
t
,μ
t
,υ
t
)，其中，上下文特征向量υ
t
包括两类，动态特征υ
dt
和静态特征υ
st
；S4：奖赏函数设定，确定好状态空间s和动作空间a后，状态转移函数t也随即确定，此时定义强化学习中的奖励函数R
...

【专利技术属性】
技术研发人员：钟振洋，李小华，孙球喜，崔峰赫，郑东虹，
申请(专利权)人：珠海港信息技术股份有限公司，
类型：发明
国别省市：