一种港口集疏运车辆动态智能调度方法技术

本发明专利技术公开了一种港口集疏运车辆动态智能调度方法，包括：构建车辆任务选择决策单元模型

【技术实现步骤摘要】
一种港口集疏运车辆动态智能调度方法


[0001]本专利技术涉及车辆调度
，具体涉及一种港口集疏运车辆动态智能调度方法
。

技术介绍

[0002]随着信息技术的发展，智慧港口成为未来港口更新变革的主流方向
。
智慧港口是指利用互联网
、
大数据
、
人工智能等新兴信息技术将港口相关业务和管理创新融合，优化港口生产作业流程，实现港口发展由主要依靠增加资源投入向主要依靠科技进步和管理创新的转变，系统性提高港口运营效率和服务增值
。
港口集疏运作为港口运营的重要组成部分，对集疏运车辆进行科学的调度管理，合理指派车辆作业任务，从而提高集疏港效率
、
降低集疏运车队作业成本和碳排放成为建设智慧港口和绿色港口的迫切需求
。
[0003]Q
‑
Learning
是一种重要强化学习算法，通过与环境的交互试错不断学习，获取优化的动作选择和决策策略，已在自动控制
、
机器人
、
智能调度等领域得到了成功应用
。
然而
Q
‑
Learning
算法适用于解决有限的状态空间问题，对于大规模问题，比如涉及的集疏运车辆调度，该类算法存在学习效率低
、
调度效果提升受限等问题
。
[0004]集疏运车辆调度指：调度安排集装箱搬运车辆去执行货运站
(
或收发货人堆场
)
与集装箱码头之间集装箱运输任务
(
包括集港和疏港任务
)
，在满足集疏运任务要求的条件下，最小化运输车队的总运营成本
。
目前主要技术方法有以下两类：
[0005](1)
基于启发式算法的静态调度方法
。
该类方法通过建立集疏运车辆送取箱调度模型，使用启发式算法对模型进行求解
。
例如以指派车辆数量最小和碳排放总量最小为目标构建了单堆场多码头的集运箱车辆调度模型，设计了改进的蚁群算法对模型进行求解，得到按时间段划分的港外堆场多码头车辆集运箱调度方案
。
以所有集疏运车辆总作业时间与总作业成本双目标值最小为目标，建立车辆送取箱优化模型，并用设计改进的遗传算法对模型进行求解，有效降低了用车数量和车辆在港时间
。
但这类方法所依据的车辆和任务执行过程信息通常都是静态的，无法考虑车辆进出港作业延迟
、
交通拥堵等动态因素
。
且这类方法生成的集疏运调度作业序列方案可能会因为车辆延误或交通拥堵等动态变化事件，而变得不再适用，实际调度精度降低，甚至原作业序列方案无法执行，需要进行重新的调度
。
[0006](2)
基于规则的动态调度方法
。
该类方法主要基于先验知识构建车辆调度规则来调度安排车辆去执行集疏运任务
。
其可以进行静态调度，也可以针对车辆执行的动态信息进行动态调度
。
采用基于规则的集疏运车辆动态调度一般过程是：开始时依据调度规则为每辆车分配即将去执行的任务；车辆执行完当前任务或者即将执行完当前任务时，调度中心根据车辆和任务执行的动态情况，利用调度规则为当前车辆分配指派新的运输任务，直到完成所有集疏运任务
。
但这类方法需要基于先验知识来构建调度规则，通常只能进行局部优化调度，调度精度提高受到很大限制
。

技术实现思路

[0007]本专利技术的目的在于，提出一种港口集疏运车辆动态智能调度方法，使得集疏运车辆调度能够根据任务和作业环境变化动态制定适应性的车辆智能调度指派方案；降低集疏运车辆完成运输任务的作业成本，以及降低集疏运过程中的二氧化碳排放
。
[0008]港口集疏运车辆送取箱作业基本过程如图1所示，其中港口集疏运预约经过了码头确认，车辆到港通常应遵循预约时段到达
。
集疏运车辆作业过程中受多种动态因素影响，例如：实时路况会影响车辆行驶时间
、
码头和港外堆场作业会影响车辆装卸时间
、
码头闸口作业会影响车辆通闸时间等
。
车辆作业动态变化后，需动态优化后续任务指派
。
集疏运车辆动态调度是一个实时任务指派的过程
。
[0009]本申请提出的一种港口集疏运车辆动态智能调度方法，包括：
[0010]构建车辆任务选择决策单元模型
MDP
‑
VTS
，该模型包括车辆指派模型和动态任务分配模型，两模型之间的关系如图2所示；其中车辆指派模型是在任务开始执行前选派将要执行集疏运任务的车辆，动态任务分配模型则是根据车辆当前的任务执行状况以及总体任务信息为车辆实时分配任务；
[0011]所述车辆任务选择决策单元模型
MDP
‑
VTS
的动作任务选择策略通过
Res
‑
D3QN
算法求解获得；
[0012]将求解过程分为学习阶段和应用阶段，所述学习阶段采用多轮增量学习进行
Q
网络参数的训练更新；其中，强化学习部分利用
Q
网络进行动作决策，在车辆执行集装箱运输任务的过程中不断获取训练样本扩充经验池；深度学习部分则利用经验池中的样本不断更新
Res
‑
D3QN
网络参数；所述应用阶段先进行模拟指派优选车辆指派方案，然后进行动态任务分配
。
[0013]优选方式下，车辆指派模型的目标是最小化完成所有集疏运任务的总费用，如式
(1)
所示：
[0014][0015]其中，
W(s
tk
，
m
t
)
表示车辆
k
在状态
s
tk
下执行任务
m
t
的总费用
(
不考虑固定费用
)
，包括司机费用
、
油耗费用和碳排放治理费用
、
以及惩罚费用之和，具体公式如下：
[0016][0017]其中：
T
e
(s
tk
，
m
t
)
和
T
u
(s
tk
，
m
t
)
分别表示车辆
k
在状态
s
tk
下执行任务
m
t
的空载和怠速行驶的耗时函数，取值单位
min
，可根据车辆状态和任务信息推算得到；系数
v
根据车辆类型取值，自有车辆时
(k∈[1
，
K1])
取
v1；外雇车辆时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种港口集疏运车辆动态智能调度方法，其特征在于，包括：构建车辆任务选择决策单元模型，该模型包括车辆指派模型和动态任务分配模型；其中车辆指派模型是在任务开始执行前选派将要执行集疏运任务的车辆，动态任务分配模型则是根据车辆当前的任务执行状况以及总体任务信息为车辆实时分配任务；所述车辆任务选择决策单元模型的动作任务选择策略通过
Res
‑
D3QN
算法求解获得；将求解过程分为学习阶段和应用阶段，所述学习阶段采用多轮增量学习进行
Q
网络参数的训练更新；其中，强化学习部分利用
Q
网络进行动作决策，在车辆执行集装箱运输任务的过程中不断获取训练样本扩充经验池；深度学习部分则利用经验池中的样本不断更新
Res
‑
D3QN
网络参数；所述应用阶段先进行模拟指派优选车辆指派方案，然后进行动态任务分配
。2.
根据权利要求1所述一种港口集疏运车辆动态智能调度方法，其特征在于，车辆指派模型的目标是最小化完成所有集疏运任务的总费用，如式
(1)
所示：其中，
W(s
tk
，
m
t
)
表示车辆
k
在状态
s
tk
下执行任务
m
t
的总费用，包括司机费用
、
油耗费用和碳排放治理费用
、
以及惩罚费用之和，具体公式如下：其中：
T
e
(s
tk
，
m
t
)
和
T
u
(s
tk
，
m
t
)
分别表示车辆
k
在状态
s
tk
下执行任务
m
t
的空载和怠速行驶的耗时函数，取值单位
min
；系数
v
根据车辆类型取值，自有车辆时
k∈[1
，
K1]
，取
v1；外雇车辆时
k∈[K1+1
，
K1+K2]
，取
v2；
T
p
(s
tk
，
m
t
)
表示车辆
k
在状态下执行任务
m
t
时偏离预约区间的时间函数，取值单位
min
；
θ
在车辆抵港提前时取
θ1；迟到时取
θ2；式
(2)
中
m
t
根据车辆
k
的状态
s
tk
获取，公式如下：
m
t
＝
G(s
tk
，
a
t
)
＝
G(s
tk
，
π
(s
tk
))
ꢀꢀꢀꢀ
(3)
其中，
G(s
tk
，
a
t
)
表示车辆
k
在状态
s
tk
下选择动作
a
t
时应执行的任务；
π
(s
tk
)
为车辆任务选择决策单元模型的动作选择策略
。3.
根据权利要求1所述一种港口集疏运车辆动态智能调度方法，其特征在于，动态任务分配模型的目标是最大化累积立即回报，如式
(4)
所示；车辆
k
在状态
s
tk
下执行任务
m
t
的总费用为：式中，
T
e
′
(s
tk
，
m
t
)、T
u
′
(s
tk
，
m
t
)
和
T
p
′
(s
tk
，
m
t
)
分别表示车辆
k
在状态
s
tk
下执行任务
m
t
的空载
、
怠速行驶和偏离预约区间的时间，由车辆实际作业反馈得到；
m
t
根据车辆
k
的状态
s
tk
获得；立即回报
r(s
tk
，
a
t
)
与
W
′
(s
tk
，
m
t
)
的关系为：
ω1：
ω2：
ω3＝
(v+(c
F
+c
R
×
ψ
)
·
r
e
)
：
(u+(c
F
+c
R
×
ψ
)
·
r
u
)
：
θ
ꢀꢀꢀꢀ
(6)。4.
根据权利要求1所述一种港口集疏运车辆动态智能调度方法，其特征在于，所述车辆任务选择决策单元模型的状态集
S
中每个状态
s
表达式为：
s
＝
(p1，
p2，
p3，
p4，
p5，
p6)
ꢀꢀꢀꢀ
(7)
式中：
p1为下一计划时间窗内集港与疏港任务量之差；
p2为下一计划时间窗内集港与疏港任务量之和；
p3为车辆当前位置当前时间的任务量；
p4为当前时间各任务中剩余最大任务量占剩余任务总量的比例；
p5为当前时间以当前位置为终点的车辆总数；
p6为当前时间超过预约时间的任务总量；基于车辆任务筛选策略组合的规则设计车辆任务选择决策单元模型的车辆动作组，6个具体动作如下：
1)a1‑
选择预约时间最紧迫任务集中起点距离车辆所在位置最近的任务；
2)a2‑
选择预约时间最紧迫任务集中起点到终点行驶时间最小的任务；
3)a3‑
选择预约时间最紧迫任务集中剩余箱量最多的任务；
4)a4‑
选择起点距离车辆所在位置最近任务集中预约时间最紧迫的任务；
5)a5‑
选择起点距离车辆所在位置最近任务集中起点到终点行驶时间最小的任务；
6)a6‑
选择起点距离车辆所在位置最近任务集中剩余箱量最多的任务
。5.
根据权利要求3所述一种港口集疏运车辆动态智能调度方法，其特征在于，所述车辆任务选择决策单元模型的立即回报函数包括任务回报和时间回报两部分构成，其公式为：
r
＝
r
d
+r
t
ꢀꢀꢀꢀ
(8)r
d
＝
λ1r1+
λ2r2ꢀꢀꢀꢀ
(9)r
t
＝
‑
(
ω1T
e
+
ω2T
u
+
ω3T
c
)
ꢀꢀꢀꢀ
(10)
式
(8)
中，
r
为立即回报，
r
d
为任务回报，
r
t
为时间回报；其中，
r1为任务紧迫度反馈值，若本次任务降低了任务紧迫度则给予正反馈，否则给予负反馈；
r2为任务平衡度反馈值，若本次任务使剩余集疏港任务量之差减小则给予正反馈，否则给予负反馈；
λ1、
λ2均为任务回报分项系数；
T
e
、T
u
、T
c
分别为车辆执行任务过程中的空载时间
、
怠速时间和偏移预约时段的时间，单位均为
...

【专利技术属性】
技术研发人员：周鹏飞，王奋斗，韩新锐，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：