一种共享模式的集疏运车辆作业动态调度方法技术

本发明专利技术公开了一种共享模式的集疏运车辆作业动态调度方法，涉及港口集疏运作业技术领域；包括：步骤1，利用不同规模集疏港任务对Q值表进行迭代学习更新，获得学习后的Q值表；步骤2，利用学习后的Q值表模拟车辆指派进而确定实际车辆指派方案，然后动态分配车辆执行的集疏港任务。在学习阶段，Q值表通过车辆执行动作的反馈，获取Q值学习的状态和立即回报信息。在应用阶段，Q值表通过与车辆实际动作指令与反馈交互，获取Q值自适应性学习的状态和立即回报信息。本发明专利技术提高车辆的共享利用率和送取箱效率，降低车队作业成本和碳排放，实现动态作业环境下车辆送取箱动态调度，提高车辆调度适应性。性。

【技术实现步骤摘要】
一种共享模式的集疏运车辆作业动态调度方法


[0001]本专利技术涉及港口集疏运作业
，具体涉及一种共享模式的集疏运车辆作业动态调度方法。

技术介绍

[0002]在港口集疏运作业中，大量集装箱运输车辆在高峰期到达码头，容易造成码头闸口和集疏运道路拥堵及码头内部资源分配不均，降低了集疏运效率，提高了作业碳排放量和集疏运车队运营成本。因此，如何动态分配集疏运车辆的运输任务，提高作业效率，为集疏运车队降本增效成为亟待解决的问题。
[0003]集疏运车辆调度指：在货运站和集装箱码头之间，集疏运车辆作为集装箱的水平运输设备执行集港和疏港任务，其调度方案最小化车队总运营成本。目前主要方法有以下两类：
[0004](1)基于规则的人工调度方法。该方法从集疏运车队角度考虑，其接受的任务主要分为两类，一类是从港外堆场运输出口箱到码头出口箱区的送箱任务，一类是从码头进口箱区运输进口箱到港外堆场的提箱任务。车辆完成一次运输任务后向集疏运车队调度中心请求新的任务指令，调度人员根据特定任务指派规则发出新任务指令后车辆予以执行，直到所有任务完成。其存在的缺点是调度人员在指派任务时难以平衡各码头闸口的作业情况、各货运站与各码头之间的道路情况、码头内堆场设备的作业情况等信息的权重，按单一规则指派的任务并非是所有工况下的最优解，存在局限性。另外，调度人员由于频繁发出调度指令容易出现误操作或错误指令。
[0005](2)基于启发式算法的调度方法。该类方法通过建立车辆送取箱调度模型，使用启发式算法对模型进行求解。例如文献《范厚明,郭振峰,李阳.考虑碳排放和预约机制的送箱集卡多码头调度问题[J].同济大学学报(自然科学版),2018,46(9):1242
‑
1246》以单一外堆场调用送箱车辆数量最小及多集装箱码头调度方案碳排放总量最小为目标构建了单堆场多码头送箱车辆调度模型，设计了改进的蚁群算法对该模型进行求解，得到按时间段划分的港外堆场多码头车辆送箱方案。文献《张赫,刑江豪,闫建鑫,等.基于预约策略的港外集卡送取箱双目标优化模型[J].华中师范大学学报(自然科学版),2020,54(3):486
‑
489》以所有集疏运车辆作业总时间与车辆调用数量对应的双目标成本值最小为目的，建立车辆送取箱预约优化模型，并用设计改进的遗传算法对模型进行求解。基于启发式算法的调度方法，优化结果多为整体优化结果，即优化出静态车辆调度的作业序列。而车辆调度作业过程动态性大，进出港作业延迟、交通拥堵等动态因素变化时，之前的优化作业序列不再适用，实际调度精度降低，甚至需要重新调度。

技术实现思路

[0006]本专利技术的目的在于，提供一种共享模式的集疏运车辆作业动态调度方法，提高车辆的共享利用率和送取箱效率，降低车队作业成本和碳排放，实现动态作业环境下车辆送
取箱动态调度，提高车辆调度适应性。
[0007]为实现上述目的，本申请的技术方案为：一种共享模式的集疏运车辆作业动态调度方法，包括：步骤1，利用不同规模集疏港任务对Q值表进行迭代学习更新，获得学习后的Q值表；步骤2，利用学习后的Q值表模拟车辆指派进而确定实际车辆指派方案(即拟派遣的自有和外雇车辆数量)，然后动态分配车辆执行的集疏港任务
[0008]进一步的，步骤1的具体实现步骤是：设Q(s
t
,a
t
)为港外集卡调度作业状态
‑
动作对(s
t
,a
t
)的累计奖赏值，Q值表为所有可能的边界状态
‑
动作对(s
t
,a
t
)及相应Q值组成的表格；在学习阶段，Q值表通过车辆执行动作的反馈，获取Q值学习的状态和立即回报信息，然后不断学习更新，逐渐逼近稳定优值，其流程如图4所示，具体可采用多轮增量学习方式进行：
[0009]Step1：初始化Q值表为0；初始化Interp
‑
Q算法相关参数：α0、γ、ε0等；
[0010]Step2：初始化环境参数：车辆、任务序列、码头及港外堆场等信息；
[0011]Step3：空闲车辆根据当前状态选择动作执行对应的集装箱运输任务；
[0012]Step4：根据立即回报与Q值间接更新方式得到更新后的Q值；
[0013]Step5：判断任务序列中的任务是否全部完成，是则转Step6；否则转Step3；
[0014]Step6：判断是否满足终止准则即是否达到学习次数上限，是则转Step7；否则转Step2；
[0015]Step7：学习阶段结束，输出Q值表。
[0016]进一步的，步骤2的具体实现步骤是：
[0017]Step1：模拟车辆指派，根据模拟效果确定实际车辆指派方案，流程如图5所示；
[0018]Step1
‑
1：载入学习阶段输出的Q值表；
[0019]Step1
‑
2：初始化环境参数，选择待尝试的车辆指派方案，即拟派遣的自有及外雇车辆数量方案；
[0020]Step1
‑
3：根据学习后的Q值表为车辆指派最佳任务；
[0021]Step1
‑
4：车辆完成本次任务，记录车辆作业成本；判断所有任务是否已全部完成，是则转Step1
‑
5；否则转Step1
‑
3；
[0022]Step1
‑
5：输出车辆指派方案总成本值；判断所有待尝试车辆指派方案是否都已探索，是则选出总成本最小的车辆指派方案并结束，否则转Step1
‑
2。
[0023]Step2：动态任务分配，流程图如图6所示；
[0024]Step2
‑
1：调度中心载入学习阶段输出的Q值表；
[0025]Step2
‑
2：初始化环境参数并采用Step1选取的车辆开始集疏港作业；
[0026]Step2
‑
3：车辆向调度中心发送任务请求；调度中心根据车辆状态为其指派最佳任务；
[0027]Step2
‑
4：车辆完成本次任务并将作业详细信息(作业时间、油耗等)发送给调度中心；调度中心对本次任务进行评价并获取立即回报，按Q值间接更新方式自适应更新Q值；
[0028]Step2
‑
5：判断是否完成所有任务，是则输出总成本结束调度，否则转Step2
‑
3。
[0029]进一步的，车辆调度的状态集合S中的每个状态s由基于任务量、时间、位置等相关因素设计的6个维度描述，表达式为：
[0030]s＝(p1,p2,p3,p4,p5,p6)
ꢀꢀ
(1)
[0031]式中：p1为未来N小时内剩余集港和疏港任务量之差；p2为未来N小时内剩余集港和疏港任务量之和；N可根据集疏港任务周期取值，建议取0.05～0.1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种共享模式的集疏运车辆作业动态调度方法，其特征在于，包括：步骤1，利用不同规模集疏港任务对Q值表进行迭代学习更新，获得学习后的Q值表；步骤2，利用学习后的Q值表模拟车辆指派进而确定实际车辆指派方案，然后动态分配车辆执行的集疏港任务。2.根据权利要求1所述一种共享模式的集疏运车辆作业动态调度方法，其特征在于，步骤1的具体实现步骤是：设Q(s
t
,a
t
)为港外集卡调度作业状态
‑
动作对(s
t
,a
t
)的累计奖赏值，Q值表为所有可能的边界状态
‑
动作对(s
t
,a
t
)及相应Q值组成的表格；在学习阶段，Q值表通过车辆执行动作的反馈，获取Q值学习的状态和立即回报信息，然后采用多轮增量学习方式更新，具体为：Step1：初始化Q值表为0；Step2：初始化环境参数：Step3：空闲车辆根据当前状态选择动作执行对应的集装箱运输任务；Step4：根据立即回报与Q值间接更新方式得到更新后的Q值；Step5：判断任务序列中的任务是否全部完成，是则转Step6；否则转Step3；Step6：判断是否满足终止准则即是否达到学习次数上限，是则转Step7；否则转Step2；Step7：学习阶段结束，输出Q值表。3.根据权利要求2所述一种共享模式的集疏运车辆作业动态调度方法，其特征在于，步骤2的具体实现步骤是：Step1：模拟车辆指派，根据模拟效果确定实际车辆指派方案；Step1
‑
1：载入学习阶段输出的Q值表；Step1
‑
2：初始化环境参数，选择待尝试的车辆指派方案，即拟派遣的自有及外雇车辆数量方案；Step1
‑
3：根据学习后的Q值表为车辆指派最佳任务；Step1
‑
4：车辆完成本次任务，记录车辆作业成本；判断所有任务是否已全部完成，是则转Step1
‑
5；否则转Step1
‑
3；Step1
‑
5：输出车辆指派方案总成本值；判断所有待尝试车辆指派方案是否都已探索，是则选出总成本最小的车辆指派方案并结束，否则转Step1
‑
2。Step2：动态任务分配；Step2
‑
1：调度中心载入学习阶段输出的Q值表；Step2
‑
2：初始化环境参数并采用Step1选取的车辆开始集疏港作业；Step2
‑
3：车辆向调度中心发送任务请求；调度中心根据车辆状态为其指派最佳任务；Step2
‑
4：车辆完成本次任务并将作业详细信息发送给调度中心；调度中心对本次任务进行评价并获取立即回报，按Q值间接更新方式自适应更新Q值；Step2
‑
5：判断是否完成所有任务，是则输出总成本结束调度，否则转Step2
‑
3。4.根据权利要求2或3所述一种共享模式的集疏运车辆作业动态调度方法，其特征在于，车辆调度的状态集合S中的每个状态s表达式为：s＝(p1,p2,p3,p4,p5,p6)
ꢀꢀꢀꢀ
(1)式中：p1为未来N小时内剩余集港和疏港任务量之差；p2为未来N小时内剩余集港和疏港任务量之和；N可根据集疏港任务周期取值，建议取0.05～0.1倍的集疏港任务周期时间。p3为车辆当前位置当前时间的剩余任务量；p4为当前时间剩余任务中剩余最大任务量占剩余
任务总量的比例；p5为当前时间其它作业车辆中以当前位置为终点的车辆数；p6为当前时间超时的任务量；以上6个维度取离散值且相互间独立。5.根据权利要求2或3所述一种共享模式的集疏运车辆作业动态调度方法，其特征在于，设计车辆调度时的任务选择规则如下：1)选择预约时间最紧迫任务集中起点距离车辆所在位置最近的任务；2)选择预约时间最紧迫任务集中起点到终点行驶时间最小的任务；3)选择预约时间最紧迫任务集中剩余箱量最多的任务；4)选择起点距离车辆所在位置最近任务集中预约时间最紧迫的任务；5)选择起点距离车辆所在位置最近任务集中起点到终点行驶时间最小的任务；6)选择起点距离车辆所在位置最近任务集中剩余箱量最多的任务。6.根据权利要求2或3所述共享模式的集疏运车辆送取箱作业动态调度方法，其特征在于，立即回报由任务回报和时间回报两部分构成，其公式为：r＝r
d
+r
t
ꢀꢀꢀꢀ
(2)r
d
＝λ1r1+λ2r2ꢀꢀꢀꢀ
(3)r
t
＝
‑
(ω1T
e
+ω2T
u
+ω3T
c
)
ꢀꢀꢀꢀ

【专利技术属性】
技术研发人员：周鹏飞，王奋斗，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：