【技术实现步骤摘要】
一种散货码头装船流程的优化方法及装置
[0001]本专利技术涉及人工智能
,尤其涉及一种散货码头装船流程的优化方法及装置。
技术介绍
[0002]海运作为贸易运输的主要方式,以其运量大及运费低的特点占据主导地位。现有的散货煤炭码头的装船作业虽然已有近50年的研究历史,但仍然存在局限性,如寻优结果不具备全局特性、计算规模有限、需因此,要大量专业知识等。此外,优化模型固定,无法适应生产过程特性的变化。因此,需要寻求新的解决方案。针对码头排产问题,传统的人工制定计划通常以当下空闲设备为依据,缺乏长期最优性。而码头排产计划安排受到多种约束限制,如装船机、取料机、堆料的占用情况、设备的突发故障、煤种短缺等不确定因素,使得港口的排产问题成为一个复杂的优化问题。
[0003]为了解决这一问题,研究者们尝试利用深度强化学习算法,通过设置合理的奖励函数,不断地进行探索训练,找到排产方法的优化方法,以减少人力资源的投入,并提高码头长期的运输效率。然而,现有的强化学习算法仍存在缺陷,如利用的是理想的车间调度模型,与实际工程中的情况还有着很大的差距,且尚无面向机器学习算法的装船过程建模方法出现。因此,需要进一步研究和改进强化学习算法,以更好地解决码头排产问题。
技术实现思路
[0004]本专利技术提供了一种散货码头装船流程的优化方法及装置,基于港口排产调度模型,利用Double
‑
DQN算法进行训练,得到排产效率明显提高的调度最优解。
[0005]第一方面,本专利技术提供了一种散货码头 ...
【技术保护点】
【技术特征摘要】
1.一种散货码头装船流程的优化方法,其特征在于,包括:获取港口排产调度模型;根据Double
‑
DQN算法,构建所述港口排产调度模型对应的港口排产调度强化学习模型;根据所述Double
‑
DQN算法,从所述港口排产调度强化学习模型中确定当前状态、下一时刻状态、当前动作,以及由状态和动作构建系统的奖励;基于所述当前状态、所述下一时刻状态、所述当前动作,以及所述由状态和动作构建系统的奖励,利用经验回放进行Double
‑
DQN算法的学习,得到所述港口排产调度强化学习模型的调度最优解。2.根据权利要求1所述的散货码头装船流程的优化方法,其特征在于,根据Double
‑
DQN算法,构建所述散货码头调度模型对应的散货码头强化学习模型,包括:设定所述散货码头调度模型中的调度分配控制器为强化学习的智能体;创建相同结构的训练Q神经网络和目标Q神经网络;基于所述智能体、所述训练Q神经网络和所述目标Q神经网络,构建所述散货码头强化学习模型。3.根据权利要求2所述的散货码头装船流程的优化方法,其特征在于,基于所述当前状态、所述下一时刻状态、所述当前动作,以及所述由状态和动作构建系统的奖励,利用经验回放进行Double
‑
DQN算法的学习,得到所述散货码头强化学习模型的调度最优解,包括:为所述智能体创建经验回放池,在每一个迭代过程中,基于ε
‑
greedy策略,将所述当前状态、所述当前动作、所述下一时刻状态和当前时刻奖励组成一个元组作为经验数据,放在经验回放池;所述训练Q神经网络和所述目标Q神经网络利用所述经验回访池中的经验数据进行学习,得到所述散货码头强化学习模型的调度最优解。4.根据权利要求2所述的散货码头装船流程的优化方法,其特征在于,基于所述当前状态、所述下一时刻状态、所述当前动作,以及所述由状态和动作构建系统的奖励,利用经验回放进行Double
‑
DQN算法的学习,得到所述散货码头强化学习模型的调度最优解之后,包括:校验所述港口排产调度强化学习模型的所述调度最优解和所述港口排产调度强化学习模型的性能。5.一种散货码头装船流程的...
【专利技术属性】
技术研发人员:李长安,庞坤,刘军,张羽霄,吴思锐,宋郁珉,张思京,王宪超,曹卫冲,陈健学,白云广,赵斌,张世昌,赵力平,
申请(专利权)人:国能天津港务有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。