一种基于强化学习的集装箱装卸智能化方法及系统技术方案

本发明专利技术提供了一种基于强化学习的集装箱装卸智能化方法，包括：获取集装箱尺寸数据和装卸计划；获取多个智能体的初始状态、参数以及分配任务；根据分配任务，利用智能体强化学习模型得出决策结果；其中，所述智能体包括堆场智能体、装卸设备智能体和泊位智能体，所述利用智能体强化学习模型得出决策结果，包括对分配任务和智能体进行划分，建立智能体强化学习模型，并设置每个智能体在环境中的状态空间、动作空间及奖励值。本发明专利技术建立了强化学习模型，通过多智能体系统不断迭代学习，自动生成集装箱装卸计划，取代了业务人员人工制定装卸计划的旧模式，实现了基于多智能体强化学习的集装箱装卸流程智能化，为智慧港口的建设打下了基础。下了基础。下了基础。

【技术实现步骤摘要】
一种基于强化学习的集装箱装卸智能化方法及系统


[0001]本专利技术涉及集装箱装卸智能化
，尤其涉及一种基于强化学习的集装箱装卸智能化方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]早期集装箱装卸问题的解决主要依赖于港口工作人员的经验，需要港口工作人员对泊位空闲状态、装卸设备规格及空闲状态、堆场空闲状态以及泊位规格等问题进行综合考虑，制定相关计划，但是，随着目前港口业务量的增加，货物吞吐规模的扩大，单独依靠港口工作人员人工制定装卸及堆场计划已难以满足生产需要。
[0004]现有的诸多研究方法尚未实现场位的分配、码头泊位的分配以及机械设施调度等方面的全自动化规划调度，尚未将岸桥调度优化、堆场调度优化、集装箱装卸调度优化紧密结合起来。同时，强化学习作为一个热门领域，尚未实际应用到港口行业的生产实际中。因此亟需一种基于强化学习的集装箱装卸智能化方法及系统。

技术实现思路

[0005]本专利技术为了解决上述问题，提出了一种基于强化学习的集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的集装箱装卸智能化方法，其特征在于，包括：获取集装箱尺寸数据和装卸计划；获取多个智能体的初始状态、参数以及分配任务；根据分配任务，利用智能体强化学习模型得出决策结果；其中，所述智能体包括堆场智能体、装卸设备智能体和泊位智能体，所述利用智能体强化学习模型得出决策结果，包括对分配任务和智能体进行划分，建立智能体强化学习模型，并设置每个智能体在环境中的状态空间、动作空间及奖励值。2.如权利要求1所述的一种基于强化学习的集装箱装卸智能化方法，其特征在于，所述智能体的初始状态包括泊位智能体的使用情况及泊位规格，装卸设备智能体的使用情况及规格、种类，堆场智能体的在场箱情况。3.如权利要求2所述的一种基于强化学习的集装箱装卸智能化方法，其特征在于，所述智能体根据分配的任务及自身状态，得到决策动作，经过K步计算后，计算已存决策动作及状态特征。4.如权利要求3所述的一种基于强化学习的集装箱装卸智能化方法，其特征在于，所述智能体将K步决策动作后将形成的状态特征、决策动作和奖励值上传至经验池，形成经验。5.如权利要求4所述的一种基于强化学习的集装箱装卸智能化方法，其特征在于，上传经验池后，对智能体的参数进行聚合处理，并将聚合结果返回给智能体进行参数更新。6.如权利要求5所述的一种基于强化学...

【专利技术属性】
技术研发人员：孔雨昕，陈志勇，史玉良，
申请(专利权)人：山东大学，
类型：发明
国别省市：