一种基于分层MADDQN驱动的动态柔性车间多目标在线重调度方法技术

本发明专利技术针对实际生产中的动态多目标调度问题，提出一种基于分层MADDQN驱动的动态柔性车间多目标在线重调度方法。本方法对最小化总拖期、最大化机器利用率两个性能指标进行了优化。MADDQN包含两个DDQN代理，较高级别的DDQN是确定较低级别DDQN临时优化目标的控制器。在每个重调度点，高级DDQN考虑当前需要着重优化的目标，低级DDQN考虑在当前优化目标下的工序机器选择，两个智能体互相协作进行迭代训练。本发明专利技术在处理多目标动态调度问题时相比其他基于规则的算法在各个性能指标中均具有一定的优势，且在解决大规模问题时依然具有良好的表现。

【技术实现步骤摘要】

本专利技术涉及智能制造领域中的柔性车间调度，具体涉及一种基于分层maddqn驱动的动态柔性车间多目标在线重调度方法。

技术介绍

1、随着制造环境日益复杂化，动态调度场景中不断出现的新订单插入、机器故障等突发事件对传统车间调度系统提出了较高要求。在动态柔性作业车间调度问题(dynamicflexible job shop scheduling problem,fjsp-d)中，不仅需要解决机器利用率最大化和总拖期最小化等多目标优化问题，还要求方法能够根据环境变化进行实时调度。在此背景下，多智能体强化学习方法逐渐应用于动态调度的优化，但仍面临目标冲突下的决策协调和收敛性问题，因此，亟需一种高效、实时、稳定的调度方法来提升生产系统的适应性和响应能力。

技术实现思路

1、鉴于以上所述现有技术的缺点，本专利技术针对实际生产中的动态多目标调度问题，提出一种基于分层的多智能体双深度q网络(maddqn)的在线重调度方法。本方法对最小化总拖期、最大化机器利用率两个性能指标进行了优化。maddqn包含两个ddqn代理，较高级别本文档来自技高网...

【技术保护点】

1.一种基于分层MADDQN驱动的动态柔性车间多目标在线重调度方法，其特征在于，通过分层多智能体双深度Q网络算法处理动态柔性作业车间调度问题，以实现对多目标的实时优化调度，所述方法包括以下步骤：

2.根据权利要求1所述一种基于分层MADDQN驱动的动态柔性车间多目标在线重调度方法，其特征在于，所述两阶段的多智能体调度架构模型包括，高级智能体作为控制器，用于根据当前环境状态选择优化目标，低级智能体作为执行器，用于具体的工序选择和机器分配。

3.根据权利要求1所述一种基于分层MADDQN驱动的动态柔性车间多目标在线重调度方法，其特征在于，所述多优化目标包括：

<...

【技术特征摘要】

1.一种基于分层maddqn驱动的动态柔性车间多目标在线重调度方法，其特征在于，通过分层多智能体双深度q网络算法处理动态柔性作业车间调度问题，以实现对多目标的实时优化调度，所述方法包括以下步骤：

2.根据权利要求1所述一种基于分层maddqn驱动的动态柔性车间多目标在线重调度方法，其特征在于，所述两阶段的多智能体调度架构模型包括，高级智能体作为控制器，用于根据当前环境状态选择优化目标，低级智能体作为执行器，用于具体的工序选择和机器分配。

3.根据权利要求1所述一种基于分层maddqn驱动的动态柔性车间多目标在线重调度方法，其特征在于，所述多优化目标包括：

4.根据权利要求1或2所述一种基于分层maddqn驱动的动态柔性车间多目标在线重调度方法，其特征在于，在每个调度点，所述高级智能体根据当前状态选择优化目标包括：在当前环境中机器负载较高时选择最大化机器利用率，在订单交付压力较大时选择最小化总拖期，并在调度点时将优化目标传递至低级智能体；所述低级智能体基于高级智能体选定的优化目标，在每个调度点根据状态反馈和优化目标进行具...

【专利技术属性】
技术研发人员：崔世界，王晓慧，曾鹏，李栋，王忠锋，李力刚，邵帅，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：