基于深度强化学习的多目标柔性作业车间调度方法和装置制造方法及图纸

本发明专利技术公开了一种基于深度强化学习的多目标柔性作业车间调度方法和装置，涉及动态调度技术领域，其中，方法包括：读取当前重调度时刻的生产线状态特征向量输入训练后的目标智能体的目标策略网络得到调度目标；将生产线状态特征向量和调度目标输入训练后的工件智能体的工件策略网络得到工件指派规则，并输入训练后的机器智能体的机器策略网络得到机器分配规则；根据工件指派规则选取待加工工件，根据机器分配规则选取加工机器，通过加工机器对待加工工件的下一道工序进行加工处理。由此，通过在不同的重调度时刻根据生产线的状态智能选取不同的优化目标、工件指派规则和机器分配规则，实现多目标协同优化和完全实时化、自主化、无人化的智能工厂。

【技术实现步骤摘要】
基于深度强化学习的多目标柔性作业车间调度方法和装置
本专利技术涉及动态调度
，特别涉及一种基于深度强化学习的多目标柔性作业车间调度方法和装置。
技术介绍
相关技术中，多目标柔性作业车间动态调度方法大多基于简单的调度规则或者元启发式算法，简单的调度规则主要包括先来先服务(FirstinFirstout,简称FIFO)、最短交货期优先(Earliestduedate,简称EDD)、最长剩余加工时间优先(Mostremainingprocessingtime,简称MRPT)等，其在每个重调度时刻选取一个工件到一台机器上进行加工，其优点是具有较高的实时性，能对不确定事件立即做出响应，其缺点是具有短视性，从长期来看不能得到较好的调度方案，而且单一的调度规则往往适用于单一优化目标，无法实现多目标优化。另外，元启发式算法主要包括遗传算法(geneticalgorithm,简称GA)、粒子群优化算法(Particleswarmoptimization,简称PSO)、蚁群优化算法(Antcolonyoptimization,简称ACO)等。其将动态本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，包括：/n读取当前重调度时刻的生产线状态特征向量；/n将所述生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到所述当前重调度时刻的调度目标；/n将所述生产线状态特征向量和所述调度目标输入训练后的工件智能体的工件策略网络，得到所述当前重调度时刻的工件指派规则；/n将所述生产线状态特征向量和所述调度目标输入训练后的机器智能体的机器策略网络，得到所述当前重调度时刻的机器分配规则；/n根据所述工件指派规则选取待加工工件，根据所述机器分配规则选取加工机器，以及通过所述加工机器对所述待加工工件的下一道工序进行加工处理。/n

【技术特征摘要】
1.一种基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，包括：
读取当前重调度时刻的生产线状态特征向量；
将所述生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到所述当前重调度时刻的调度目标；
将所述生产线状态特征向量和所述调度目标输入训练后的工件智能体的工件策略网络，得到所述当前重调度时刻的工件指派规则；
将所述生产线状态特征向量和所述调度目标输入训练后的机器智能体的机器策略网络，得到所述当前重调度时刻的机器分配规则；
根据所述工件指派规则选取待加工工件，根据所述机器分配规则选取加工机器，以及通过所述加工机器对所述待加工工件的下一道工序进行加工处理。


2.如权利要求1所述的基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，将所述当前重调度时刻的生产线状态特征向量输入训练后的目标智能体的目标策略网络，得到所述当前重调度时刻的调度目标，包括：
根据所述目标策略网络中的深度神经网络对所述生产线状态特征向量进行处理后输入分类函数得到每一个优化目标对应的选择概率；
使用轮盘赌方法根据不同优化目标的选择概率确定所述调度目标。


3.如权利要求1所述的基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入训练后的工件智能体的工件策略网络，得到所述当前重调度时刻的工件指派规则，包括：
根据所述工件策略网络中的深度神经网络对所述生产线状态特征向量和所述调度目标进行处理后输入分类函数得到每一个工件指派规则对应的选择概率；
使用轮盘赌方法根据不同工件指派规则的选择概率确定所述工件指派规则。


4.如权利要求1所述的基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入训练后的机器智能体的机器策略网络，得到当前重调度时刻的机器分配规则，包括：
根据所述机器策略网络中的深度神经网络对所述生产线状态特征向量和所述调度目标进行处理后输入分类函数得到每一个机器分配规则对应的选择概率；
使用轮盘赌方法根据不同机器分配规则的选择概率确定所述机器分配规则。


5.如权利要求1所述的基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，还包括：
将所述当前重调度时刻的生产线状态特征向量输入所述目标智能体的目标价值网络，得到所述当前重调度时刻的目标状态价值函数；
将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入所述工件智能体的工件价值网络，得到所述当前重调度时刻的工件状态价值函数；
将所述当前重调度时刻的生产线状态特征向量和所述当前重调度时刻的调度目标输入所述机器智能体的机器价值网络，得到所述当前重调度时刻的机器状态价值函数。


6.如权利要求1所述的基于深度强化学习的多目标柔性作业车间调度方法，其特征在于，所述当前重调度时刻为任意一道工序的完成时刻、或者，插单到达的时刻。


7.如权利要求1所述的基于深...

【专利技术属性】
技术研发人员：张林宣，罗术，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11