基于深度强化学习网络的微服务-多代理工厂调度模型制造技术

本发明专利技术公开了基于深度强化学习网络的微服务

【技术实现步骤摘要】
基于深度强化学习网络的微服务
‑
多代理工厂调度模型


[0001]本专利技术涉及智能制造
，尤其是基于深度强化学习网络的微服务
‑
多代理工厂调度模型。

技术介绍

[0002]在工厂生产调度管控方面，国内外学者提出多代理系统、整子制造系统等模型，可实现分散控制。现有研究表明，传统的多代理系统对多目标算法的动态支持不足，调度策略的制定缺乏全局性，而整子制造系统虽然具备快速适应环境变化的能力，但是离实际应用还有一定的距离。基于微服务架构对各代理功能进行细粒度服务划分，能够促进制造过程去中心化，去总线化。
[0003]目前应用比较广泛的调度方法是启发式规则方法，其关键在于为待加工工件分配优先级。但是启发式规则不具有泛化性，不同的启发式规则是适用于特定的加工场景。而且，启发式规则具有短视性，即调度结果会随着决策步数的增加远远差于最优解。深度强化学习模型(DRL)在智能排产动态调度问题上的研究已经有了较大进展，深度强化学习被广泛应用于解决各种动态调度问题。这类模型比传统的优先调度规则启发式更灵活，但是上述处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习网络的微服务
‑
多代理工厂调度模型，其特征在于：所述调度模型是基于多个样本生产任务的静态特征和动态特征、代理层动态特征以及Critic网络，对Actor网络进行训练后得到的模型；所述Critic网络用于基于各样本生产任务对应的完工时长，评价Actor网络的输出结果，针对每个样本生产任务，该样本生产任务对应的完工时长为该样本生产任务在第一个生产阶段的开始执行时刻与该样本生产任务在最后一个生产阶段的完成执行时刻之间的时间差；所述代理层为面向生产任务所利用制造资源的多代理模型；所述代理层存储各种代理信息，并在微服务层的控制策略下完成生产任务；所述微服务层为根据多智能体Actor
‑
Critic的深度强化学习框架构建本地知识库和算法库中微服务的匹配规则，接受业务管理下发的定制化服务，并将其确立为包含分布式处理的微服务模型、属性模型的生产任务，并将生产任务传递给业务管理，并接受业务管理下发的生产任务控制策略；根据车间调度问题的目标函数确定出车间仿真环境，获取待调度的各生产任务的静态特征和动态特征以及代理层动态特征；生产任务的静态特征包括任务量和完成所需时长；生产任务的动态特征包括接收时刻；代理层动态特征包括每个生产阶段的设备能够执行的剩余任务量；将生产任务的静态特征和生产任务动态特征以及代理层动态特征输入调度模型，获得所述调度模型输出的各生产任务在每个生产阶段的作业执行顺序或者批次执行顺序；每个批次包括多个生产任务。2.根据权利要求1所述的一种基于深度强化学习网络的微服务
‑
多代理工厂调度模型，其特征在于：所述代理层包括生产任务所使用物料的物料代理、生产线上所利用操作机器的机器代理以及完成生产任务中物流活动的运输代理。3.根据权利要求2所述的一种基于深度强化学习网络的微服务
‑
多代理工厂调度模型，其特征在于：所述物料代理包括原材料、粗加工产品；物料代理信息包括物料的种类、数量、存储仓库位置与剩余容量。4.根据权利要求2所述的一种基于深度强化学习网络的微服务
‑
多代理工厂调度模型，其特征在于：所述机器代理包括生产线上所有的操作机...

【专利技术属性】
技术研发人员：马锴，刘鹏，杨婕，杨博，郭士亮，袁亚洲，关新平，
申请(专利权)人：燕山大学，
类型：发明
国别省市：