用于柔性制造系统及设备的自学习制造调度方法技术方案

所提出的方法用于针对用于至少生产产品的柔性制造系统进行自学习制造调度，其中，制造系统由通过输送实体互连的加工实体组成，其中，制造调度将由强化学习系统在柔性制造系统的模型上学习，其中，该模型至少表示该柔性制造系统的行为和决策制定，其中，该模型作为佩特里网来实现。加工实体和输送实体的顺序能够互换，并且因此整个布置非常灵活。并且因此整个布置非常灵活。并且因此整个布置非常灵活。

【技术实现步骤摘要】
【国外来华专利技术】scheduling(用于柔性制造调度的优化和反应控制的动态体系结构)。Computers in Industry(工业计算机)65:706
‑
720。
[0013]另一方法是其中有中央实体控制智能体的要求的多智能体系统，因此智能体必须与该实体通信，这描述为：
[0014]Frankovi
ν
c,B.和Budinsk'a,I.2000。"Advantages and disadvantages of heuristic and multi agents approaches to the solution of scheduling problem(启发式和多智能体方法解决调度问题的优缺点)"。Proceedings of the Conference IFAC Control Systems Design(IFAC控制系统设计会议记录)。Bratislava,Slovak Rep.:IFAC ProceedingVolumes 60,Issue 13or(斯洛伐克共和国布拉迪斯拉发：IFAC记录第60卷第13期或)
[0015]Leit～ao,P.和Rodrigues,N.2011。"Multi
‑
agent system for on
‑
demand production integrating production and quality control(集成生产和质量控制的按需生产多智能体系统)"。HoloMAS 2011,LNAI 6867:84
>‑
93。
[0016]强化学习是一种使用奖励和惩罚的系统来训练算法的动态编程的类型。一般来说，强化学习算法或智能体通过与其环境交互来学习。智能体通过正确执行来接收奖励，并且因不正确执行而受到惩罚。智能体在没有来自人类干预的状况下通过最大化其奖励并且最小化其惩罚来学习。
[0017]在多智能体强化学习(RL)的领域中也有针对分布式作业车间调度问题的研究，其中，一个智能体控制一个制造模块并且决定是否能够派遣作业。
[0018]在Gabel T.,Multi
‑
Agent Reinforcement Learning Approaches for Distributed Job
‑
Shop Scheduling Problems(分布式作业车间调度问题的多智能体强化学习方法),Dissertation(论文),June(六月)2009中描述了实例。
[0019]缺点是需要中央实体来制定全局决策，并且每个智能体只能获得FMS状态的简化视图，这能导致长的训练阶段。

技术实现思路

[0020]本专利技术的目的旨在针对上述所讨论的问题提供解决方案，以用于FMS的产品规划和调度。
[0021]该问题通过根据权利要求1所述的特征的方法和通过根据权利要求8所述的特征的系统来解决。
[0022]在从属权利要求中描述了本专利技术的其他有利实施方式。
[0023]解决方案的描述仅是执行的实例，并且并不意味着对本专利技术的限制。
[0024]所提出的方法用于针对用于至少生产产品的柔性制造系统进行自学习制造调度，其中，制造系统由通过输送实体互连的加工实体组成，其中，制造调度将由强化学习系统在柔性制造系统的模型上学习，其中，该模型至少表示柔性制造系统的行为和决策制定，其中，该模型作为佩特里网(petri net)来实现。
[0025]加工实体和输送实体的顺序能够互换，并且因此整个布置非常灵活。
[0026]佩特里网，也称为位置/转换(PT)网，用于描述分布式系统的数学建模语言。它是一类离散事件动态系统。佩特里网是有向二分图，其中，节点表示转换(即可能发生的事件，
通过条形表示)和位置(即条件，由圈表示)。有向弧描述了哪些位置是关于哪些转换的前置条件和/或后置条件(由箭头表示)。
[0027]已经有研究使用佩特里网对材料流进行建模，并且使用佩特里网模型和启发式搜索来调度FMS中的作业，例如：“Method for Flexible Manufacturing Systems Based on Timed Colored Petri Nets and Anytime Heuristic Search(基于定时有色佩特里网和随时启发式搜索的柔性制造系统方法)”，IEEE Transactions on System,Man,and Cybernetics(系统、人与控制论的IEEE交易):Systems(系统)45(5):831
‑
846
·
May(五月)2015。
[0028]本专利技术提出了用于在线调度的自学习系统，其中，RL智能体针对佩特里网进行训练，直至它们从针对FMS内的多个状况限定的一组动作中学习到最佳决策为止。佩特里网表示FMS的系统行为和决策制定点。佩特里网的状态表示FMS中的状况，因为它涉及模块和位置的拓扑以及产品的种类。
[0029]该自学习系统的最初想法是使用佩特里网作为工厂架构、其状态和其行为的表示，以用于训练RL智能体。佩特里网的当前状态进而工厂被用作RL智能体的输入。同时，佩特里网被用作FMS(环境)的模拟，因为它在RL智能体选择每个动作之后会进行更新。
[0030]当应用经训练的系统时，能够在生产过程期间近乎实时地制定决策，并且智能体通过FMS控制产品，包括将操作派遣至使用不同优化目标的各种产品的制造模块。本专利技术尤其适用于具有路由和派遣灵活性的制造系统。
[0031]该佩特里网能够由用户手动创建，但是也能够通过使用例如如图3中描绘的背后具有逻辑的GUI来自动创建，它能够在佩特里网中翻译架构的示意性描述。
[0032]对于每个模块或机器，生成一个位置。对于每个决策制定点，也生成一个位置。对于两个点之间的每个传送带连接，生成连接相应位置的转换。通过遵循这些规则，佩特里网的拓扑将自动看起来与用户创建的工厂拓扑非常类似。
[0033]MES的规划和调度部分能够被本专利技术的在线调度和分配系统取代。
附图说明
[0034]在下文中，本专利技术将通过附图在优选实施方式中进行说明。
[0035]图1示出了在虚拟层(佩特里网)中RL智能体的训练构思以及在物理层(实际FMS)中经训练的模型的应用，
[0036]图2上部示出了将FMS的状态和行为表示为佩特里网，有色佩特里网用于表示FMS中的多个产品，
[0037]图2下部示出了该矩阵包含佩特里网的系统行为，
[0038]图3示出了GUI的可能的草案以用于示意性地设计FMS。
具体实施方式
[0039]图1示出了来自训练系统300的整个系统的概览，其中，实际工厂500表示为佩特里网102。
[0040]因为RL技术，我们能够使用SARSA、DQN等。
[0041]一个RL智能体模型针对佩特里网102进行训练，以稍后精确控本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于针对用于至少生产产品(a、b、c、d、e)的柔性制造系统(500)进行自学习制造调度的方法，其中，所述制造系统由通过输送实体(C，C1，
……
)互连的加工实体(M1，M2，
……
，M6)组成，其中，所述制造调度将由强化学习系统(300)在所述柔性制造系统的模型(400)上学习，其中，所述模型至少表示所述柔性制造系统的行为和决策制定，其中，所述模型(400)作为佩特里网(100)来实现。2.根据权利要求1所述的方法，其特征在于，所述佩特里网(100)的一个状态表示所述柔性制造系统中的一个状况。3.根据前述权利要求中任一项所述的方法，其特征在于，所述佩特里网的位置(PM1，
……
，PM6)表示一个加工实体(M1，M2，
……
，M6)的状态，并且所述佩特里网的转换(1，
……
，24)表示一个输送实体。4.根据前述权利要求中任一项所述的方法，其特征在于，所述佩特里网的转换与所述柔性制造系统的动作相对应。5.根据前述权利要求中任一项所述的方法，其特征在于，所述柔性制造系统具有已知的拓扑，并且生成了与来自包含关于转换和位置的信息的所述佩特里网(102)的信息相对应的矩阵(103)，并且所述矩阵(103)中的所述信息的位置根据所描述的柔性制造系统的拓扑来排序。6...

【专利技术属性】
技术研发人员：斯基林，
申请(专利权)人：西门子股份公司，
类型：发明
国别省市：