基于监督控制理论和强化学习的自动制造系统调度方法技术方案

本发明专利技术公开了基于监督控制理论和强化学习的自动制造系统调度方法，包括以下步骤：S1、根据自动制造系统调度问题，使用自动机建立系统制造单元数学模型Gi，安全性和活性控制规范模型Ej，生产任务模型Et；S2、基于S1的Gi，建立自动机模型G；结合S1的Ej和Et，求解出调度问题的目标模型T；利用Nadzoru软件求解出调度问题的监控器模型V＝SupC(G,T)；S3、根据S2的V，以最大化生成过程中机器的并行性为优化目标，构建调度问题的数学模型；S4、将S3中的V转换为确定性马尔可夫决策过程MDP，利用Q学习算法求解调度问题，实验并结果分析。本发明专利技术采用上述方法，得到自动制造系统在生产过程中机器并行运行最大化的最优调度方案，提高生产效率，降低生产成本。生产成本。生产成本。

【技术实现步骤摘要】
基于监督控制理论和强化学习的自动制造系统调度方法


[0001]本专利技术涉及自动制造调度
，尤其是涉及一种基于监督控制理论和强化学习的自动制造系统调度方法。

技术介绍

[0002]自动制造系统(automated manufacturing systems，AMS)能够在非人工干预的情况下，将原材料加工成零件或将零件组装成产品，实现管理过程和工艺过程自动化，达到计算资源与物理资源紧密融合与协同。在AMS中，阻塞会导致系统停滞不前，从而降低生产效率和增加生产成本。AMS的调度直接关系到企业的经济效益，合适的调度策略能够确保AMS高效运行，实现企业利润最大化、能源与资源有效利用。为此，开展AMS监督控制和调度优化方法研究，有利于统一控制问题和优化问题，保证系统安全性、无阻塞性和提高生产效率，实现生产过程的智能优化控制。
[0003]AMS调度是一类复杂的NP
‑
hard问题，已有的求解方法可以分为精确算法、启发式算法和智能优化算法三类。精确算法是通过枚举所有可能的解来找到最优解。但是，随着问题规模的增加，精确算法的计算时间呈指数级增长。启发式算法是通过一些启发式规则来搜索解空间，从而找到较优解。但是，启发式算法通常不能保证找到全局最优解，只能找到局部最优解。此外，启发式算法的性能高度依赖于问题本身的特性和启发式规则的选择。智能优化算法是基于生物学、物理学或社会学等自然现象或规律来设计的算法。其能够有效地处理高维非线性问题，并且在全局搜索方面具有优势。但是，与启发式算法相比，智能优化算法的计算复杂度更高，算法的参数设置也需要一定的经验和技巧。随着人工智能技术的发展，以强化学习为代表的机器学习算法广泛应用于车间调度问题求解，强化学习算法通过环境反馈训练智能体调整行为决策，增加了调度策略的实时性和可行性。AMS调度问题可以抽象为在等式或不等式约束构成的离散空间中寻找目标函数的最优解。基于值函数的强化学习算法在离散空间模型中表现出优越性能。此外，在确定环境中，随着训练次数增加，算法会逐渐收敛到最优值。同时，基于监督控制理论的AMS建模方式，能够避免系统阻塞和制造单元之间的碰撞，并且满足制造工序约束条件。
[0004]因此，针对自动制造系统调度监督控制和调度优化问题，有必要提出一种灵活高效的自动制造系统调度方法，实现自动制造系统安全、无阻塞和高效的运行。

技术实现思路

[0005]本专利技术的目的是提供一种基于监督控制理论和强化学习的自动制造系统调度方法，采用自动机建立自动制造系统的数学模型，以生产过程中机器并行运行最大化为优化目标，并建立其数学优化模型，使用强化学习算法求解最优调度方案，得到自动制造系统的最优调度方案，同时满足安全性和活性控制规范，有效降低制造系统生产成本。
[0006]为实现上述目的，本专利技术提供了一种基于监督控制理论和强化学习的自动制造系统调度方法，包括以下步骤：
[0007]S1、根据自动制造系统调度问题，使用自动机建立系统制造单元的数学模型G
i
，安全性和活性控制规范模型E
j
，生产批次为k个产品且深度为m的生产任务模型E
t
，i＝1,...,N表示制造单元数量，j＝1,...,M表示控制规范的自动机模型个数；
[0008]S2、基于S1的制造单元模型G
i
，建立自动制造系统的自动机模型G；结合S1的控制规范模型E
j
，生产任务模型E
t
，求解出自动制造系统调度问题的目标模型T；利用Nadzoru软件求解出自动制造系统调度问题的监控器模型V＝SupC(G,T)；
[0009]S3、根据S2监控器模型V，以机器运行并行最大化为优化目标，构建调度问题的数学模型f
p*
；
[0010]S4、将S3中的监控器模型V转换为确定性马尔可夫决策过程MDP，利用Q学习算法求解自动制造系统调度问题f
p*
，实验并进行结果分析。
[0011]优选的，所述S1中，使用自动机建立制造单元的数学模型G
i
,安全性和活性控制规范模型E
j
，生产批次为k个产品且深度为m的生产任务模型E
t
分别为：
[0012]G
i
＝(H
i
,∑
i
,δ
i
,h
i0
,H
im
)，
[0013]E
j
＝(H
j
,∑
j
,δ
j
,h
j0
,H
jm
)，
[0014]E
t
＝(H
t
,∑
t
,δ
t
,h
t0
,H
tm
)，
[0015]其中，i＝1,...,N，j＝1,...,M；H
i
表示有限状态集合；∑
i
表示有限事件集合，划分为可控事件集合∑
ic
和不可控事件集合∑
iuc
，且可控事件一般是指控制器发出的指令，而不可控事件一般是指传感器的反馈信号或扰动信号(如发生故障)；
[0016]δ
i
:H
i
×
∑
i
→
H
i
表示状态转移函数；h
i0
表示初始状态；H
im
表示标记状态集合；
[0017]安全性和活性控制规范模型E
j
和生产任务自动机模型E
t
的含义与模型G
i
中的含义相同，深度为m的生产任务自动机模型E
t
如下所示：
[0018][0019]优选的，所述S2中，通过生产任务自动机模型Et去除监控器中的环路，降低了问题的求解难度。
[0020]优选的，所述S3中，判断机器是否处于运行状态的机器运行函数满足
[0021][0022]其中，表示使机器进入运行状态的事件集合，表示使机器进入空闲状态的事件集合，将扩展为对于空串和事件序列e
n
＝σ1σ2…
σ
n
∈L(V)，满足
[0023]f
ac
(ε)＝0
[0024][0025]对于监控器中的一个状态h，它是从初始状态经过长度为n(n＝1,2,
…
)的事件序列e
n
到达的，即h＝δ(h0,e
n
)，f
ac
(e
n
)表示在状态h时当前处于运行状态的机器数量。若事件序列e
n
使得系统在整个运行过程中至少有两台机器同时处于运行状态,则称该事件序列为并行制造序列，而串行制造序列是指系统在整个运行过程中至多有一台本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于监督控制理论和强化学习的自动制造系统调度方法，其特征在于，包括以下步骤：S1、根据自动制造系统调度问题，使用自动机建立系统制造单元的数学模型G
i
，安全性和活性控制规范模型E
j
，生产批次为k个产品且深度为m的生产任务模型E
t
，其中，i＝1,...,N表示制造单元数量，j＝1,...,M表示控制规范的自动机模型个数；S2、基于S1的制造单元模型G
i
，建立自动制造系统的自动机模型G；结合S1的控制规范模型E
j
，生产任务模型E
t
，求解出自动制造系统调度问题的目标模型T；利用Nadzoru软件求解出自动制造系统调度问题的监控器模型V＝SupC(G，T)；S3、根据S2监控器模型V，以机器运行并行最大化为优化目标，构建调度问题的数学模型f
p*
；S4、将S3中的监控器模型V转换为确定性马尔可夫决策过程MDP，利用Q学习算法求解自动制造系统调度问题f
p*
，实验并进行结果分析。2.根据权利要求1所述的基于监督控制理论和强化学习的自动制造系统调度方法，其特征在于：所述S1中，使用自动机建立制造单元的数学模型G
i
，安全性和活性控制规范模型E
j
，生产批次为k个产品且深度为m的生产任务模型E
t
分别为：G
i
＝(H
i
,∑
i
,δ
i
,h
i0
,H
im
)，E
j
＝(H
j
,∑
j
,δ
j
,h
j0
,H
jm
)，E
t
＝(H
t
,∑
t
,δ
t
,h
t0
,H
tm
)，其中，i＝1,...,N；H
i
表示有限状态集合；∑
i
表示有限事件集合，划分为可控事件集合∑
ic
和不可控事件集合∑
iuc
，且δ
i
:H
i
×
∑
i
→
H
i
表示状态转移函数；h
i0
表示初始状态；H
im
...

【专利技术属性】
技术研发人员：王德光，胡瑜洪，杨明，
申请(专利权)人：贵州大学，
类型：发明
国别省市：