一种基于transformer的端到端动态作业车间调度模型制造技术

本发明专利技术涉及用于人工智能技术领域，具体涉及一种基于transformer的端到端动态作业车间调度模型，可以应用于不同尺寸的DJSSP(作业车间调度问题)。由特征提取模块、特征压缩模块、动作选择模块所构成。特征提取模块提取生产环境特征，并利用特征压缩模块将生产环境的特征进一步压缩成定长向量。然后，动作选择模块根据压缩后的能够反映生产环境状态的定长向量，实时选择简单优先级规则。本发明专利技术所建立的模型是Transformer在DJSSP中的第一个应用，不仅提高了工业调度的生产能力，而且为未来深度学习在DJSSP中的研究提供了范式。在DJSSP中的研究提供了范式。在DJSSP中的研究提供了范式。

【技术实现步骤摘要】
一种基于transformer的端到端动态作业车间调度模型


[0001]本专利技术涉及人工智能
，具体涉及一种基于transformer的端到端动态作业车间调度模型。

技术介绍

[0002]调度在智能制造中起着至关重要的作用，因为有效的调度可以提高生产的盈利能力和资源利用率。作业车间调度问题(JSSP)是制造业中的典型调度问题，它是一个NP
‑
hard的组合优化问题，旨在在给定一组作业的情况下找到生产调度的最优解。其中，每个作业都需要通过不同的机器加工不同的工序，才能被制成。大多数解决JSSP的方法都假设生产环境是静态的，生产环境的状态是预先知道的。但是，在生产环境中发生机器故障、新作业插入等动态事件时，这些解决JSSP的方法所得到的初始调度计划会变得无效，从而需要对作业进行重新的调度。而考虑动态事件的JSSP被称为动态作业车间调度问题(DJSSP)，有效解决DJSSP可以更好地提高实际生产中的生产力。
[0003]目前，已有多种解决DJSSP的方法被提出。由于调度规则比较简单、容易实现、计算复杂度低，因此在生产中被广泛使用。然而，实时选择调度规则进行调度是至关重要的，因为不同的调度规则在不同的DJSSP中的性能有很大的不同：
[0004]元启发式算法在解决DJSSP方面也具有一定的竞争力，其中，元启发式算法中的进化算法和基于群的算法被较多地运用于DJSSP中。
[0005]进化算法是受到生物进化的启发而实现的算法，它模仿生物进化的机制来产生更好的解决方案，如遗传算法和差分进化算法，而基于群的算法模仿自然界中鱼群、鸟群、狼群等动物群体的行为，利用群体间的信息交流，通过个体间简单而有限的互动实现优化，如灰狼优化、蚁群优化和粒子群优化。
[0006]尽管元启发式算法可以产生高质量的解决方案，但它们往往需要进行大量的迭代才能得到最优或接近最优的解；强化学习(RL)是解决组合优化问题的一种有效方法，并已成功应用于各个领域。由于RL的快速计算能力和应对动态事件的能力，其在解决DJSSP方面取得了突出的成就。如Q
‑
learning、DQN、PPO等RL算法在解决DJSSP问题上，都取得了成功。
[0007]深度学习是人工智能中的一种表示学习方法，它具有更深的网络结构，能够将输入的特征映射到特定的输出。深度学习方法可以对未见过的问题进行很好的泛化，一些研究者已经成功地利用深度学习来解决DJSSP。如多层人工神经网络(ANN)、二维卷积神经网络(CNN)、长短期记忆网络(LSTM)等网络模型都成功地被应用于DJSSP的求解中。然而，大部分用于求解DJSSP的深度学习模型或是需要一个模块对模型的输入进行预处理，或是需要使用其他模块对模型的输出进行处理以产生最终的调度方案，这可能会加剧各个模块之间的误差，导致无法获得最优的调度方案。
[0008]现有的求解动态作业车间调度问题的方法中，CN201510844179.3针对动态作业车间调度问题的基于局部搜索遗传编程算法；此专利设计了一种搜索机制，更好地实现了开发和探索之间的平衡，能够在更短的时间内，得到一个效果良好的调度规则。
[0009]CN201810092067.0基于多色集合的改进遗传算法求解动态车间调度的方法，此专利将遗传算法与多色集合理论相结合以求解DJSSP。
[0010]前述两者所提出的方法的泛化性能有限，无法有效解决尺寸不同的DJSSP实例，可见这一领域的相关研究仍存在空白。
[0011]总体来说，利用深度学习解决不同尺寸的DJSSP的研究不多，而鉴于现实生活中，DJSSP的尺寸往往是不固定且多样的，开发出一种能够有效解决不同尺寸的DJSSP问题能够有效提高工业生产效率，意义重大。

技术实现思路

[0012]本专利技术提供一种基于transformer的端到端动态作业车间调度模型，以析取图为输入，以调度规则作为输出，为解决动态作业车间调度问题提供了一种完全基于数据驱动的方法。
[0013]一种基于transformer的端到端动态作业车间调度模型，包括征提取模块、特征压缩模块和动作选择模块；
[0014]根据车间生产状态建立析取图，根据析取图作为模型的输入；
[0015]使用特征提取模块提取所述析取图中的初始特征并将初始特征转化为特征向量矩阵；
[0016]使用特征压缩模块将所述特征向量矩阵转换成256维的固定长度的向量；
[0017]使用动作选择模块根据所述固定长度的向量在每个决策时刻从8个调度规则中选择特定的调度规则进行车间调度，
[0018]其中，动作选择模块在每个决策时刻使用softmax函数来进行调度规则的选择。
[0019]特别地，利用交叉熵损失函数训练所述模型，使用交叉熵损失函数计算所述模型针对一个特定的析取图所输出的调度规则与所述析取图所对应的标签之间的交叉熵损失，
[0020]其中，将针对一个特定的析取图所选择的特定的调度规则作为所述析取图的标签并根据该交叉熵损失训练模型，交叉熵损失L的计算如下：
[0021][0022]其中，N表示用以训练模型的总的析取图的数量；v表示8个调度规则中的1个；c表示任意一个单独的析取图；y
cv
∈{0,1}是表示析取图c是否与调度规则v相对应的标签，y
cv
＝0表示调度规则v不是析取图c所对应的标签，y
cv
＝1表示调度规则v是析取图c所对应的标签；p
cv
表示析取图c与调度规则v相对应的概率；
[0023]当交叉熵损失L小于预定值时，所述模型训练完毕。
[0024]特别地，使用能够反映车间生产状态的析取图作为SPP
‑
Transformer输入；析取图为G＝(V,C∪D)的有向图；
[0025]其中，V为所有作业的工序的集合，所述工序被表示为析取图中的各个顶点；
[0026]V同时包括源点和汇点两个假顶点，分别代表为调度的开始和结束；
[0027]在析取图中，每两个连续的工序之间若存在优先级约束，则使用有向连接边将这两个工序进行连接，所有的有向连接边组成了集合C；
[0028]为了更好地反映DJSSP中的动态特征，将以下几个属性添加到析取图的每个顶点中：
[0029]每个工序的编号；
[0030](1)每个工序的编号。
[0031](2)包含该顶点所表示的工序的作业编号。
[0032](3)能够加工该顶点所表示的工序的机器编号，若无能够加工该工序的机器，则该顶点所对应的机器编号为0。
[0033](4)工序完成情况：“1”表示该顶点所表示的工序已完成加工，“0”表示该顶点所表示的工序正在被加工，
“‑
1”表示该顶点所表示的工序未完成加工。
[0034](5)完成率：当此顶点所表示的工序完成加工后，包含此工序的作业的完成率。即该作业中已完成加工的工序数量与该作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于transformer的端到端动态作业车间调度模型，其特征在于，包括征提取模块、特征压缩模块和动作选择模块；根据车间生产状态建立析取图，根据析取图作为模型的输入；使用特征提取模块提取所述析取图中的初始特征并将初始特征转化为特征向量矩阵；使用特征压缩模块将所述特征向量矩阵转换成256维的固定长度的向量；使用动作选择模块根据所述固定长度的向量在每个决策时刻从8个调度规则中选择特定的调度规则进行车间调度，其中，动作选择模块在每个决策时刻使用softmax函数来进行调度规则的选择。2.根据权利要求1所述的基于transformer的端到端动态作业车间调度模型，其特征在于，利用交叉熵损失函数训练所述模型，使用交叉熵损失函数计算所述模型针对一个特定的析取图所输出的调度规则与所述析取图所对应的标签之间的交叉熵损失，其中，将针对一个特定的析取图所选择的特定的调度规则作为所述析取图的标签并根据该交叉熵损失训练模型，交叉熵损失L的计算如下：其中，N表示用以训练模型的总的析取图的数量；v表示8个调度规则中的1个；c表示任意一个单独的析取图；y
cv
∈{0,1}是表示析取图c是否与调度规则v相对应的标签，y
cv
＝0表示调度规则v不是析取图c所对应的标签，y
cv
＝1表示调度规则v是析取图c所对应的标签；p
cv
表示析取图c与调度规则v相对应的概率；当交叉熵损失L小于预定值时，所述模型训练完毕。3.根据权利要求1所述的基于transformer的端到端动态作业车间调度模型，其特征在于，使用能够反映车间生产状态的析取图作为SPP
‑
Transformer输入；析取图为G＝(V,C∪D)的有向图；其中，V为所有作业的工序的集合，所述工序被表示为析取图中的各个顶点；V同时包括源点和汇点两个假顶点，分别代表为调度的开始和结束；在析取图中，每两个连续的工序之间若存在优先级约束，则使用有向连接边将这两个工序进行连接，所有的有向连接边组成了集合C；将以下几个属性添加到析取图的每个顶点中：每个工序的编号；包含该顶点所表示的工序的作业编号；能够加工该顶点所表示的工序的机器编号；若无能够加工该工序的机器，则该顶点所对应的机器编号为0；工序完成情况：“1”表示该顶点所表示的工序已完成加工，“0”表示该顶点所表示的工序正在被加工，
“‑
1”表示该顶点所表示的工序未完成加工；完成率：当此顶点所表示的工序完成加工后，包含此工序的作业的完成率；剩余工序数量；等待时间；加工时间；
剩余时间；其中“0”表示此顶点所表示的工序还未开始加工；是否可加工，如果该工序可被加工，则该属性为“True”。4.根据权利要求3所述的基于transformer的端到端动态作业车间调度模型，其特征在于，使用特征提取模块提取析取图中的初始特征并将初始特征转化为特征向量矩阵；所述模型的特征提取模块由6个编码器层组成，每个编码器层包含堆叠的attention函数、feed forward network、残差连接和Layer normalization；每道工序与析取图中的每个顶点相对应，每个顶点被视作1个长度为10的特征序列；所有顶点所对应的特征序列共同构成了特征序列矩阵，并被输入至所述特征提取模块中，由特征提取模块进行处理，得到特征向量；其中，所述特征提取模块中的attention函数计算所输入特征序列矩阵中的注意力分布，attention函数使用查询Q以确定当前加工过程中的所有工序所涉及的加工类型，使用键K表示当前正在处理的工序的加工类型，使用值V表示当前在处理的工序的信息；并将查询Q和键值对所构成的集合映射到输出；其中d
L
代表总的工序数量，而d
F
＝10代表输入的特征序列的长度；计算查询Q和键K的点积，得到所有工序的匹配分数，并将匹配分数进一步除以应用softmax函数来获得值V的...

【专利技术属性】
技术研发人员：郭洪飞，陈世帆，张恒基，黄祖艺，洪晓杰，姜涛，李建庆，
申请(专利权)人：暨南大学，
类型：发明
国别省市：