一种基于深度强化学习的制造系统重构规划方法技术方案

本发明专利技术公开了一种基于深度强化学习的制造系统重构规划方法，该方法的实施过程如下：对现有的可重构机床和待加工产品进行分析，获取机床构形集合与产品待加工特征集合；采用马尔可夫决策过程对制造系统重构规划问题进行建模，形成重构规划的马尔可夫模型，根据机床构形集合与产品待加工特征集合明确状态空间和动作空间，根据确定的优化目标，确定奖励函数和转换概率矩阵；基于重构规划的马尔可夫模型，利用重构规划智能体与环境不断交互获得的样本数据对DQN算法的神经网络进行训练；利用训练好的DQN网络，输入的工件特征，快速求解获得制造系统重构规划的优化方案。本发明专利技术能够解决制造系统重构规划问题。决制造系统重构规划问题。决制造系统重构规划问题。

【技术实现步骤摘要】
一种基于深度强化学习的制造系统重构规划方法


[0001]本专利技术属于智能制造装备产业
，具体涉及一种基于深度强化学习的制造系统重构规划方法。

技术介绍

[0002]智能制造装备产业中的传统制造系统在设计过程中往往采用能够同时满足多工件加工需求的固定系统构形，其生产能力得不到充分发挥。与传统刚性制造系统不同，可重构制造系统(RMS)具有可调整性的结构，可以在系统和设备层次上进行重构获得制造系统的柔性，生产能力与加工需求紧密结合。RMS的实施，首要环节就是确定制造系统重构方案。合理的重构方案能够极大程度地提高制造系统重构的效率以及降低重构成本，但重构因素的引入增加了制造系统规划的复杂性，传统规划方法已经无法满足这种需要。因此，有必要对制造重构规划与优化技术展开研究。
[0003]在实施RMS的过程中，需要根据多种产品的工艺方案需求来选择合适的机床构形来组成制造系统。在RMS构形设计中，一定数量的设备通过位置变换、顺序变换或设备自身重构可以设计出多种不同的布局方案。为此，许多学者对制造系统重构方案的优化设计进行了大量研究。Youssef等提出了一种新颖的RMS构形选择方法，首先采用元启发算法、实数编码遗传算法和禁忌算法确定近优构形备选方案，然后转用整数编码遗传算法从备选方案中确定最优方案。Kumar等提出了一种启发式算法来确定一组能够同时满足多种产品加工需求的线性机床序列，与将此方案与由两种经典的布局设计方法给出的方案进行对比，证明了启发式算法在制造系统布局设计方面的有效性。Lin和Yang基于层次分析法提出了一种机床优选方法，可以从一组潜在可用机床集合中选择出最合适的机床。Karim和Karmaker将层次分析法和优劣解距离法(TOPSIS)相融合，提出了一个机床选择决策支持系统。Juan等提出了一种采用禁忌搜索算法和模因算法相结合的方法来解决机床规划和布局集成问题，同时确定了机床布局方案和工件加工路径。赵晓波等基于随机模型建立了产品族与可行构形集合匹配的最优化问题，并采用了两种不同算法解决此问题，以实现RMS在设计阶段构形的选择。刘艳凯等提出了一种基于拟阵的贪婪算法来实现快速RMS的布局优化设计，并通过某工厂的重组实践进行了验证。
[0004]基于现有强化学习调度方法并结合可重构制造系统特点，对现有技术缺陷总结如下：
[0005](1)智能化水平不高。现有的研究中多采用层次分析法、遗传算法、启发式算法或综合考虑来解决制造系统重构方案的设计问题，但往往最终需要进行人为的干预和决策，不能实现完成自主决策。因此，需要探索一种更智能的优化算法。
[0006](2)设计方案准确性、优化效率过低。现阶段，由于产品需求个性化、多样化激增以及生产环境的不确定性加剧，生产过程中可能出现的状态呈指数上涨，传统方法在面对此类问题时缺乏快速处理的能力，并且无法准确地迭获得符合需求的最优设计方案。

技术实现思路

[0007]有鉴于此，本专利技术提供了一种基于深度强化学习的制造系统重构规划方法，能够解决制造系统重构规划问题。
[0008]本专利技术是通过下述技术方案实现的：
[0009]一种基于深度强化学习的制造系统重构规划方法，该方法的实施过程如下：
[0010]步骤一、分析环境：对现有的可重构机床和待加工产品进行分析，获取机床构形集合与产品待加工特征集合；
[0011]步骤二、进行马尔可夫过程建模，确定重构规划过程四元组<S,A,R,P>：采用马尔可夫决策过程对制造系统重构规划问题进行建模，形成重构规划的马尔可夫模型，根据机床构形集合与产品待加工特征集合明确状态空间S和动作空间A，根据确定的优化目标，即以最小化生产成本作为制造系统重构规划的优化目标确定奖励函数R和转换概率矩阵P；
[0012]步骤三、进行深度强化学习，即深度神经网络训练：基于重构规划的马尔可夫模型，利用重构规划智能体与环境不断交互获得的样本数据对DQN算法的神经网络进行训练；
[0013]步骤四、基于DQN获取重构规划的优化方案：利用训练好的DQN网络，输入的工件特征，快速求解获得制造系统重构规划的优化方案。
[0014]进一步的，在步骤二中，所述马尔可夫模型的状态空间S即为环境状态，状态空间S＝(当前可用机床组M，工件类型E，工件特征完成情况F，当前机床构形C)；
[0015]当前可用机床组M表示可供直接使用而不需要重构调整的一组机床集合，t时刻的当前可用机床组M
t
的数学表达式为：
[0016][0017]式中，表示工件的i特征采用j机床的n
ij
构形加工；m为机床个数；
[0018]工件类型E＝{e|1，2，3，
…
,n}，n为工件个数；
[0019]工件特征完成情况F表示：定义x
i
为某工件i的特征完成情况，用“0”表示特征尚未加工；“1”表示该特征已经加工，即x
i
＝{0，1}；特征完成情况F为“集合”形式，用于表征工件所有特征的加工情况，记t时刻的工件特征完成情况F
t
为：
[0020]F
t
＝{x1,x2,x3,
…
,x
n
} (2)
[0021]x
n
为工件n的特征完成情况，当F
t
＝{1,1,1,
…
,1}时，表示当前工件所有特征加工完成；
[0022]t时刻的当前机床构形C
t
的数学表达为：
[0023][0024]基于上述的描述，在t时刻的状态空间，即s
t
可表示为：
[0025][0026]进一步的，在步骤二中，所述马尔可夫模型的动作空间A包括当前可用机床组M以及所有可以由M重构得到的机床构形；在t时刻的动作a
t
可表示为：
[0027][0028]表明在t时刻，智能体根据策略选择了j机床的n
ij
构形加工工件的i特征；
[0029]基于式(5)，动作空间可以表示为：
[0030][0031]式中，和表示机床1具有n1和n2两种构形，对应可以加工工件的k1和k2两个特征，以此类推，表示机床m具有1
…
n
m
种构形，对应可以加工工件的k1…
k
m
个特征。
[0032]进一步的，在步骤二中，所述马尔可夫模型的奖励函数R以最小化生产成本为目标进行设置；
[0033]假设当前的环境状态为：
①
已知当前可用机床组M；
②
已知工件的特征完成情况F，将要选择下一个机床构形来加工下一待加工特征；
③
工件处于构形位置，即已经完成i特征的加工，位于j机床处，定义t时刻的奖励函数r
t
为：
[0034][0035]式(7)中，i
′...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的制造系统重构规划方法，其特征在于，该方法的实施过程如下：步骤一、分析环境：对现有的可重构机床和待加工产品进行分析，获取机床构形集合与产品待加工特征集合；步骤二、进行马尔可夫过程建模，确定重构规划过程四元组<S，A，R，P>：采用马尔可夫决策过程对制造系统重构规划问题进行建模，形成重构规划的马尔可夫模型，根据机床构形集合与产品待加工特征集合明确状态空间S和动作空间A，根据确定的优化目标，即以最小化生产成本作为制造系统重构规划的优化目标确定奖励函数R和转换概率矩阵P；步骤三、进行深度强化学习，即深度神经网络训练：基于重构规划的马尔可夫模型，利用重构规划智能体与环境不断交互获得的样本数据对DQN算法的神经网络进行训练；步骤四、基于DQN获取重构规划的优化方案：利用训练好的DQN网络，输入的工件特征，快速求解获得制造系统重构规划的优化方案。2.如权利要求1所述的一种基于深度强化学习的制造系统重构规划方法，其特征在于，在步骤二中，所述马尔可夫模型的状态空间S即为环境状态，状态空间S＝(当前可用机床组M，工件类型E，工件特征完成情况F，当前机床构形C)；当前可用机床组M表示可供直接使用而不需要重构调整的一组机床集合，t时刻的当前可用机床组M
t
的数学表达式为：式中，表示工件的i特征采用j机床的n
ij
构形加工；m为机床个数；工件类型E＝{e|1，2，3，...，n}，n为工件个数；工件特征完成情况F表示：定义x
i
为某工件i的特征完成情况，用“0”表示特征尚未加工；“1”表示该特征已经加工，即x
i
＝{0，1}；特征完成情况F为“集合”形式，用于表征工件所有特征的加工情况，记t时刻的工件特征完成情况F
...

【专利技术属性】
技术研发人员：黄思翰，黄金棠，王国新，阎艳，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：