基于深度强化学习的云订单动态接受与调度方法技术

本发明专利技术公开了一种基于深度强化学习的云订单动态接受与调度方法，按如下步骤：步骤一，接单智能体根据车间的信息反馈，以最大利润为目标制定订单接受策略；步骤二，当云订单接受后，排单智能体将当前时刻剩余工序和云订单以最小拖期时间和最小扰动为整合目标重调度；调度结束后将车间的生产能力反馈给接单智能体。本发明专利技术可对动态到达的云订单实现调度优化，能在正常生产自有订单的同时提高车间资源利用率，提升企业的利润。提升企业的利润。提升企业的利润。

【技术实现步骤摘要】
基于深度强化学习的云订单动态接受与调度方法


[0001]本专利技术涉及一种基于深度强化学习的云订单动态接受与调度方法。

技术介绍

[0002]云制造是利用网络和服务平台，为顾客需求提供各类按需制造服务的一种智能化制造新模式。云制造具有“分散资源集中使用”和“集中资源分散服务”的特点，为企业和顾客提供制造能力，实现资源共享。云平台接收到制造任务后，寻找符合用户需求的生产企业，高效的服务资源分配方法才能保障云制造模式推广与应用。云制造环境下，企业如何分配资源，适应动态到达的订单，提高自身的利润，成为企业参与云制造模式关注的关键核心问题之一。现有的研究大多集中在有关云制造平台的架构、功能、技术实现等方面，关于云制造背景下企业车间的生产调度问题的研究还较为缺乏。
[0003]参与云制造的生产型企业的订单可以分为两类：其自有订单和云订单，其中自有订单可视为是确定的，而云订单具有极高的不确定性。顾客将订单提交至云平台，平台将订单分配给合适的企业，企业对该订单是否接收做出决策，以及安排接收的订单进行生产。在接收云订单后，企业根据其自身的剩余能力安排所有订单的最佳调度方案，使得利润最高。因此，对于云制造环境下的企业该如何协同生产两类订单，合理调度优化企业的生产资源分配，对提高企业自身利润有着重要的意义，也是企业参与云制造后亟待解决的关键问题。
[0004]近年来，关于订单接受与调度问题已取得了较好的研究成果。根据云订单的插入方式可将这类问题分为静态调度和动态调度两类，静态调度为云订单不会改变自有订单的生产，动态调度为云订单与未开始生产的初始调度方案重调度。动态环境下的订单接受与调度问题的研究面临以下一些挑战：
[0005](1)订单不确定性，订单的到达时间、加工数量、交货期、价格等信息的不确定，使得企业难以结合未来订单到达情况，对当前订单做出决策。例如，企业接收某个利润较小的云订单A后，又有某个利润较大的云订单B到达，但接收订单A后，车间已经没有能力接收订单B，导致损失部分利润。若如果拒绝订单A，可能造成较长时间等待利润高的订单，导致企业资源浪费。Emmami等在平行机加工环境中，考虑了订单交货期、收益、延误惩罚和所需安装时间等信息不确定情况下，订单接受和调度集成优化问题。Wang等在订单的价格、加工时间、交货期等不确定情况下，研究了企业计划期之前双机流水作业车间的订单接受和排序问题，提出一种改进启发式算法和分支定界算法。
[0006](2)对车间生产的扰动性，在云订单未到达之前，企业的自有订单已经生成调度方案，对于动态调度问题，接收云订单会扰动车间原有的调度方案，人员、机器设备和物料等的变动会加大企业生产的管理难度。Moratori等对现行的计划表中插入新的订单进行了研究，为了保持调度的有效性以及车间生产的稳定性，提出了新的有效匹配策略。严浩云等建立了订单重排问题的混合整数规划模型，并采用一种基于动态规划思想的启发式求解方法，有效解决了紧急订单的插单问题。
[0007](3)交货期的敏感性，当订单未在截止时间交货时，不仅会产生延期成本，还会损
失企业的信誉。所以企业接单时，需要充分考虑剩余生产能力能否在交货期内完成订单。Slotnick等研究了在生产能力有限，订单因延迟交货而获得折扣，但提前交货不受惩罚或奖励的情况下的订单接受决策问题，并利用基于松弛法的启发式算法解决。Cesaret等提出了禁忌搜索算法，用于解决考虑了拖期惩罚的单机订单接受和排序问题。Xiao等针对流水作业生产线上，企业面临的订单接收和加权拖期的排列流水线作业调度问题，采用部分优化的启发式模拟退火算法。
[0008]近年来，众多研究综合考虑企业车间生产能力、订单的利润、订单生产成本等因素，最终确定订单接受和调度策略。宋李俊等提出了一种流水线生产企业订单接受与调度一体化的决策方法，构建一种基于模拟退火过程的启发式算法求解模型。等研究了等效并行机车间的模糊订单决策与排序问题，利用改进遗传算法解决。Tarhan等提出一种新的迭代局部搜索算法，用于解决订单接受和调度问题。B.Vahedi
‑
Nouri等建立了一个综合考虑顾客和工厂的效用与公平性的多目标模型，利用Epsilon约束法决策云平台是否接受订单，确定工厂和机器的分配、订单价格。Wang等为利用企业加工空闲时间段，提出了可变粒子群优化VDPSO算法解决云订单接受问题，接受订单后采用Giffler
‑
Thompson算法排单。Li等考虑了一个制造商收到多个订单的情形，提出了三种精确算法确定接收订单的最佳集合和相应的生产计划。Wu等提出了改进的仿水流算法求解订单接受问题和平行机排序问题。王贞等针对企业的剩余能力利用问题，采用改进的二阶粒子群算法求解工件的最优调度顺序。启发式算法对于动态调度问题需要重新构造可行解等缺点，无法适用于云订单动态到达问题，还需要进一步运用人工智能算法。
[0009]目前，强化学习等一类人工智能算法已经成功应用于企业接单、车间调度、物流管理等领域，在国内外各界受到了高度重视。王晓欢等借助基于SMART算法解决企业在订单接受决策过程中的不确定性问题。郝鹃等采用平均强化学习算法研究不确定环境下订单生产方式企业的订单接受问题。Li等针对增加的需求和资源的有限性问题，并通过设定价格和提前期影响需求，建立半马尔可夫决策问题，采用Q
‑
learning算法决策订单的接受或拒绝。由于订单是动态到达，所以车间的生产信息也是动态变化的，上述文献未结合车间的动态信息制定订单接受策略，缺乏决策的依据。对于车间调度问题，众多研究将其抽象为序贯决策问题，并利用强化学习的算法解决。贺俊杰等对于任务动态到达的纺织面料染色车间动态调度问题，以最小化总拖期时间为目标，提出了基于多智能体循环近端策略优化算法。陈勇等针对大型装备制造企业扰动多、影响大的问题，建立了基于元胞机与强化学习算法的多扰动车间柔性调度模型。夏金等提出了学习率和探索率动态改变的Q
‑
learning算法优化生产再决策问题。肖鹏飞等提出了基于时序差分的深度强化学习算法，用于解决非置换流水车间调度问题。王凌等以最小化最大完工时间为目标，提出求解流水车间调度的一种基于深度强化学习与迭代贪婪算法。任剑锋等以长短期记忆网络模型为主函数，在模型中嵌入指针网络，求解作业车间调度问题。然而以上文献均没有涉及混合流水车间调度问题。实际上，由于下派的云订单具有小批量、多品种等特点，参与云制造的也多为混合流水车间。基于此，本专利技术在研究混合流水线车间下，解决云订单动态到达的订单接收以及车间调度问题。

技术实现思路

[0010]针对现有技术存在的上述问题，本专利技术提供了一种基于深度强化学习的云订单动态接受与调度方法。
[0011]本专利技术采取如下技术方案：
[0012]基于深度强化学习的云订单动态接受与调度方法，按如下步骤：
[0013]步骤一，接单智能体根据车间的信息反馈，以最大利润为目标制定订单接受策略；
[0014]步骤二，当云订单接受后，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度强化学习的云订单动态接受与调度方法，其特征是按如下步骤：步骤一，接单智能体根据车间的信息反馈，以最大利润为目标制定订单接受策略；步骤二，当云订单接受后，排单智能体将当前时刻剩余工序和云订单以最小拖期时间和最小扰动为整合目标重调度；调度结束后将车间的生产能力反馈给接单智能体。2.如权利要求1所述基于深度强化学习的云订单动态接受与调度方法，其特征是，步骤一中，利润的目标函数如下：步骤一中，利润的目标函数如下：其中，p
b
、v、d
b
、F
b
、c
b
分别表示第b(b＝1，2,
…
g)个云订单的价格、单位延期时间的惩罚因子、延期时间、固定生产成本，机器生产成本；p
Q
、d
Q
、F
Q
、c
Q
分别表示第Q(Q＝1，2，
…
h)个自有订单的价格、延期时间、固定生产成本、机器生产成本；车间调度中，所有订单延期累计时间最小目标函数为：车间生产扰动最小的目标函数为新旧调度方案的工序加工时间差异累和：式中，表示第z(z＝1,2,
…
L)个订单的第w(w＝1,2,
…
u)道工序新调度与旧调度方案的开始加工时间差值，表示第z个订单的第w道工序新调度方案与旧调度的结束加工时间差值。3.如权利要求2所述基于深度强化学习的云订单动态接受与调度方法，其特征是，步骤一中，接单智能体的状态空间为各机器的加工结束时间O
i
(1≤i≤m)、各机器的加工累计时间T
i1
(1≤i≤m)、云订单工件数量n
b
、工件类型type(b)、交货期D
b
、价格P
b
；步骤二中，排单智能体的状态空间为各机器的加工结束时间O
i
(1≤i≤m)、各机器的加工累计时间T
i1
(1≤i≤m)、各工件当前最迟加工结束时间各工件剩余工序E
e
(1≤e≤n)、各工件类型在机器上的加工时间表JM。4.如权利要求3所述基于深度强化学习的云订单动态接受与调度方法，其特征是，步骤一中，接单智能体的调度动作为接受订单和拒绝订单，定义为：步骤二中，...

【专利技术属性】
技术研发人员：张梦钗，刘项，刘春来，丁祥海，韩杰，田徐鸿，王璐佳，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：