排产优化方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种排产优化方法、装置、设备及计算机可读存储介质，本发明专利技术排产优化方法包括：根据采集的环境参数确定预设仿真排产模型的所有状态参数；确定各所述状态参数对应的初始策略，并依次运行各所述初始策略中的训练动作，基于运行结果确定目标总策略；根据所述目标总策略进行排产操作，并输出所述排产操作的排产结果。本发明专利技术实现了在保障排产效果的同时，提高了排产效率。

【技术实现步骤摘要】
排产优化方法、装置、设备及计算机可读存储介质
本专利技术涉及设备自动化
，尤其涉及一种排产优化方法、装置、设备及计算机可读存储介质。
技术介绍
排产问题是n个工件在m台机器上流水线加工，每个工件在每个机器上运行花费的时间不同，且每个机器同一时刻只能加工一个工件，调度的目标是确定工件在每台机器上的加工顺序、每个工序的开工时间，使得最大完工时间最小或其他指标达到最优。因此调度问题或排产问题是工厂生产中密切关心的问题。而目前是利用进化规律而构造的例如遗传算法的智能寻优算法进行查询的，但是这种方法需要构造序列种群并在种群中进行寻优迭代，需要对种群中每个个体分别进行计算，当种群越大时，计算量也越大，从而造成求解一次需要耗费大量时间。
技术实现思路
本专利技术的主要目的在于提出一种排产优化方法、装置、设备及计算机可读存储介质，旨在解决如何在保障排产效果的同时，提高排产效率的技术问题。为实现上述目的，本专利技术提供一种排产优化方法，所述排产优化方法包括如下步骤：根据采集的环境参数确定预设仿真排产模型的所有状态参数；确定各所述状态参数对应的初始策略，并依次运行各所述初始策略中的训练动作，，基于运行结果确定目标总策略；根据所述目标总策略进行排产操作，并输出所述排产操作的排产结果。可选地，依次运行各所述初始策略中的训练动作，基于运行结果确定目标总策略的步骤，包括：遍历各所述状态参数，基于各所述初始策略确定遍历的状态参数对应的所有遍历初始策略；运行各所述遍历初始策略中的训练动作，基于各所述训练动作的运行结果确定最优策略，根据各所述状态参数对应的最优策略确定目标总策略。可选地，运行各所述遍历初始策略中的训练动作，基于各所述训练动作的运行结果确定最优策略的步骤，包括：确定所述环境参数中的所有训练动作的数量是否大于预设数量；若大于预设数量，则将各所述遍历初始策略中的训练动作输入至预设的深度回归模型进行模型训练，基于所述模型训练的训练结果确定最优策略。可选地，确定所述环境参数中的所有训练动作的数量是否大于预设数量的步骤之后，包括：若小于或等于预设数量，则获取所述目标训练动作运行完成后产生的回报，并根据所述回报对所述初始策略进行更新，以获取更新策略；确定各所述训练动作对应的更新策略，并确定各所述更新策略中的策略值，将各所述策略值中的最大策略值对应的更新策略作为最优策略。可选地，根据所述回报值对所述初始策略进行更新，以获取更新策略的步骤，包括：确定预设的策略更新算法，将所述遍历的状态参数和所述回报输入至所述策略更新算法进行计算，并将所述计算的计算结果作为更新策略。可选地，根据所述目标总策略进行排产操作的步骤，包括：确定所述目标总策略中的初始最优策略，并确定所述初始最优策略中的执行动作和最优状态参数；运行所述执行动作，将所述预设仿真排产模型的初始状态参数更新为所述最优状态参数，根据所述更新后的最优状态参数确定所述排产操作是否成功。可选地，根据所述更新后的最优状态参数确定所述排产操作是否成功的步骤，包括：根据所述更新后的最优状态参数检测所目标总策略中的所有执行动作是否运行完成，并基于所述检测所目标总策略中的所有执行动作是否运行完成的检测结果确定所述排产操作是否成功。此外，为实现上述目的，本专利技术还提供一种排产优化装置，所述排产优化装置包括：采集模块，用于根据采集的环境参数确定预设仿真排产模型的所有状态参数；运行模块，用于确定各所述状态参数对应的初始策略，并依次运行各所述初始策略中的训练动作，，基于运行结果确定目标总策略；排产模块，用于根据所述目标总策略进行排产操作，并输出所述排产操作的排产结果。此外，为实现上述目的，本专利技术还提供一种排产优化设备，所述排产优化设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的排产优化程序，所述排产优化程序被所述处理器执行时实现如上所述的排产优化方法的步骤。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有排产优化程序，所述排产优化程序被处理器执行时实现如上所述的排产优化方法的步骤。本专利技术通过根据采集的环境参数确定预设仿真排产模型的所有状态参数，并会确定各个状态参数对应的初始策略，根据运行各个初始策略中的训练动作的运行结果确定目标总策略，并根据目标总策略进行排产操作，从而避免了现有技术中需要提前构造序列种群，对种群中每个个体分别进行计算，导致计算量过大，排产效率低的现象发生，并且通过提前对预设仿真排产模型中所有状态参数进行训练，以目标总策略，再根据目标总策略进行执行的方式可以减少确定排产方案的计算量，在保障排产效果的同时，提高排产效率。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的排产优化设备结构示意图；图2为本专利技术排产优化方法第一实施例的流程示意图；图3为本专利技术排产优化装置的装置模块示意图；图4为本专利技术排产优化方法中动作设计的场景示意图；图5为本专利技术排产优化方法中强化学习的流程示意图；图6为本专利技术排产优化方法中排产操作的流程示意图；图7为本专利技术排产优化方法中强化学习训练的流程示意图；图8为本专利技术排产优化方法中的策略Q值表的示意图；图9为本专利技术排产优化方法中深度回归模型训练的流程示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，图1是本专利技术实施例方案涉及的硬件运行环境的排产优化设备结构示意图。本专利技术实施例排产优化设备可以是搭载了虚拟化平台的PC机或服务器(如X86服务器)等终端设备。如图1所示，该排产优化设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及排产优化程序。在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；本文档来自技高网...

【技术保护点】
1.一种排产优化方法，其特征在于，所述排产优化方法包括如下步骤：/n根据采集的环境参数确定预设仿真排产模型的所有状态参数；/n确定各所述状态参数对应的初始策略，并依次运行各所述初始策略中的训练动作，基于运行结果确定目标总策略；/n根据所述目标总策略进行排产操作，并输出所述排产操作的排产结果。/n

【技术特征摘要】
1.一种排产优化方法，其特征在于，所述排产优化方法包括如下步骤：
根据采集的环境参数确定预设仿真排产模型的所有状态参数；
确定各所述状态参数对应的初始策略，并依次运行各所述初始策略中的训练动作，基于运行结果确定目标总策略；
根据所述目标总策略进行排产操作，并输出所述排产操作的排产结果。


2.如权利要求1所述的排产优化方法，其特征在于，所述依次运行各所述初始策略中的训练动作，基于运行结果确定目标总策略的步骤，包括：
遍历各所述状态参数，基于各所述初始策略确定遍历的状态参数对应的所有遍历初始策略；
运行各所述遍历初始策略中的训练动作，基于各所述训练动作的运行结果确定最优策略，根据各所述状态参数对应的最优策略确定目标总策略。


3.如权利要求2所述的排产优化方法，其特征在于，所述运行各所述遍历初始策略中的训练动作，基于各所述训练动作的运行结果确定最优策略的步骤，包括：
确定所述环境参数中的所有训练动作的数量是否大于预设数量；
若大于预设数量，则将各所述遍历初始策略中的训练动作输入至预设的深度回归模型进行模型训练，基于所述模型训练的训练结果确定最优策略。


4.如权利要求3所述的排产优化方法，其特征在于，所述确定所述环境参数中的所有训练动作的数量是否大于预设数量的步骤之后，包括：
若小于或等于预设数量，则获取各所述训练动作中目标训练动作对应的运行结果，确定所述运行结果对应的回报，并根据所述回报对所述初始策略进行更新，以获取更新策略；
确定各所述训练动作对应的更新策略，并确定各所述更新策略中的策略值，将各所述策略值中的最大策略值对应的更新策略作为最优策略。


5.如权利要求4所述的排产优化方法，其特征在于，所述根据所述回报值对所述初始策略进行更新，以获取更新策略的步...

【专利技术属性】
技术研发人员：肖俊河，李杰，刘斌，郭宇翔，傅慧初，王芳，
申请(专利权)人：珠海埃克斯智能科技有限公司，
类型：发明
国别省市：广东;44