基于强化学习的工业控制方法、装置、系统和电子设备制造方法及图纸

本发明专利技术实施例公开了一种基于强化学习的工业控制方法、装置、系统和电子设备，该方法包括：获取工业设备的当前运行数据；基于工业设备对应的目标控制决策模型和当前运行数据，确定目标控制信息，其中，目标控制决策模型是预先基于工业设备对应的目标虚拟环境模型对预设控制决策模型进行强化学习获得的，工业设备对应的目标虚拟环境模型是基于工业设备的历史运行数据进行环境建模获得的；将目标控制信息发送至工业设备，以使工业设备基于目标控制信息进行运行。通过本发明专利技术实施例的技术方案，可以有效保证工业控制的准确性和效率。可以有效保证工业控制的准确性和效率。可以有效保证工业控制的准确性和效率。

【技术实现步骤摘要】
基于强化学习的工业控制方法、装置、系统和电子设备


[0001]本专利技术实施例涉及计算机技术，尤其涉及一种基于强化学习的工业控制方法、装置、系统和电子设备。

技术介绍

[0002]工业控制器可以用于控制工业生产流程中的工业设备，以保证工业设备的正常运行。通常，工业控制器可以基于模型预测控制MPC（Model Predictive Control）方式进行工业控制。MPC方式包括两部分，一部分是用于预测未来状态的预测模型，另一部分是基于未来状态求解最优控制的优化器。
[0003]目前，现有MPC方式中的预测模型是基于人工经验手动建模获得的，其模型精度严重依赖于人工经验，并且建模时间长以及成本高。而且，现有的优化器求解过程耗时较长，并且对于非线性的包含复杂约束的情况难以求解。可见，现有的工业控制方式无法有效保证工业控制的准确性和效率。

技术实现思路

[0004]本专利技术实施例提供了一种基于强化学习的工业控制方法、装置、系统和电子设备，以有效保证工业控制的准确性和效率。
[0005]根据本专利技术的一方面，提供了一种基于强化学习的工业控制方法，包括：获取工业设备的当前运行数据；基于所述工业设备对应的目标控制决策模型和所述当前运行数据，确定目标控制信息，其中，所述目标控制决策模型是预先基于所述工业设备对应的目标虚拟环境模型对预设控制决策模型进行强化学习获得的，所述工业设备对应的目标虚拟环境模型是基于所述工业设备的历史运行数据进行环境建模获得的；将所述目标控制信息发送至所述工业设备，以使所述工业设备基于所述目标控制信息进行运行。
[0006]根据本专利技术的另一方面，提供了一种基于强化学习的工业控制装置，包括：当前运行数据获取模块，用于获取工业设备的当前运行数据；目标控制信息确定模块，用于基于所述工业设备对应的目标控制决策模型和所述当前运行数据，确定目标控制信息，其中，所述目标控制决策模型是预先基于所述工业设备对应的目标虚拟环境模型对预设控制决策模型进行强化学习获得的，所述工业设备对应的目标虚拟环境模型是基于所述工业设备的历史运行数据进行环境建模获得的；目标控制信息发送模块，用于将所述目标控制信息发送至所述工业设备，以使所述工业设备基于所述目标控制信息进行运行。
[0007]根据本专利技术的另一方面，提供了一种基于强化学习的工业控制系统，所述系统包括：工业设备和工业控制器；其中，所述工业控制器用于实现如本专利技术任一实施例所述的基于强化学习的工业
控制方法。
[0008]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的基于强化学习的工业控制方法。
[0009]本专利技术实施例的技术方案，通过预先基于工业设备的历史运行数据进行环境建模，获得工业设备对应的目标虚拟环境模型，从而基于历史运行数据进行环境建模，无需依赖人工经验，建模时间短，成本低，进而有效保证工业控制的准确性。基于工业设备对应的目标虚拟环境模型对预设控制决策模型进行强化学习，获得工业设备对应的目标控制决策模型，从而利用强化学习获得的目标控制决策模型，对工业设备的当前运行数据进行控制决策，可以更加快速地获得目标控制信息，进而有效提高工业控制的效率。
[0010]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0012]图1是本专利技术实施例一提供的一种基于强化学习的工业控制方法的流程图；图2是本专利技术实施例二提供的一种基于强化学习的工业控制方法的流程图；图3是本专利技术实施例三提供的一种基于强化学习的工业控制装置的结构示意图；图4是本专利技术实施例四提供的一种基于强化学习的工业控制系统的结构示意图；图5是实现本专利技术实施例的基于强化学习的工业控制方法的电子设备的结构示意图。
具体实施方式
[0013]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0014]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列
出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0015]实施例一图1为本专利技术实施例一提供的一种基于强化学习的工业控制方法的流程图，本实施例可适用于对工业设备进行工业控制的情况。该方法可以是基于强化学习的工业控制装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于电子设备中，比如工业控制器。如图1所示，该方法具体包括以下步骤：S110、获取工业设备的当前运行数据。
[0016]其中，工业设备可以是任意一种需要工业控制的设备。当前运行数据可以是指工业设备在当前时刻下的运行数据，其可以用于表征工业设备的当前环境状态。当前运行数据可以包括但不限于工业设备的至少一种运行参数的当前参数值。
[0017]具体地，工业控制器可以预先与工业设备进行有线连接或者无线连接，以便进行数据传输。工业设备可以实时采集运行数据，并将当前采集到的当前运行数据发送至工业控制器，使得工业控制器可以获得工业设备的当前运行数据。
[0018]S120、基于工业设备对应的目标控制决策模型和当前运行数据，确定目标控制信息，其中，目标控制决策模型是预先基于工业设备对应的目标虚拟环境模型对预设控制决策模型进行强化学习获得的，工业设备对应的目标虚拟环境模型是基于工业设备的历史运行数据进行环境建模获得的。
[0019]其中，目标控制信息可以是用于控制工业设备运行的信息，其可以包括至少一种控制参数对应的目标参数值。目标参数值可以是指控制参数所需要调节到的参数值。目标控制决策模型可以是基于学习到的工业控制策略，决策出工业控制操作的网络模型。预设控制决策模型可以是预先基于工业需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的工业控制方法，其特征在于，包括：获取工业设备的当前运行数据；基于所述工业设备对应的目标控制决策模型和所述当前运行数据，确定目标控制信息，其中，所述目标控制决策模型是预先基于所述工业设备对应的目标虚拟环境模型对预设控制决策模型进行强化学习获得的，所述工业设备对应的目标虚拟环境模型是基于所述工业设备的历史运行数据进行环境建模获得的；将所述目标控制信息发送至所述工业设备，以使所述工业设备基于所述目标控制信息进行运行。2.根据权利要求1所述的方法，其特征在于，基于所述工业设备的历史运行数据进行环境建模，获得所述工业设备对应的目标虚拟环境模型，包括：对所述历史运行数据进行预处理，确定历史运行轨迹时序信息；对所述历史运行轨迹时序信息进行信息分析，创建初始虚拟环境模型；基于生成对抗训练方式和所述历史运行轨迹时序信息，对初始虚拟环境模型进行训练，获得训练结束后的所述工业设备对应的目标虚拟环境模型。3.根据权利要求2所述的方法，其特征在于，基于生成对抗训练方式和所述历史运行轨迹时序信息，对初始虚拟环境模型进行训练，获得训练结束后的所述工业设备对应的目标虚拟环境模型，包括：基于所述历史运行轨迹时序信息，确定样本输入数据和所述样本输入数据对应的状态标签数据；将初始虚拟环境模型作为生成对抗网络中的生成器，并将所述样本输入数据输入至所述初始虚拟环境模型中，获得所述初始虚拟环境模型输出的预测状态数据；将所述预测状态数据输入至生成对抗网络中的判别器中，获得所述判别器输出的判别结果；基于所述判别结果与所述状态标签数据，对所述初始虚拟环境模型和所述判别器进行交替训练，直至达到预设收敛条件时训练结束，获得所述工业设备对应的目标虚拟环境模型。4.根据权利要求1所述的方法，其特征在于，基于所述工业设备对应的目标虚拟环境模型对预设控制决策模型进行强化学习，获得所述目标控制决策模型，包括：确定预设控制决策模型对应的控制参数搜索空间；确定所述预设控制决策模型对应的目标奖励函数；基于所述目标奖励函数、所述控制参数搜索空间和所述工业设备对应的目标虚拟环境模型，对所述预设控制决策模型进行强化学习，获得所述目标控制决策模型。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，基于所述工业设备的历史运行数据进行环境建模，获得所述工业设备对应的目标虚拟环境模型，基于所述工业设备对应的目标虚拟环境模型对预设控制决策模型进行强化学习，获得所述目标控制决策模型，包括：获取所述工业设备的历史运行数据；将所...

【专利技术属性】
技术研发人员：薛飞，邹晓川，
申请(专利权)人：南栖仙策南京科技有限公司，
类型：发明
国别省市：