用于控制技术系统的控制装置和用于配置控制装置的方法制造方法及图纸

本发明专利技术涉及用于控制技术系统的控制装置和用于配置控制装置的方法。为了配置用于技术系统（TS）的控制装置（CTL），通过安全模块（SM）读入关于控制动作信号的允许性的状态特定的安全信息（SI）。此外，将说明技术系统（TS）的状态的状态信号（ZS）馈入到机器学习模块（NN）中以及安全模块（SM）中。此外，将所述机器学习模块（NN）的输出信号（OS）馈入到安全模块（SM）中。通过安全模块（SM）借助安全信息（SI）根据状态信号（ZS）将输出信号（OS）转换为允许的控制动作信号（AS）。此外，确定通过允许的控制动作信号（AS）控制技术系统(TS)的性能，并将机器学习模块（NN）训练为优化性能。然后通过经训练的机器学习模块（NN）配置控制装置（CTL）。器学习模块（NN）配置控制装置（CTL）。器学习模块（NN）配置控制装置（CTL）。

【技术实现步骤摘要】
用于控制技术系统的控制装置和用于配置控制装置的方法

技术介绍

[0001]在控制复杂的技术系统、诸如机器人、生产设备、燃气轮机、风力涡轮机、内燃机或电网时越来越多地使用机器学习的方法。借助这种学习方法，可以根据训练数据将控制装置的机器学习模型训练为，基于技术系统的当前运行信号确定用于控制技术系统的如下控制动作，所述控制动作具体而言引起技术系统的期望的或优化的行为并且因此优化该技术系统的性能。这种用于控制技术系统的机器学习模型经常也被称为策略或控制模型。大量已知的训练方法、诸如强化学习方法可用于训练这样的策略。强化学习经常也被称为Reinforcement
‑
Learning。
[0002]然而，在应用基于学习的策略时，经常无法确保：由经训练的策略输出的控制动作在所有情况下都遵守预先给定的极限值或其他技术约束。这尤其在安全关键应用中经常是一个问题。已知的是，为了避免误差控制，首先验证由经训练的策略输出的控制动作并且仅利用经验证的控制动作来操控技术系统。然而，以这种方式受限制的策略在许多情况下并非最优地起作用。

技术实现思路

[0003]本专利技术的任务是，说明一种用于控制技术系统的控制装置以及一种用于配置该控制装置的方法，通过该控制装置和该方法可以改进对技术系统的控制。
[0004]该任务通过具有专利权利要求1的特征的方法、具有专利权利要求11的特征的控制装置、具有专利权利要求12的特征的计算机程序产品以及具有专利权利要求13的特征的计算机可读存储介质来解决。
[0005]为了配置用于技术系统的控制装置，通过安全模块读入对于技术系统的状态而言特定的关于控制动作信号的允许性的安全信息。此外，说明技术系统的状态的状态信号被馈入到机器学习模块中以及安全模块中。这里以及在下文中，信号也将被理解为数据信号、尤其数字信号，其例如可以对浮点数或整数进行编码。术语“状态”优选地也可以包括状态范围。此外，机器学习模块的输出信号被馈入到安全模块中。输出信号通过安全模块借助安全信息根据状态信号被转换为允许的控制动作信号。此外，确定通过允许的控制动作信号控制技术系统的性能，并且机器学习模块被训练为优化性能。然后，控制装置借助经训练的机器学习模块被设立用于根据由安全模块输出的允许的控制动作信号来控制技术系统。
[0006]为了执行根据本专利技术的方法，设置控制装置、计算机程序产品以及优选地非易失性的计算机可读存储介质。
[0007]根据本专利技术的方法以及根据本专利技术的控制装置例如可以借助一个或多个计算机、处理器、专用集成电路（ASIC）、数字信号处理器（DSP）和/或所谓的“现场可编程门阵列（FPGA）”执行或实施。
[0008]通过本专利技术，机器学习模块可以已经在学习阶段中被训练为，在控制动作信号的由安全性决定的通过安全模块进行的修改的情况下以优化的方式起作用。这里以及在下文中，优化也将被理解为最优值的近似。这样在许多情况下可以保证通过根据本专利技术所配置
的控制装置控制的技术系统的不仅符合安全性的（sicherheitskonform）而且优化的运行。此外，可以借助状态特定的安全信息以简单的方式在训练过程中考虑特定的专家知识和/或领域知识。
[0009]本专利技术的有利的实施方式和改进方案在从属权利要求中说明。
[0010]根据本专利技术的一种有利的实施方式，可以使用反向传播方法来训练机器学习模块。在该反向传播方法中，量化所述性能的性能信号可以从安全模块的输出端被反向传播到安全模块的输入端，并且得到的性能信号可以进一步从机器学习模块的输出端被反向传播到机器学习模块的输入端。在此情况下，反向传播在一定程度上可以穿过安全模块进行。反向传播经常也被称为Backpropagation或误差反馈。在当前情况下，性能信号可以作为误差信号被反向传播，具有如下特点：更高的性能对应于更小的误差。为了执行这种反向传播方法，在机器学习领域中已知许多高效的方法。只要安全模块和/或机器学习模块的输入信号到输出信号的映射是可区分的（differenzierbar），就可以使用基于梯度的反向传播方法、例如梯度下降法。为了该目的，通过安全模块进行的转换可以作为可区分的映射实施并且这样可以在一定程度上是梯度递送的（gradientendurchl
ä
ssig）。优选地，安全模块可以借助TensorFlow图来实施。替代地或附加地，也可以使用梯度自由的反向传播方法、诸如遗传优化方法。
[0011]根据另一有利的实施方式，可以通过安全模块借助安全信息来检查：输出信号是否作为控制动作信号是允许的。然后可以根据检查结果进行输出信号的转换。检查可以根据一个或多个安全标准的描述进行，所述安全标准尤其说明要遵守的极限值或约束。这样的描述可以在安全信息中被编码或说明。
[0012]如果输出信号作为控制动作信号是允许的，则输出信号可以通过安全模块作为允许的控制动作信号输出。否则，可以将输出信号转换为允许的控制动作信号。例如，可以检查：是否遵守极限值，并且只有当情况不是如此时才促使转换。
[0013]根据本专利技术的另一有利的实施方式，安全信息可以说明或编码允许的、状态特定的默认控制动作信号。然后可以根据检查结果将输出信号转换为允许的默认控制动作信号。以这种方式即使在没有产生有利的或有意义的输出信号或仅被训练数据稀疏地覆盖的情况下也可以保证技术系统的默认操控和/或默认行为。
[0014]根据本专利技术的另一有利的实施方式，可以针对技术系统的通过状态信号指定的状态确定可用于该状态的训练数据的集合。然后可以根据所确定的集合进行对输出信号的允许性的检查。原则上，机器学习模型的训练成功大大取决于训练数据的可用集合。因此通常可以预期，机器学习模块的从仅被训练数据稀疏地覆盖的状态导出的输出信号有比较大的不确定性。因此，显得有利的是，将针对技术系统的仅被训练数据稀疏地覆盖的状态的输出信号优选地评估为不允许的。
[0015]相应地，可以针对通过状态信号指定的状态确定机器学习模块的预测误差或建模误差。然后可以根据所确定的预测误差或建模误差进行对输出信号的允许性的检查。尤其，可以将针对具有比较大的预测或建模误差的状态的输出信号优选地评估为不允许的。
[0016]尤其可以以直接的方式或借助变分自动编码器、贝叶斯神经网络或借助已知的基于集群的方法确定状态特定的训练数据的集合的度量或状态特定的预测或建模误差的度量。
[0017]根据本专利技术的另一有利的实施方式，可以通过安全信息配置、说明或编码变换函数。输出信号以及状态信号可以被馈入到变换函数中。然后，输出信号可以借助变换函数根据状态信号被转换为允许的控制动作信号。
[0018]此外，可以通过允许的控制动作信号来控制技术系统，其中可以检测这样被控制的技术系统的行为。然后可以从所检测的行为中导出性能。以这种方式例如可以测量技术系统的功率或产量并作为性能输出。
[0019]此外，通过允许的控制动作信号控制的技术系统的行为可以被仿真、预测和/或从数据库中读入。然后可以从所仿真本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实施的用于配置用于技术系统（TS）的控制装置（CTL）的方法，其中a）通过安全模块（SM）读入对于所述技术系统（TS）的状态而言特定的关于控制动作信号的允许性的安全信息（SI），b）将说明所述技术系统（TS）的状态的状态信号（ZS）馈入到机器学习模块（NN）中以及所述安全模块（SM）中，c）将所述机器学习模块（NN）的输出信号（OS）馈入到所述安全模块（SM）中，d）通过所述安全模块（SM）借助所述安全信息（SI）根据所述状态信号（ZS）将所述输出信号（OS）转换为允许的控制动作信号（AS），e）确定通过所述允许的控制动作信号（AS）控制所述技术系统（TS）的性能，f）将所述机器学习模块（NN)训练为优化所述性能，以及g）所述控制装置（CTL）借助经训练的机器学习模块（NN）被设立用于根据由所述安全模块（SM）输出的允许的控制动作信号（AS）控制所述技术系统（TS）。2.根据权利要求1所述的方法，其特征在于，为了训练所述机器学习模块（NN），使用反向传播方法，在该反向传播方法中量化所述性能的性能信号（PS）从所述安全模块（SM）的输出端（S2）被反向传播到所述安全模块（SM）的输入端（S1）并且得到的性能信号（RPS）进一步从所述机器学习模块（NN）的输出端（N2）被反向传播到所述机器学习模块（NN）的输入端（N1）。3.根据上述权利要求中任一项所述的方法，其特征在于，通过所述安全模块（SM）借助所述安全信息（SI）来检查：所述输出信号（OS）是否作为控制动作信号是允许的，以及根据检查结果将所述输出信号（OS）转换为所述允许的控制动作信号（AS）。4.根据权利要求3所述的方法，其特征在于，如果所述输出信号（OS）作为控制动作信号是允许的，则所述输出信号（OS）通过所述安全模块（SM）作为允许的控制动作信号（AS）输出，以及否则所述输出信号（OS）被转换为所述...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：西门子股份公司，
类型：发明
国别省市：