本发明专利技术涉及一种用于计算机辅助地控制和/或调节技术系统的方法。在根据本发明专利技术的方法的范围内确定行动选择策略（PO’），所述行动选择策略具有低的复杂性，但是却较好地适合于调节或控制所述技术系统。在此在确定所述行动选择策略（PO’）时使用评估尺度（EM），在距离尺度或奖励尺度或行动选择策略-评估方法的基础上确定所述评估尺度。随后将所述行动选择策略用于控制或调节所述技术系统。根据本发明专利技术的方法具有以下优点：所述行动选择策略可被人类专家所理解。优选将根据本发明专利技术的方法用于调节或控制燃气涡轮机和/或风力涡轮机。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种以及一种相应的计算机程序产品。
技术介绍
经常在计算机辅助的方法的基础上调节复杂的技术系统、比如燃气涡轮机或风力涡轮机，所述计算机辅助的方法在训练数据和相应的优化准则的基础上确定行动选择策略(英语:Policy)。该行动选择策略指明，在所述系统的相应的状态中应该在所述技术系统上实施何种行动。由此比如可以实现以较高的效率来运行所述技术系统。对于燃气涡轮机来说，此外必要时可以降低燃烧室动力或排放。对于风力涡轮机来说，比如也可以对吊舱关于风的定向进行优化。为了确定相应的、用于技术系统的行动选择策略，通常使用麻烦的回归法、比如神经网络。但是，这些回归法具有以下缺点:它们产生复杂的行动选择策略，所述复杂的行动选择策略不再能够被人类专家所解释或理解。因此，缺乏可理解性的复杂的行动选择策略有时候不被使用在技术系统的运行中。从现有技术中已知一些方法，利用这些方法来产生具有更小的复杂性的行动选择策略，比如方法是:通过具有较小规模的状态来表示所述技术系统或者使用更加简单的回归法。但是，这些方案经常导致对于所述对技术系统的控制或调节来说非最优的行动选择策略。
技术实现思路
因此，本专利技术的任务是，提供一种，所述方法使用具有较小的复杂性的、较好地适合于所述技术系统的行动选择策略。该任务通过独立权利要求来解决。本专利技术的改进方案在从属权利要求中被阐明。下面在步骤a)到c)的基础上对根据本专利技术的方法进行解释。这些步骤的名称仅仅用于更好参照其中所包含的特征，并且没有规定实施的顺序。特别地，特定的步骤也可以并行地实施或交织到彼此当中。根据本专利技术的方法用于计算机辅助地控制和/或调节技术系统。按照步骤a)，就多个时刻而言所述技术系统的动态行为分别以所述技术系统的状态和在所述技术系统上所执行的行动为特征，其中在相应的时刻的相应的行动引起所述技术系统在接下来的时刻的新的状态。术语“状态”或“行动”在此要广义地来理解。状态特别地可以包括具有一个或多个状态变量的状态矢量。在相应的(当前的)时刻的状态除了在当前时刻的状态矢量之外还可以可选地包括一个或多个在一个或多个先前的时刻的状态矢量，由此对在有限的时间水平范围内的状态的历史加以考虑。同样，行动可以是由多个行动变量构成的矢量。在根据本专利技术的方法的步骤b)中提供和/或产生(多个)行动选择策略，其中相应的行动选择策略至少根据所述技术系统在相应的时刻的状态指定在相应的时刻有待在所述技术系统上执行的行动，并且其中为每个行动选择策略分配了一个复杂性尺度，所述复杂性尺度描述了相应的行动选择策略的复杂性，所述复杂性小于或者小于等于预先确定的复杂性阈值。所述复杂性尺度在此可以以不同的方式来定义，其中下面进一步给出了这样的复杂性尺度的实例。在根据本专利技术的方法的步骤c)中，借助于对于评估尺度的计算从所提供的和/或所产生的行动选择策略中确定所提供的和/或所产生的行动选择策略的具有最高评估尺度的行动选择策略，其中所述评估尺度相应地描述了行动选择策略用于对所述技术系统进行调节和/或控制的适宜性。更高的评估尺度在此描述所述行动选择策略用于对技术系统进行调节和/或控制的更好的适宜性。在特定的实施方式中，可以并行地或彼此交织地实施所述步骤b)和C)。比如可以首先产生特定的行动选择策略，并且随后可以抛弃具有较差的评估尺度的行动选择策略的一部分。随后又产生新的行动选择策略，并且以相同的方式又抛弃相应的行动选择策略。特别地，在使用进一步在下面描述的基因编程或粒子群优化时所述步骤b)和c)交织在彼此当中。按照本专利技术，相应的行动选择策略的、在步骤c)的范围内所计算的评估尺度可以取决于以下三个参量中的一个或多个参量: -所述相应的行动选择策略与预先给定的最佳的行动选择策略之间的距离尺度，其中减小的距离尺度表示更高的评估尺度，并且其中所述预先给定的最佳的行动选择策略优选建立在神经网络(比如循环神经网络)的基础上； -奖励尺度，在执行所述相应的行动选择策略时在对于所述技术系统的模拟中产生所述奖励尺度，其中更高的奖励尺度引起更高的评估尺度，并且其中所述模拟优选建立在神经网络(比如循环神经网络)的基础上； -用于所述相应的行动选择策略的质量尺度，借助于行动选择策略-评估方法(英语:Policy Evaluat1n Method)来确定所述质量尺度，其中更高的质量尺度引起更高的评估尺度。上面所描述的奖励尺度根据所述技术系统的运行的、预先确定的最佳化准则来确定，其中鉴于所述最佳化准则更高的奖励尺度确定了对于所述技术系统的更好的控制或调节。在行动选择策略-评估方法的基础上确定质量尺度，这一点本身从现有技术中已知。特别地，已知不同种类的行动选择策略-评估方法。在一种优选的实施方式中，使用“合适策略评估方法(Fitted Policy Evaluat1n Method)，，(参见文献)。在步骤c)中确定所述行动选择策略之后，最后用该行动选择策略在步骤d)中对所述技术系统进行调节和/或控制。根据本专利技术的方法能够用具有较小的复杂性的行动选择策略来对技术系统进行调节或控制，另外所述行动选择策略通过确定合适的评估尺度保证所述技术系统的尽可能最佳的运行。由于降低了所述行动选择策略的复杂性，所述行动选择策略能够更为容易地被人所理解，从而更容易接受利用这种行动选择策略对所述技术系统进行的计算机辅助的控制或调节。在一种特别优选的实施方式中，相应地通过函数关系来表示所提供的或所产生的行动选择策略，所述函数关系至少基于所述技术系统在相应的时刻的状态提供有待在相应的时刻执行的行动。术语“函数关系”在此应该广义地来理解，并且可以包括每种任意类型的函数或函数组合或数学表达式。特别地，所述函数关系可以包括可调节的参数，其中通过对于相应的参数值的确定来定义行动选择策略。在根据本专利技术的方法中所使用的复杂性尺度可以通过不同的方式和方法来定义。不同的、用于确定复杂性尺度的方法在此从现有技术中已知(比如参见文献)。在一种特别优选的实施方式中，通过所述函数关系的描述长度来表示所述复杂性尺度，其中所述描述长度越小，根据所述复杂性尺度的复杂性就越小。所述描述长度在一种特别优选的实施方式中包括所述函数关系的二进制表示或者ASCII表示的长度和/或通过所述函数关系来表示的分析树中的节点的数目和/或所述函数关系的可调节的参数的数目。在此，所述函数关系的二进制表示或者ASCII表示的长度越小或者说所述分析树中的节点的数目越小或者说所述可调节的参数的数目越小，根据所述复杂性尺度的复杂性就越小。在此通过相应的二进制代码或ASCII码的长度来表示所述二进制表示或ASCII表示的长度。从函数关系中编制分析树，这一点本身从现有技术中为人所知并且因此不作详细解释。在根据本专利技术的方法的另一种变型方案中，在步骤b)中所提供的行动选择策略建立在专家知识的基础上。也就是说，由专家来预先给定所述行动选择策略。这些行动选择策略被保存在存储器中并且在所述方法的步骤b)中被读出。在根据本专利技术的方法的另一种特别优选的变型方案中，借助于基因编程和/或在粒子群优化的基础上实施所述步骤b)和C)。在这些方法中，逐步地产生新的行动选择策略，并且将其添加到总体中，其中又将具有较差的评估尺度的行动选择策略从所本文档来自技高网...
【技术保护点】
用于计算机辅助地控制和/或调节技术系统的方法，其中：a）就多个时刻而言所述技术系统的动态行为分别以所述技术系统的状态（x）和在所述技术系统上所执行的行动（a）为特征，其中在相应的时刻的相应的行动（a）引起所述技术系统在接下来的时刻的新的状态（x’）；b）提供和/或产生行动选择策略（PO），其中相应的行动选择策略（PO）至少根据所述技术系统在相应的时刻的状态指定在相应的时刻有待在所述技术系统上执行的行动（a），并且其中为每个行动选择策略（PO）分配了一个复杂性尺度（CM），所述复杂性尺度描述了相应的行动选择策略（PO）的复杂性，所述复杂性小于或者小于等于预先确定的复杂性阈值（CT）；c）借助对于评估尺度（EM）的计算从所提供的和/或所产生的行动选择策略（PO）中确定所提供的和/或所产生的行动选择策略（PO）的具有最高的评估尺度（EM）的行动选择策略（PO’），其中所述评估尺度相应地描述了行动选择策略（PO）用于对所述技术系统进行调节和/或控制的适宜性，其中更高的评估尺度（EM）描述了所述行动选择策略（PO）用于对所述技术系统进行调节和/或控制的更好的适宜性，并且其中相应的行动选择策略（PO）的评估尺度（EM）取决于‑所述相应的行动选择策略（PO）与预先给定的最佳的行动选择策略之间的距离尺度，其中减小的距离尺度表示更高的评估尺度（EM）；和/或‑奖励尺度，在执行所述相应的行动选择策略（PO）时在所述技术系统的模拟中产生所述奖励尺度，其中更高的奖励尺度引起更高的评估尺度；和/或‑用于所述相应的行动选择策略（PO）的质量尺度，借助于行动选择策略‑评估方法来确定所述质量尺度，其中更高的质量尺度引起更高的评估尺度（EM）；d）基于在步骤c）中所确定的行动选择策略（PO’）来调节和/或控制所述技术系统。...
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：S迪尔，A亨切尔，S尤德卢夫特，
申请(专利权)人：西门子公司，
类型：发明
国别省市：德国;DE
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。