借助于变换器网络将数据集压缩为函数项制造技术

本发明专利技术涉及将数据集压缩为函数项的方法，该数据集将大量输入变量向量分别分配给输出变量值，具有步骤：用构造为变换器网络的神经网络对来自给定字母表A的一个或多个基本函数表达式采样；将基本函数表达式组合为一个或多个候选函数项；只要一个或多个候选函数项完整，就基于每个候选函数项将输入变量分别映射为所属的候选输出变量值；用预给定度量评估候选输出变量值和数据集中与候选输出变量值对应的输出变量值之间的偏差；检查是否满足预给定的终止条件，如果不满足，更新表征变换器网络的行为的参数且返回以使用变换器网络对基本函数表达式采样；如果满足，将具有最佳评估的候选函数项确定为所寻找的函数项，该数据集被压缩为该函数项。被压缩为该函数项。被压缩为该函数项。

【技术实现步骤摘要】
借助于变换器网络将数据集压缩为函数项


[0001]本专利技术涉及将特别是测量数据的输入变量向量分别分配给输出变量值的数据集压缩成函数项，所述函数项对输入变量和输出变量之间的包含在数据集中的关系进行建模。

技术介绍

[0002]在许多应用中，都会出现一个问题，即技术系统的预给定输出变量以何种方式取决于预给定的输入变量集。从而例如对于发动机而言期望说明扭矩在多大程度上取决于角速度、负载、滑动和其他参数。对于简单的应用存在分析模型。在没有分析模型的更复杂应用中，可以使用测量技术在数据集中检测输入变量和输出变量。然后存在多种可能性将该数据集压缩为有意义的描述。例如，参数化模型可以通过优化其参数来拟合该数据集。然而，也可以例如使用符号回归来寻找数学函数空间，以找到正确描述输入变量和输出变量之间关系的函数。

技术实现思路

[0003]在本专利技术的范围内开发了一种用于将数据集压缩为函数项的方法，所述数据集将大量输入变量向量X
i
，i＝1，...，N分别分配给输出变量值y
i
。函数项的这种确定也称为符号回归。下面，术语“压缩”和“符号回归”作为同义词使用。
[0004]在这种方法中，使用构造为变换器网络的神经网络对来自给定字母表A的一个或多个基本函数表达式进行采样。将这些基本函数表达式组合为一个或多个候选函数项。
[0005]变换器网络特别是例如理解为一种神经网络，其中在至少一层中定义或至少允许所有输入变量之间的相互依赖性。将这种层称为“注意力层”。由此特别是例如将变换器网络与卷积网络（Convolutional Network）区分开来，在所述卷积网络中通过应用滤波器核优选地使具有空间和/或时间邻近关系的那些输入变量彼此结算。
[0006]函数表达式的采样特别是例如理解为，变换器网络为字母A中的各个基本函数表达式产生概率分布，然后从该概率分布中对基本函数表达式进行采样（绘制）。特别地，所述概率分布可以是其中所有基本函数项的概率加起来为1的softmax分布。
[0007]检查一个或多个候选函数项是否完整。函数项特别是在可以通过为其输入变量使用具体值来评估该函数项并且然后将这些值分配给输出变量值时是完整的。
[0008]响应于一个或多个候选函数项尚不完整，返回以对另外的基本函数表达式采样。因此，一直对另外的基本函数表达式采样，直到一个或多个候选函数项完整为止。例如，可以首先仅对一个算术运算（例如“+”）进行采样。然后在函数项完整并且可以得到评估之前，还必须通过另外的采样来开发两个被加数。
[0009]响应于一个或多个候选函数项4完整，基于每个候选函数项将输入变量X
i
分别映射为相关联的候选输出变量值y
i
*。使用预给定度量评估候选输出变量值y
i
*和来自所述数据集的与所述候选输出变量值对应的输出变量值y
i
之间的偏差。
[0010]检查是否满足预给定的终止条件。如果不是这种情况，则更新表征变换器网络行为的参数θ，目标是在重新对函数表达式进行采样并将这些表达式组合为一个或多个完整的候选函数项时获得的评估预计得到改善。此外，然后返回以使用变换器网络对基本函数表达式进行采样。
[0011]参数θ的更新可以例如通过变换器网络中的反向传播以任何形式或者例如通过强化学习进行。
[0012]在重新对基本函数表达式进行采样时，最常见的情况是在此重新开始开发另外的候选函数项，即不考虑已经产生的候选函数项。然而，可选地，可以附加地将至少一个候选函数项的一个或多个基本函数表达式及其在该候选函数项中的位置输送给变换器网络。因此，变换器网络可以建立在先前经验之上，其方式是例如修改或补充已经使用的候选函数项。然而，变换器网络并不依赖于此，并且它还可以产生全新的候选函数项，即使向该变换器网络输送这种先前经验，对于所述全新的候选函数项无法识别出与迄今为止的候选函数项的关联。
[0013]相反，如果满足预给定的终止条件，则将具有最佳评估的候选函数项确定为所寻找的函数项，数据集被压缩为该函数项。所述终止条件可以特别是例如包括阈值或用于评估候选函数项的其他标准。
[0014]已经认识到，正是变换器网络中存在的注意力层特别使这种网络能够开发候选功能项。注意力层使得可以随时访问完整的候选函数项。
[0015]候选函数项特别是可以被表示为例如表达式树。在这种表达式树中，一方面运算符或函数形成节点，另一方面操作数形成节点。操作数特别是可以包括在评估候选函数项时被输入变量值占据的变量以及常数。属于运算符或函数的节点将属于由该运算符或该函数处理的操作数的那些节点作为子节点。这种表达式树的开发例如可以首先基本上朝着向深度的方向进展，然后该开发停止并且在表达式树中明显位于更高的其他点处再次开始。为此正好需要变换器网络中的注意力层所提供的基本上随机的访问。与此相比，例如原则上也可用于寻找函数项的长短期记忆LSTM与其对基本函数表达式进行采样所采取的顺序更紧密地关联。因此，例如如果表达式树首先朝着深度继续，则以后将继续所述开发的其他点可能已经从在先前采样的基本函数表达式处由LSTM保持的时间范围中消失了。
[0016]在特别有利的设计中，向来自字母表的基本函数表达式以及它们在候选函数项中的位置分别分配数字代码。将至少一个候选函数项转换为由这些数字代码形成的代表。该代表在采样期间被输送给变换器网络，以便能够逐步开发所述候选函数项。通过这种方式，使得变换器网络也能够在语义上正确解释非常深的树结构，并且分别理解哪个公式元素在树中的哪个点实现了哪个函数。例如，涉及基本函数表达式的数字代码可以通过与涉及候选函数项中的位置的数字代码相加或连接来组合。涉及基本函数表达式的数字代码可以在组合之前加以预处理，特别是例如通过嵌入层。利用这样的嵌入层，特别是例如可以将数字代码映射到（嵌入）具有预给定维度的向量空间中。涉及候选函数项中位置的数字代码也可以在与基本函数表达式的数字代码组合之前通过位置编码加以预处理。根据该位置编码，数字代码特别是可以例如对相应基本函数表达式在表达式树中的位置进行编码。
[0017]因此，所述数字代码特别有利地说明所述基本函数表达式在所述语义表达式树中的位置。
[0018]存在在所述语义表达式树中分配数字代码的多种可能性。特别有利地，也向树中的未占用位置分配数字代码。这特别是例如意味着，首先将树开发到预给定的最大可能深度，其中在从一个级别变化到下一个级别时每个节点都分支为预给定数量的子节点。然后例如当一个节点在下一个更深级别上具有两个或更多个子节点，但被仅预期唯一自变量的函数（例如正弦或余弦）占用时，位置可以保持未占用，因为每个节点的数字代码仅取决于该节点在树中的位置，而不例如取决于树的其他内容。
[0019]相反，如果节点是连续编号的，则只需预给定候选函数项的最大长度，而无需预给定树的最大深度。作为回报，变换器网络更难以理解树结构。
[0020]在另一有利的设计中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于将数据集（2）压缩为函数项（4*）的方法（100），所述数据集将大量输入变量向量X
i
，i＝1，...，N分别分配给输出变量值y
i
，所述方法具有以下步骤：
•
使用构造为变换器网络的神经网络（1）对来自给定字母表A的一个或多个基本函数表达式（3a
‑
3d）进行采样（110）；
•
将所述基本函数表达式（3a
‑
3d）组合（120）为一个或多个候选函数项（4）；
•
检查（125）所述一个或多个候选函数项（4）是否完整；
•
响应于所述一个或多个候选函数项（4）尚不完整，返回（126）以对另外的基本函数表达式采样（110）；
•
响应于所述一个或多个候选函数项（4）完整，基于每个候选函数项（4）将输入变量X
i
分别映射（13）为相关联的候选输出变量值y
i
*；
•
使用预给定度量（5）评估（140）候选输出变量值y
i
*和来自所述数据集（2）的与所述候选输出变量值对应的输出变量值y
i
之间的偏差；
•
检查是否满足预给定的终止条件（180），并且响应于不满足所述终止条件（180），o更新（150）表征所述变换器网络（1）的行为的参数θ，目标是在重新对函数表达式（3a
‑
3d）进行采样并将这些表达式组合为一个或多个完整的候选函数项（4）时获得的评估（5a）预计得到改善；以及o返回（160）以使用所述变换器网络（1）对基本函数表达式（3a
‑
3d）进行采样（110）；以及
•
响应于满足所述预给定的终止条件，将具有最佳评估（5a）的候选函数项（4）确定（190）为所寻找的函数项（4*），所述数据集（2）被压缩为该函数项。2. 根据权利要求1所述的方法，其中，附加地将至少一个候选函数项（4）的一个或多个基本函数表达式（3a
‑
3d）及其在该候选函数项（4）中的位置（3a#
‑
3d#）输送（170）给所述变换器网络（1）。3.根据权利要求1至2中任一项所述的方法（100），其中
•
向来自字母表A的基本函数表达式（3a
‑
3d）及其在候选函数项（4）中的位置（3a#
‑
3d#）分别分配（112）数字代码（6a
‑
6d；7a
‑
7d），
·
将至少一个候选函数项（4）转换（113）为由所述数字代码（6a
‑
6d；7a
‑
7d）形成的代表（8）；以及
•
将所述代表（8）输送（114）给所述变换器网络（1）。4. 根据权利要求3所述的方法（100），其中，基本函数表达式（3a
‑
3d）在候选函数项（4）中的位置（3a#
‑
3d#）的数字代码（7a
‑
...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：罗伯特，
类型：发明
国别省市：