估计控制数据的可靠性制造技术

提供了估计控制数据的可靠性。本发明专利技术涉及一种估计与环境交互的计算机控制系统的控制数据的可靠性的计算机实现的方法（600）。控制数据是由在训练数据集上训练的机器可学习控制模型从模型输入中推断出来的。模型输入包括至少一个方向向量，所述方向向量从传感器数据提取并且与计算机控制系统的部件或环境中的对象相关联。通过将生成模型的逆应用于模型输入以确定根据生成模型生成的模型输入的似然性，使用被训练以生成表示训练数据集的合成模型输入的生成模型来估计可靠性。生成模型包括耦合层，该耦合层包括圆变换以及无条件旋转和有条件旋转中的一个或多个。有条件旋转中的一个或多个。有条件旋转中的一个或多个。

【技术实现步骤摘要】
估计控制数据的可靠性


[0001]本专利技术涉及一种估计与环境交互的计算机控制系统的控制数据的可靠性的计算机实现的方法，以及对应的系统。本专利技术进一步涉及一种生成合成方向数据实例的计算机实现的方法，以及对应的系统。本专利技术进一步涉及一种计算机可读介质。

技术介绍

[0002]机器人（以及更一般地为计算机控制系统）越来越多地被自动训练来学习新技能或使其行为适应未见条件。由于机器人与其环境的现实世界交互通常成本高（并且如果附近存在人类，甚至可能危险），因此以安全、快速和数据高效的方式执行此类训练是重要的。
[0003]在N. Jaquier等人的“Bayesian Optimization Meets Riemannian Manifolds in Robot Learning”（在https：//arxiv.org/abs/1910.04998可获得，并且通过引用并入本文）中提供了一种用于训练机器人的技术。该技术是几何感知的，利用了表示机器人和/或与其交互的环境的参数通常不是不受限制的独立数值但取而代之具有几何意义的事实。例如，描述机器人的参数可以包括例如机器人臂的相应连杆的一个或多个取向或方向。取向和方向是可以表示为（单位）球面上的点的方向向量的示例，例如，对于取向是4维空间中的球面，或者对于方向是3D中的球面。除了在计算机控制的系统中表示取向或方向之外，方向向量还具有如本文描述的各种其他技术用途，例如在计算生物学中。
[0004]当在实践中部署训练的计算机控制系统时，主要的挑战之一是很好地处理意外情形。通常难以收集到表示实践中可能遇到的全部操作条件集的训练集。因此，当部署时，系统可能陷入它在训练期间没有遇到的情形。由于缺乏训练示例，因此存在机器人执行有害的动作的危险；例如，对机器人本身、对它与之交互的环境（例如，在制造机器人的情况下，其可以包括被制造的对象）、或者机器人附近的人有害。一般地，处理训练和使用之间的此类差异的一种方式是通过执行异常检测。使用异常检测，机器人可以检测到它处于与机器人原始在其上被训练的数据集不一致的状态。因此，在该情形下，经训练模型的可靠性可能预期是低的。基于这样的检测，机器人可以例如停止，其操作可以切换到安全模式，或者可以发起人类干预。

技术实现思路

[0005]本专利技术的目的是要提供用于估计由机器可学习控制模型推断的控制数据的可靠性的技术，该技术为从方向向量推断的控制数据提供更准确的结果，该方向向量例如表示相关对象的位置或取向。使用这样的可靠性估计，计算机控制的系统可以被更可靠地控制。本专利技术的另一个目的是要提供用于生成表示训练数据集的合成数据的技术，该技术为包括方向向量的数据（例如，为至机器可学习控制模型的模型输入）提供更准确的结果。本专利技术的另一个目的是要提供可以既高效又准确地用于估计可靠性以及用于生成合成数据二者的模型。具体而言，目的是要提供一种准确的模型，该模型是可并行的，并且因此可以针对例如多核处理器或其他并行执行环境进行评估。
[0006]根据本专利技术的第一方面，分别如权利要求1和13限定的，描述了一种用于估计控制数据的可靠性的计算机实现的方法和对应的系统。根据本专利技术的另一方面，分别如权利要求9和14限定的，描述了一种用于生成合成方向数据实例的计算机实现的方法和对应的系统。根据本专利技术的另外方面，如权利要求15限定的，描述了一种计算机可读介质。实施例在从属权利要求中限定。
[0007]各个方面涉及方向数据实例，例如，用作至控制模型的模型输入。这样的方向数据实例可以包括与物理对象相关联的至少一个方向向量。方向向量可以表示物理对象的特性或特性组合，其可以表示为方向，例如超球面上的点。例如，方向向量可以表示对象的方向（例如，移动方向）或取向。这里，术语“取向”在物理意义上使用，例如，作为将对象从参考放置移动到其当前位置所需的假想旋转（与可选的假想平移相组合）。
[0008]例如，物理对象可以是机器人臂，在该情况下，方向数据实例可以包括表示机器人臂的相应连杆的取向的一个或多个方向向量和/或表示相应连杆的移动方向的方向向量。更一般地，物理对象可以是计算机控制系统的部件或系统与之交互的环境中的对象，例如，方向数据实例可以包括表示用于路径导航任务的环境中的（一个或多个）方向的方向向量。作为另一个示例，物理对象可以是蛋白质或其他生物结构，其中方向数据实例表示生物结构（例如，蛋白质的骨架）的相应成分的相应取向或方向。方向数据实例可以例如包括一个或多个方向和/或一个或多个取向，和/或其他方向向量，例如至多或至少五个、至多或至少十个或者至多或至少二十个方向向量。
[0009]除了表示与物理对象相关联的方向之外，方向数据实例（例如，至控制模型的模型输入）通常还表示关于物理对象的附加信息。例如，方向向量本身不仅可以表示方向，而且还可以表示量值，例如移动速度。然而，在其他实施例中，方向向量排他式地用于表示方向，而不是量值。在任何情况下，方向数据实例在许多情况下包括除（一个或多个）方向向量之外的附加数据。例如，方向数据实例可以表示机器人或其他计算机控制系统的状态。除了（一个或多个）方向向量之外，这样的状态可以包括表示系统或与其交互的对象的力、扭矩、刚度、惯性、可操纵性和姿态中的一个或多个的数据。一般地，（一个或多个）方向向量和/或包括在方向向量中的其他数据可以从表示方向数据实例所涉及的（一个或多个）物理对象的传感器数据中提取。
[0010]在各个方面中，为了估计用于这样的方向数据的机器可学习控制模型的可靠性，利用生成模型。一般地，生成模型可以被训练以生成表示数据集的方向数据实例。数据集可以包括例如从表示对应于方向向量的（一个或多个）物理对象的传感器数据中提取的如上所述的多个方向数据实例。
[0011]在一些方面中，给定方向数据实例，生成模型用于确定根据生成模型生成该方向数据的似然性。组合在相同数据集上训练的控制模型，似然性可以指示方向数据实例与该数据集的一致性，并且因此可以提供控制模型将从该方向数据实例推断的控制数据的可靠性的估计。在其他方面中，生成模型用于生成表示数据集的合成方向数据实例。在这两种情况下，生成模型生成更能表示数据集的方向数据实例是有益的，例如，生成模型学习在更能表示训练数据集的方向数据实例之上的概率分布是有益的。
[0012]一般地，生成模型可以通过应用一个或多个训练层从潜在特征向量生成方向数据实例。层可以根据在训练生成模型时训练的参数集合，例如确定性地或随机地将输入向量
变换成输出向量。层也称为变换或映射。通过组成层来构建生成模型，并通过对数似然性优化来训练此类模型，这本身例如从D. Rezende等人的“Variational Inference with Normalizing Flows”（可https：//arxiv.org/abs/1505.05770在获得，并通过引用并入本文）以及从D. Nielsen等人的“SurVAE Flows： Surjections to Bridge the Gap between VAEs and本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种估计与环境交互的计算机控制系统的控制数据的可靠性的计算机实现的方法（600），其中控制数据是由在训练数据集上训练的机器可学习控制模型从模型输入中推断出来的，所述方法包括：
‑
访问（610）表示生成模型的模型数据，其中生成模型被训练以生成表示控制模型的训练数据集的合成模型输入，
‑
获得（620）模型输入，其中模型输入包括至少一个方向向量，所述方向向量从传感器数据提取并且与计算机控制系统的部件或环境中的对象相关联；
‑
将生成模型的逆应用（630）于模型输入，以确定根据生成模型生成的模型输入的似然性，以及基于所述似然性确定（640）机器可学习模型的控制数据的可靠性度量，
‑
其中生成模型包括将输入方向向量变换成输出方向向量的耦合层，所述耦合层包括圆变换（636）以及无条件旋转（632）和有条件旋转（634）中的一个或多个，其中：
‑
圆变换将表示圆上的点的笛卡尔坐标对变换到圆上的另外点，其中基于生成模型的参数和/或另外的笛卡尔坐标来定义圆变换；
‑
无条件旋转根据生成模型的参数旋转方向向量；
‑
有条件旋转基于笛卡尔坐标的第二集合旋转笛卡尔坐标的第一集合。2.根据权利要求1所述的方法（600），其中所述圆变换包括将笛卡尔坐标对映射到角度；将圆微分同胚应用于角度；以及将角度映射到笛卡尔坐标。3.根据权利要求2所述的方法（600），包括通过将经训练参数模型应用于圆的大小和没有应用圆变换的笛卡尔坐标来确定圆微分同胚的参数。4.根据任一前述权利要求所述的方法（600），其中所述无条件旋转和/或所述有条件旋转各自包括多个Householder反射。5.根据任一前述权利要求所述的方法（600），其中方向向量对应于表示部件或对象的取向的单位四元数，并且其中输出方向向量对应于一个或多个单位四元数。6.根据任一前述权利要求所述的方法（600），进一步包括，至少如果所述可靠性度量指示足够的可靠性，则将控制模型应用于模型输入，并使用由控制模型推断的控制数据来控制所述计算机控制的系统。7.根据权利要求6所述的方法（600），其中方向向量表示机器人臂的连杆的取向，所述控制数据用于控制机器人臂。8.根据权利要求1至5中任一项所述的方法（600），包括通过从训练数据集获得模型输入并最大化所确定的似然性来训练生成模型。9.一种根据生成模型生成合成方向数据实例的计算机实现的方法（700），所述合成方向数据实例包括与物理对象相关联的至少一个方向向量，所述方法包括：
‑
访问（710）表示生成模型的模型数据，其中生成模型被训练以生成表示训练数据集的合成方向数据实例；
‑
应用（730）生成模型来生成合成方向数据实例，并输出（740）生成的合成方向数据实例，
‑
其中生成模型包括将输入方向向量变换成输出方向向量的耦合层，所述耦合层包括圆变换（736）以及无条件旋转（732）和有条件旋转（734）中的一个或多个，其中：
‑
圆变换将表示圆上的点的笛卡尔坐标对变换到圆上的另外点，其中基于生成模型的
参数和/或另外的笛卡尔坐标来定义圆变换；
‑
无条件旋转根据生成模型的参数旋转方向向量；
‑
有条件旋转基于笛卡尔坐标的第二集合旋转笛卡尔坐标的第一集合。10.根据权利要求9所述的方法（70...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：罗伯特，
类型：发明
国别省市：