使用网格表示和图形神经网络模拟物理环境制造技术

本说明书描述了一种模拟系统，该模拟系统使用图形神经网络执行物理环境的模拟。在时间步序列中的一个或多个时间步中的每个时间步处，系统可以使用图形神经网络处理在当前时间步处的物理环境的当前状态的表示，以生成在下一时间步处的物理环境的下一状态的预测。该系统的一些实施方式适用于硬件加速。除了执行模拟，该系统还可用于基于测量的真实世界数据来预测物理量。该系统的实施方式是可微分的并且也可用于设计优化和用于优化控制任务。也可用于设计优化和用于优化控制任务。也可用于设计优化和用于优化控制任务。

【技术实现步骤摘要】
【国外来华专利技术】使用网格表示和图形神经网络模拟物理环境
[0001]相关申请的交叉引用
[0002]本申请要求在2020年10月2日提交的“SIMULATING PHYSICAL ENVIRONMENTS USING GRAPH NEURAL NETWORKS(使用图形神经网络模拟物理环境)”的美国临时专利申请序列号63/086,964的申请日的权益，该申请的全部内容通过引用并入本文。

技术介绍

[0003]本说明书涉及使用机器学习模型处理数据。
[0004]机器学习模型接收输入并基于接收到的输入生成输出，例如预测输出。一些机器学习模型是参数模型，并基于接收到的输入和基于模型参数的值生成输出。
[0005]一些机器学习模型是深度模型，它们采用多层模型为接收到的输入生成输出。例如，深度神经网络是一种深度机器学习模型，它包括一个输出层和一个或多个隐藏层，每个隐藏层对接收到的输入应用非线性变换以生成输出。

技术实现思路

[0006]本说明书一般描述了一种模拟系统，该模拟系统在一个或多个位所的一个或多个计算机上实现为计算机程序，该系统使用图形神经网络执行物理环境的模拟。特别地，在时间步序列中的一个或多个时间步中的每一个，系统可以使用图形神经网络处理在当前时间步处的物理环境的当前状态的表示以生成在下一时间步处的物理环境的下一状态的预测。
[0007]由本说明书中描述的模拟系统生成的模拟(例如，其表征在时间步序列上的物理环境的预测状态)可用于多种目的中的任何一种。在一些情况下，可以将模拟的视觉表示生成为例如视频，并提供给模拟系统的用户。在一些情况下，可以处理模拟的表示以确定满足可行性准则，并且可以响应于满足可行性准则来构建物理装置或系统。例如，模拟系统可以生成飞机机翼上气流的空气动力学模拟，并且物理构造飞机机翼的可行性准则可以是飞机机翼上的力或应力不超过阈值。在一些情况下，与物理环境交互的代理(例如，强化学习代理)可以使用模拟系统来生成环境的一个或多个模拟，其模拟代理在环境中执行各种动作的效果。在这些情况下，作为确定是否在环境中执行某些动作的一部分，代理可以使用环境的模拟。
[0008]贯穿本说明书，实体的“嵌入”可以指代作为数值的有序集合(例如，数值的向量或矩阵)的实体的表示。可以将实体的嵌入生成为例如处理表征实体的数据的神经网络的输出。
[0009]根据第一方面，提供了一种由一个或多个数据处理装置执行的用于模拟物理环境的状态的方法，该方法包括对于多个时间步中的每一个：获取定义在当前时间步处的物理环境的状态的数据，其中，定义在当前时间步处的物理环境的状态的数据包括定义网格的数据，其中，网格包括多个网格节点和多个网格边，其中，每个网格节点与相应的网格节点特征相关联；生成在当前时间步处的物理环境的状态的表示，该表示包括表示图形的数据，该图形包括：多个节点，每个节点与相应的当前节点嵌入相关联；以及多个边，每个边与相
应的当前边嵌入相关联，其中，表示在当前时间步处的物理环境的状态的图形中的每个节点对应于相应的网格节点；在一个或多个更新迭代中的每一个处更新图形，包括在每个更新迭代处：使用图形神经网络处理定义图形的数据，以更新图形中每个节点的当前节点嵌入和图形图中每个边的当前边嵌入；在更新后，处理图形中每个节点的相应当前节点嵌入，以生成与图形中每个节点对应的相应动力学特征；以及基于以下确定在下一时间步处的物理环境的状态：(i)与图形中的节点对应的动力学特征，以及(ii)在当前时间步处的物理环境的状态。
[0010]在一些实施方式中，网格涵盖物理环境。
[0011]在一些实施方式中，网格表示物理环境中的一个或多个对象。
[0012]在一些实施方式中，对于多个网格节点中的每一个，与网格节点相关联的网格节点特征包括在当前时间步处的网格节点的状态，其中，在当前时间步处的网格节点的状态包括：位置坐标，位置坐标表示网格节点在当前时间步处的物理环境参考系中的位置。
[0013]在一些实施方式中，对于多个网格节点中的每一个，与在当前时间步处的网格节点相关联的网格节点特征进一步包括在环境中对应于在当前时间步处的网格节点的位置处的流体密度、流体粘度、压力或张力中的一个或多个。
[0014]在一些实施方式中，对于多个网格节点中的每一个，与网格节点相关联的网格节点特征还包括在一个或多个先前时间步中的每一个处的网格节点的相应状态。
[0015]在一些实施方式中，生成在当前时间步处的物理环境的状态的表示包括生成图形中的每个节点的相应的当前节点嵌入，包括对于图形中的每个节点：使用图形神经网络的节点嵌入子网络处理包括对应于图形中的节点的网格节点的特征的一个或多个的输入，以生成图形中的节点的当前节点嵌入。
[0016]在一些实施方式中，对于图形中的每个节点，对于节点嵌入子网络的输入还包括物理环境的一个或多个全局特征。在一些实施方式中，物理环境的全局特征包括施加到物理环境的力、物理环境的重力常数、物理环境的磁场或其组合。
[0017]在一些实施方式中，图形中的每个边连接图形中的相应的节点对，其中，图形包括多个网格空间边和多个世界空间边，其中，生成在当前时间步处的物理环境的状态的表示包括：对于由网格中的边连接的每个网格节点对，确定对应的图形节点对由图形中的网格空间边连接；以及对于在物理环境的参考系中具有相隔小于阈值距离的相应位置的每一个网格节点对，确定对应的图形节点对由图形中的世界空间边连接。
[0018]在一些实施方式中，生成在当前时间步处的物理环境的状态的表示包括生成图形中的每个边的相应的当前边嵌入，包括对于图形中的每个网格空间边：使用图形神经网络的网格空间边嵌入子网络处理输入以生成网格空间边的当前边嵌入，所述输入包括：与图形中的网格空间边连接的图形节点对应的网格节点的相应位置、表征与图形中的网格空间边连接的图形节点对应的网格节点的相应位置之间的差异的数据或其组合。
[0019]在一些实施方式中，该方法还包括：对于图形中的每个世界空间边：使用图形神经网络的世界空间边嵌入子网络处理输入以生成世界空间边的当前边嵌入，所述输入包括：与图形中的世界空间边连接的图形节点对应的网格节点的相应位置、表征与图形中的世界空间边连接的图形节点对应的网格节点的相应位置之间的差异的数据或其组合。
[0020]在一些实施方式中，在每个更新迭代处，使用图形神经网络处理定义图形的数据
以更新图形中每个节点的当前节点嵌入，包括对于图形中的每个节点：使用图形神经网络的节点更新子网络处理输入以生成节点的更新节点嵌入，所述输入包括：(i)节点的当前节点嵌入，以及(ii)连接到节点的每个边的相应当前边嵌入。
[0021]在一些实施方式中，在每个更新迭代处，使用图形神经网络处理定义图形的数据以更新图形中每个边的当前边嵌入，包括对于图形中的每个网格空间边：使用图形神经网络的网格空间边更新子网络处理输入以生成网格空间边的更新边嵌入，所述输入包括：(i)网格空间边的当前边嵌入，以及(ii)由网格空间边连接的每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由一个或多个数据处理装置执行的用于模拟物理环境的状态的方法，所述方法包括对于多个时间步中的每一个时间步：获取定义在当前时间步处的所述物理环境的所述状态的数据，其中，定义在当前时间步处的所述物理环境的所述状态的所述数据包括定义网格的数据，其中，所述网格包括多个网格节点和多个网格边，其中，每一个网格节点与相应的网格节点特征相关联；生成在当前时间步处的所述物理环境的所述状态的表示，所述表示包括表示图形的数据，所述图形包括多个节点和多个边，所述多个节点中的每一个节点与相应的当前节点嵌入相关联，所述多个边中的每一个边与相应的当前边嵌入相关联，其中，表示在当前时间步处的物理环境的所述状态的所述图形中的每一个节点与相应的网格节点相对应；在一个或多个更新迭代中的每一个更新迭代处更新所述图形，包括在每一个更新迭代处：使用图形神经网络处理定义所述图形的数据，以更新所述图形中每一个节点的当前节点嵌入和所述图形图中每一个边的当前边嵌入；在所述更新后，处理所述图形中每一个节点的相应的当前节点嵌入，以生成与所述图形中每一个节点相对应的相应的动力学特征；以及基于(i)与所述图形中的节点相对应的所述动力学特征、以及(ii)在当前时间步处的所述物理环境的所述状态，确定在下一时间步处的所述物理环境的状态。2.根据权利要求1所述的方法，其中，所述网格涵盖所述物理环境。3.根据权利要求1所述的方法，其中，所述网格表示所述物理环境中的一个或多个对象。4.根据权利要求1
‑
3中任一项所述的方法，其中，对于所述多个网格节点中的每一个网格节点，与该网格节点相关联的所述网格节点特征包括在当前时间步处的该网格节点的状态，其中，在当前时间步处的该网格节点的状态包括：位置坐标，所述位置坐标表示该网格节点在当前时间步处在所述物理环境的参考系中的位置。5.根据权利要求4所述的方法，其中，对于所述多个网格节点中的每一个网格节点，与在当前时间步处的该网格节点相关联的所述网格节点特征进一步包括以下一项或多项：在所述环境中与在当前时间步处的该网格节点相对应的位置处的流体密度、流体粘度、压力或张力。6.根据权利要求4
‑
5中任一项所述的方法，其中，对于所述多个网格节点中的每一个网格节点，与该网格节点相关联的所述网格节点特征还包括在一个或多个先前时间步中的每一个处的该网格节点的相应状态。7.根据权利要求1
‑
6中任一项所述的方法，其中，生成在当前时间步处的所述物理环境的所述状态的所述表示包括生成所述图形中的每一个节点的相应的当前节点嵌入，包括对于所述图形中的每一个节点：使用所述图形神经网络的节点嵌入子网络处理输入以生成所述图形中的该节点的当前节点嵌入，所述输入包括与所述图形中的该节点相对应的网格节点的所述特征中的一个或多个。8.根据权利要求7所述的方法，其中，对于所述图形中的每一个节点，对所述节点嵌入
子网络的所述输入还包括所述物理环境的一个或多个全局特征。9.根据权利要求8所述的方法，其中，所述物理环境的所述全局特征包括施加到所述物理环境的力、所述物理环境的重力常数、所述物理环境的磁场或其组合。10.根据权利要求1
‑
9中任一项所述的方法，其中，所述图形中的每一个边连接所述图形中的相应的节点对，其中，所述图形包括多个网格空间边和多个世界空间边，其中，生成在当前时间步处的所述物理环境的所述状态的所述表示包括：对于由所述网格中的边连接的每一个网格节点对，确定对应的图形节点对由所述图形中的网格空间边连接；以及对于在所述物理环境的参考系中具有相隔小于阈值距离的相应位置的每一个网格节点对，确定对应的图形节点对由所述图形中的世界空间边连接。11.根据权利要求10所述的方法，其中，生成在当前时间步处的所述物理环境的所述状态的所述表示包括生成所述图形中的每一个边的相应的当前边嵌入，包括对于所述图形中的每一个网格空间边：使用所述图形神经网络的网格空间边嵌入子网络处理输入以生成该网格空间边的当前边嵌入，所述输入包括：与所述图形中的该网格空间边所连接的图形节点相对应的网格节点的相应位置、表征与所述图形中的该网格空间边所连接的图形节点相对应的网格节点的相应位置之间的差异的数据或其组合。12.根据权利要求10
‑
11中任一项所述的方法，还包括对于所述图形中的每一个世界空间边：使用所述图形神经网络的世界空间边嵌入子网络处理输入以生成该世界空间边的当前边嵌入，所述输入包括：与所述图形中的该世界空间边所连接的图形节点相对应的网格节点的相应位置、表征与所述图形中的该世界空间边所连接的图形节点相对应的网格节点的相应位置之间的差异的数据或其组合。13.根据权利要求1
‑
12中任一项所述的方法，其中，在每一个更新迭代处使用所述图形神经网络处理定义所述图形的数据以更新所述图形中每一个节点的当前节点嵌入包括，对于所述图形中的每一个节点：使用所述图形神经网络的节点更新子网络处理输入以生成该节点的更新节点嵌入，所述输入包括：(i)该节点的当前节点嵌入，以及(ii)连接到该节点的每一个边的相应的当前边嵌入。14.根据权利要求10
‑
13中任一项所述的方法，其中，在每一个更新迭代处使用所述图形神经网络处理定义所述图形的数据以更新所述图形中每一个边的当前边嵌入包括，对于所述图形中的每一个网格空间边：使用所述图形神经网络的网格空间边更新子网络处理输入以生成该网格空间边的更新边嵌入，所述输入包括：(i)该网格空间边的当前边嵌入，以及(ii)由该网格空间边连接的每一个节点的相应的当前节点嵌入。15.根据权利要求10
‑
14中任一项所述的方法，其中，在每一个更新迭代处使用所述图形神经网络处理定义所述图形的数据以更新所述图形中每一个边的当前边嵌入包括，对于所述图形中的每一个世界空间边：使用所述图形神经网络的世界空间边更新子网络处理输入以生成该世界空间边的更
新边嵌入，所述输入包括：(i)该世界空间边的当前边嵌入，以及(ii)由该世界空间边连接的每一个节点的相应的当前节点嵌入。16.根据权利要求1
‑
14中任一项所述的方法，其中，处理所述图形中每一个节点的相应的当前节点嵌入以生成与所述图形中每一个节点相对应的相应的动力学特征包括，对于每一个图形节点：使用所述图形神经网络的解码器子网络处理该图形节点的当前节点嵌入，以生成该图形节点的相应的动力学特征，其中，所述动力学特征表征与该图形节点相对应的网格节...

【专利技术属性】
技术研发人员：托比亚斯，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：