使用去噪目标训练示图神经网络制造技术

用于训练包括一个或多个示图神经网络层的神经网络的方法

【技术实现步骤摘要】
【国外来华专利技术】使用去噪目标训练示图神经网络
[0001]相关申请的交叉引用
[0002]本申请要求“TRAINING GRAPH NEURAL NETWORKS USING ADE
‑
NOISING OBJECTIVE(
使用去噪目标训练示图神经网络
)”的美国临时专利申请序列号
63/194,851
的提交日期的权益，该申请于
2021
年5月
28
日提交并且通过引用全部并入本文
。

技术介绍

[0003]本说明书涉及使用机器学习模型处理数据
。
[0004]机器学习模型接收输入并且基于接收到的输入生成输出，例如预测输出
。
一些机器学习模型是参数模型，并且基于接收到的输入和模型的参数的值来生成输出
。
[0005]一些机器学习模型是采用多层模型来为接收到的输入生成输出的深度模型
。
例如，深度神经网络是包括输出层和一个或多个隐藏层的深度机器学习模型，每个隐藏层对接收到的输入应用非线性变换以生成输出
。

技术实现思路

[0006]本说明书大体上描述了一种训练系统，该训练系统在一个或多个地点中的一个或多个计算机上被实施为训练包括一个或多个示图神经网络层的神经网络的计算机程序
。
[0007]如贯穿本说明书使用的，“示图”(graph)
是指至少包括以下的数据结构：
(i)
节点集合，以及
(ii)
边缘集合<br/>。
示图中的每个边缘可以连接示图中的相应节点对
。
示图可以是“有向”示图，即，使得连接一对节点的每个边缘被定义为从第一节点指向第二节点，或者反之亦然，或者可以是“无向”示图，即，使得边缘
(
或者反向边缘对
)
与方向不关联
。
[0008]通常，定义示图的数据可以包括定义示图的节点和边缘的数据，并且可以用任何适当的数字格式表示
。
例如，示图可以由包括元组列表
{(i,j)}
的数据定义，其中每个元组
(i,j)
表示连接节点
i
和节点
j
的示图中的边缘
。
而且，示图中的每个边缘可以与一个或多个边缘特征的集合相关联，并且示图中的每个节点可以与一个或多个节点特征的集合相关联
。
[0009]在一个方面中，描述了一种用于训练包括一个或多个示图神经网络层的神经网络的方法
。
该方法包括生成定义示图的数据，该示图包括：
(i)
节点集合，
(ii)
每个节点的节点嵌入，以及
(iii)
各自连接相应节点对的边缘集合
。
在实施方式中，这包括获得每个节点的相应的初始特征表示，并且为每个节点生成相应的最终特征表示，其中，针对一个或多个节点中的每个节点，相应的最终特征表示是使用相应噪声从节点的相应特征表示生成的修改特征表示，并且使用节点的相应的最终特征表示来生成定义示图的数据
。
在实施方式中，每个节点的节点嵌入是从节点的相应的最终特征表示生成的
。
[0010]该方法使用神经网络的示图神经网络层中的一个或多个来处理定义示图的数据，以生成每个节点的相应的更新节点嵌入
。
针对具有修改特征表示的一个或多个节点中的每个节点，该方法处理节点的更新节点嵌入，以为节点生成相应去噪预测，该相应去噪预测表征节点的去噪特征表示，该去噪特征表示不包括用于生成节点的修改特征表示的噪声
。
该
方法确定对神经网络的神经网络参数的当前值的更新，以优化目标函数，该目标函数测量节点的去噪预测中的误差，具体地优化节点的相应去噪预测
。
[0011]在一些实施方式中，针对具有修改特征表示的一个或多个节点中的每个节点，节点的相应去噪预测预测用于生成节点的修改特征表示的噪声
。
[0012]在一些实施方式中，针对具有修改特征表示的一个或多个节点中的每个节点，节点的相应去噪预测预测节点的相应初始特征表示
。
[0013]在一些实施方式中，针对具有修改特征表示的一个或多个节点中的每个节点，节点的相应去噪预测表征节点的目标特征表示
。
[0014]在一些实施方式中，针对具有修改特征表示的一个或多个节点中的每个节点，节点的相应去噪预测预测节点的增量特征表示，如果该增量特征表示被添加到节点的修改特征表示，则产生节点的目标特征表示
。
[0015]在一些实施方式中，该方法进一步包括：处理节点的更新节点嵌入以生成任务预测，其中，目标函数还测量任务预测中的误差
。
[0016]在一些实施方式中，以下两者：
(i)
节点的更新节点嵌入，以及
(ii)
在使用示图神经网络层来被更新之前的节点的原始节点嵌入，都被处理以生成任务预测
。
[0017]在一些实施方式中，示图表示分子，并且任务预测是对分子的平衡能量的预测
。
[0018]在一些实施方式中，针对神经网络的多个示图神经网络层中的每个示图神经网络层，目标函数测量节点的去噪预测中的相应误差，所述去噪预测基于由示图神经网络层生成的更新节点嵌入
。
[0019]在一些实施方式中，针对具有修改特征表示的一个或多个节点中的每个节点，处理节点的更新节点嵌入以为节点生成相应去噪预测包括：使用一个或多个神经网络层来处理节点的更新节点嵌入，以为节点生成相应去噪预测
。
[0020]在一些实施方式中，确定对神经网络的神经网络参数的当前值的更新以优化目标函数包括：通过示图神经网络层的神经网络参数反向传播目标函数的梯度
。
[0021]在一些实施方式中，针对一个或多个节点中的每个节点，节点的相应的最终特征表示是通过将相应噪声添加到节点的相应特征表示而生成的
。
[0022]在一些实施方式中，使用节点的相应的最终特征表示来生成定义示图的数据包括：针对包括第一节点和第二节点的每对节点，确定第一节点的最终特征表示和第二节点的最终特征表示之间的相应距离；以及确定与小于预定义阈值的距离相对应的每对节点由示图中的边缘连接
。
[0023]在一些实施方式中，该示图进一步包括每个边缘的相应边缘嵌入
。
[0024]在一些实施方式中，生成定义示图的数据包括：至少部分地基于由边缘连接的节点的相应的最终特征表示之间的差异来为示图中的每个边缘生成边缘嵌入
。
[0025]在一些实施方式中，示图表示分子，该示图中的每个节点表示分子中的相应原子，并且生成定义示图的数据包括：基于由节点表示的原子类型来为每个节点生成节点嵌入
。
[0026]在一些实施方式中，神经网络包括至少<本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种用于训练包括一个或多个示图神经网络层的神经网络的方法，所述方法包括：生成定义示图的数据，所述示图包括：
(i)
节点集合，
(ii)
每个节点的节点嵌入，以及
(iii)
各自连接相应节点对的边缘集合，包括：获得每个节点的相应初始特征表示；为每个节点生成相应的最终特征表示，其中，针对所述节点中的一个或多个中的每个节点，所述相应的最终特征表示是使用相应噪声从所述节点的所述相应特征表示生成的修改特征表示；以及使用所述节点的所述相应的最终特征表示来生成定义所述示图的所述数据；使用所述神经网络的所述示图神经网络层中的一个或多个来处理定义所述示图的所述数据，以生成每个节点的相应的更新节点嵌入；针对具有修改特征表示的所述节点中的一个或多个中的每个节点，处理所述节点的所述更新节点嵌入，以为所述节点生成相应去噪预测，所述相应去噪预测表征所述节点的去噪特征表示，所述去噪特征表示不包括用于生成所述节点的所述修改特征表示的所述噪声；以及确定对所述神经网络的神经网络参数的当前值的更新，以优化目标函数，所述目标函数测量所述节点的所述去噪预测中的误差
。2.
根据权利要求1所述的方法，其中，针对具有修改特征表示的所述节点中的一个或多个中的每个节点，所述节点的所述相应去噪预测预测用于生成所述节点的所述修改特征表示的所述噪声
。3.
根据权利要求1所述的方法，其中，针对具有修改特征表示的所述节点中的一个或多个中的每个节点，所述节点的所述相应去噪预测预测所述节点的所述相应初始特征表示
。4.
根据权利要求1所述的方法，其中，针对具有修改特征表示的所述节点中的一个或多个中的每个节点，所述节点的所述相应去噪预测表征所述节点的目标特征表示
。5.
根据权利要求4所述的方法，其中，针对具有修改特征表示的所述节点中的一个或多个中的每个节点，所述节点的所述相应去噪预测预测所述节点的增量特征表示，如果所述增量特征表示被添加到所述节点的所述修改特征表示，则产生所述节点的所述目标特征表示
。6.
根据任一前述权利要求所述的方法，进一步包括：处理所述节点的所述更新节点嵌入以生成任务预测，其中，所述目标函数还测量所述任务预测中的误差
。7.
根据权利要求6所述的方法，其中以下两者：
(i)
所述节点的所述更新节点嵌入，以及
(ii)
在使用所述示图神经网络层来被更新之前的所述节点的原始节点嵌入，都被处理以生成所述任务预测
。8.
根据权利要求6至7中任一项所述的方法，其中，所述示图表示分子，并且所述任务预测是所述分子的平衡能量的预测
。9.
根据任一前述权利要求所述的方法，其中，针对所述神经网络的多个示图神经网络层中的每个示图神经网络层，所述目标函数测量所述节点的去噪预测中的相应误差，所述去噪预测基于由所述示图神经网络层生成的更新节点嵌入
。10.
根据任一前述权利要求所述的方法，其中，针对具有修改特征表示的所述节点中的一个或多个中的每个节点，处理所述节点的所述更新节点嵌入以为所述节点生成所述相应
去噪预测包括：使用一个或多个神经网络层来处理所述节点的所述更新节点嵌入，以为所述节点生成所述相应去噪预测
。11.
根据任一前述权利要求所述的方法，其中，确定对所述神经网络的所述神经网络参数的所述当前值的...

【专利技术属性】
技术研发人员：乔纳森，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：