反对称神经网络制造技术

方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于使用反对称神经网络处理输入。处理输入。处理输入。

【技术实现步骤摘要】
【国外来华专利技术】反对称神经网络

技术介绍

[0001]本说明书涉及神经网络。
[0002]神经网络是采用一个或多个非线性单元层来预测对于接收到的输入的输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层——即，下一隐藏层或输出层——的输入。网络的每个层根据相应参数集的当前值从接收到的输入生成输出。

技术实现思路

[0003]本说明书描述了在一个或多个位置中的一个或多个计算机上被实现为计算机程序的使用反对称神经网络处理输入的系统。通常，反对称神经网络是相对于神经网络的输入反对称的神经网络。也就是说，如果交换网络输入中的任何两个向量的相对位置，则交换之后的神经网络的输出与交换之前的神经网络的输出将在幅度上相等但在符号上相反。
[0004]在一个方面中，描述了一种计算机实现的方法，其包括获得表征具有多个电子的系统的输入数据，输入数据包括多个电子中的每个电子的电子特征和多个电子中的多个对中的每个对的对特征；以及使用具有多个中间层的反对称神经网络来处理输入数据。反对称神经网络可以被配置成处理输入数据以生成系统的一个或多个性质的预测值作为输出；并且反对称神经网络的多个中间层中的每个可以被配置成通过向该中间层的相应层输入应用相应置换等价函数而从该相应层输入生成用于该中间层的相应层输出。
[0005]系统和方法的一个应用是预测诸如分子的化学系统的波函数的值。解决该问题的一些已知方法是准确的，但是不能很好地缩放，并且在计算上不能实际应用于除非常小的分子之外的分子。它们在非平衡几何形状上也是不准确的，这在实践中是重要的。变化的蒙特卡罗方法的计算强度较低但精度较低。一些基于神经网络的方法利用监督学习、来自由现有计算方法生成的示例的学习来训练。
[0006]通过对比，所描述的系统和方法的实施方式可以通过在每对电子之间包括成对(互换)相互作用并且使用来自每个(单个)电子的特征来产生准确结果。原则上，这种方法在计算上也是困难的。然而，所描述的系统和方法还认识到，可以通过使用反对称神经网络来减轻计算负荷，这通过使用实现置换等价函数的中间层来实现。这提供一种可表达的但在计算上可行的Ansatz。
[0007]在用于中间层(更具体地，多个中间层中除最终中间层以外的每个)的一些实施方式中，相应层输入包括用于电子中的每个和用于电子对中的每个的单独输入流，层输出包括用于电子中的每个和用于电子对中的每个的单独输出流，并且中间层被配置成利用对应流子层对每个输入流进行操作。针对多个中间层中的第一中间层，每个电子的输入流可以是电子的电子特征，并且每个电子对的输入流可以是电子对的对特征。这种方法利用用于电子和电子对的流可以促进控制系统的计算要求。
[0008]在一些实施方式中，对于多个中间层中的每个中间层，与每个电子对应的特定流子层被配置成：从相应层输入接收用于对应电子的输入流，从来自相应层输入的输入流生
成用于对应电子的组合输入，将由特定流子层所生成的输入流与组合输入级联，以生成针对对应电子的级联输入流，并且处理级联输入流以生成用于对应电子的级联输出流。(换句话说，根据被视为输入和输出的内容，特定流子层可以从相应层输入接收用于对应电子的输入流；可以处理输入流以生成初始输出流；可以从由特定中间层的流子层所生成的初始输出流生成用于对应电子的组合输出；并且可以将由特定流子层所生成的初始输出流与组合输出级联以生成用于对应电子的级联输出流)。级联输出流可以包括用于对应电子的输出流和/或对于中间层中的至少一个中间层，用于对应电子的输出流可以包括级联输出流和由流子层针对先前中间层中的对应电子所生成的残差输出流。
[0009]在一些实施方式中，处理(级联)输入流以生成级联输出流包括将线性变换应用于(级联)输入流以生成变换流，以及将非线性激活函数应用于变换流以生成(级联)输出流。生成用于对应电子的组合信号(输入)可以包括，针对多个电子自旋中的每个，计算与具有电子自旋的电子相对应的输入流的平均值，并且在组合输入中包括平均值。这还可以包括，对于多个电子自旋中的每个，计算与包括对应电子和具有电子自旋的电子对相对应的输入流的平均值，并且在组合输入中包括平均值。
[0010]反对称神经网络可以被配置成从多个层中的最后中间层的层输出生成预测值。生成预测值可以包括从最后中间层的层输出生成用于多个行列式中的每个行列式的相应(矩阵)输入，从用于每个行列式的相应输入确定行列式的相应输出，以及从每个行列式的相应输出确定预测值。这种矩阵输入可以包括每个电子的输出流的(所有)置换的方阵。在实施方式中，生成(到行列式的)相应输入还可以包括将线性变换(具体地，对于自旋向上和自旋向下状态而言是不同的)应用于最后中间层的层输出以生成最终变换输出，并且将多个指数衰减的包络中的每个应用于最终变换输出中的一些或全部。这可以帮助实施强制波函数远离原子核进行到零的边界条件。
[0011]在实施方式中，该系统提供从电子特征——例如，自旋向上电子的集合和自旋向下电子的集合的位置——到化学系统——例如，分子——的波函数ψ的值的映射。因此，可以映射或表征波函数，例如以确定相关能量，诸如化学系统——例如分子——的基态能量。相关联的电子概率密度由ψ2给出。
[0012]可以训练该系统以优化变化能量，例如，使能量最小化以确定基态波函数。这可以通过使用根据波函数估计能量的目标函数上的随机梯度下降来优化反对称神经网络的参数来执行。
[0013]化学系统——例如分子——的波函数可以以许多方式使用。
[0014]例如，波函数可以用于设计分子或其他化学系统(计算机上的)，例如，通过基于结构的基态波函数的能量筛选多个复合结构，以评估哪些结构可能比其他结构相对更稳定。可选地，然后可以根据被识别为相对更稳定的结构合成分子或其它化学系统。
[0015]在另一示例中，波函数可以用于为分子或其他化学系统选择合成路线。例如，可能存在多于一种可能的合成路线，并且可以确定和比较每种合成路线的一种或多种中间体的基态能量以评估哪种合成路线可能更容易。或者，可以存在多于一个可能的合成路线，并且可以确定和比较每个合成路线中的相同中间体的一个或多个不同构象的能量，以评估哪个合成路线可能更容易(本文的技术可以用于确定弯曲或扭曲分子的准确波函数)。可选地，然后可以使用更容易的合成路线来合成分子或其它化学系统。
[0016]在另一示例中，分子或其它化学系统的合成路线可能是已知的，但反应机制可能是未知的。可以针对假定机制中的一个或多个步骤的一个或多个组成确定一个或多个波函数和/或基态能量，以评估该机制的可能性，并且可以通过比较这些来识别该反应的机制。一旦知道了反应机制，就可以通过调整机理来改善该反应；可选地，然后可以使用适应的机制合成分子或其它化学系统。
[0017]在另一示例中，分子或其它化学系统的构象可以通过比较不同假定构象的波函数和/或它们的能量来识别。然后可以修改分子或其它化学系统以改变构象或使所需构象更可能；可选地，然后可以用所期望的构象来合成分子或其本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：获得表征具有多个电子的系统的输入数据，所述输入数据包括用于所述多个电子中的每个电子的电子特征和用于所述多个电子的多个对中的每个对的对特征；以及使用具有多个中间层的反对称神经网络来处理所述输入数据，其中：所述反对称神经网络被配置成处理所述输入数据以生成所述系统的一个或多个性质的预测值作为输出，以及所述反对称神经网络的所述多个中间层中的每个中间层被配置成通过向所述中间层的相应层输入应用相应置换等价函数从所述相应层输入生成用于所述中间层的相应层输出。2.根据权利要求1所述的方法，其中，对于中间层：所述相应层输入包括用于所述电子中的每个电子和用于电子对中的每个电子对的单独输入流，所述层输出包括用于所述电子中的每个电子和用于所述电子对中的每个电子对的单独输出流，以及所述中间层被配置成用对应流子层对每个输入流进行操作。3.根据权利要求2所述的方法，其中，对于所述多个中间层中的第一中间层，用于所述电子中的每个电子的所述输入流是用于该电子的电子特征，并且用于所述电子对中的每个电子对的所述输入流是用于该电子对的对特征。4.根据权利要求2或3中任一项所述的方法，其中，对于所述多个中间层中的每个中间层，与所述电子中的每个电子对应的特定流子层被配置成：从所述相应层输入接收用于对应电子的所述输入流；从来自所述相应层输入的所述输入流生成用于所述对应电子的组合输入；将由所述特定流子层所生成的所述输入流与所述组合输入级联，以生成针对所述对应电子的级联输入流；以及处理所述级联输入流以生成用于所述对应电子的级联输出流。5.根据权利要求4所述的方法，其中，所述级联输出流是用于所述对应电子的所述输出流。6.根据权利要求4所述的方法，其中，对于所述中间层中的至少一个中间层，用于所述对应电子的所述输出流包括所述级联输出流和由所述流子层针对先前中间层中的对应电子所生成的残差输出流。7.根据权利要求4至6中任一项所述的方法，其中，处理所述级联输入流以生成级联输出流包括：将线性变换应用于所述级联输入流以生成变换流；以及将非线性激活函数应用于所述变换流以生成所述级联输出流。8.根据权利要求4至7中任一项所述的方法，其中，生成用于所述对应电子的组合输入包括：对于多个电子自旋中的每个电子自旋，计算与具有电子自旋的电子对应的输入流的平均值；以及在所述组合输入中包括所述平均值。
9.根据权利要求8所述的方法，其中，生成用于所述对应电子的组合输入包括：对于所述多个电子自旋中的每个电子自旋，计算与包括所述对应电子和具有电子自旋的电子的电子对对应的输入流的平均值；以及在所述组合输入中包括所述平均值。10.根据权利要求2至9中任一项所述的方法，其中，对于所述多个...

【专利技术属性】
技术研发人员：戴维，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：