量规等变几何图卷积神经网络制造技术

本公开的某些方面提供了一种用于执行机器学习的方法，包括：确定与包括目标顶点的网格相关联的邻域中的多个顶点；确定线性变换，该线性变换被配置成沿该网格中的所有边将信号平行传输到该目标顶点；向该邻域中的多个顶点应用该线性变换，以在该目标顶点处形成经组合信号；确定基滤波器集合；使用学习参数集合来线性地组合基滤波器以形成量规等变卷积滤波器，其中该量规等变卷积滤波器被约束以保持量规等变性；向经组合信号应用该量规等变卷积滤波器以形成中间输出；以及向该中间输出应用非线性以形成卷积输出。非线性以形成卷积输出。非线性以形成卷积输出。

【技术实现步骤摘要】
【国外来华专利技术】量规等变几何图卷积神经网络
[0001]相关申请的交叉引用
[0002]本申请要求于2021年2月5日提交的美国申请No.17/169,338的优先权，后者要求于2020年2月6日提交的美国临时专利申请No.62/971,129的权益和优先权，这些申请中的每一者的全部内容通过援引纳入于此。
[0003]引言
[0004]本公开的各方面涉及机器学习技术，并且具体地涉及用于使用图卷积神经网络执行机器学习的系统和方法。
[0005]卷积神经网络(CNN)已被确立为用于许多机器学习任务(诸如声音处理和图像分类和分割)的默认方法。虽然被广泛使用，但CNN的大多数应用限于特定的几何形状，如平坦的欧几里得空间或球体S2，其中卷积被简单地定义并且经优化的实现是可用的。CNN在此类空间上的经验成功引起了将卷积推广到更一般的空间(如黎曼流形)的兴趣。然而，由于流形通常缺乏对称性，因此目前不可能将卷积推广为平移不变的线性算子。
[0006]一种办法是将网格定义为二维嵌入式黎曼流形的离散模拟。随后，可以在网格上定义卷积以将其解读为图并应用图卷积网络(GCN)。然而，由于常规GCN使用各向同性滤波器，因此它们对顶点的相对取向不敏感，并且因此对整个网格的几何形状不敏感。因此，信息丢失并且GCN的性能受到影响。
[0007]因此，需要用于对复杂几何形状(诸如流形)执行信息保持卷积操作的技术。
[0008]简要概述
[0009]在第一方面，一种用于执行机器学习的方法，包括：确定与包括目标顶点的网格相关联的邻域中的多个顶点；确定线性变换，该线性变换被配置成沿该网格中的所有边将信号平行传输到该目标顶点；向该邻域中的多个顶点应用该线性变换，以在该目标顶点处形成经组合信号；确定保持针对相应网格的量规等变性的基滤波器集合；使用学习参数集合来线性地组合基滤波器以形成量规等变卷积滤波器，其中该量规等变卷积滤波器被约束以保持量规等变性；向经组合信号应用该量规等变卷积滤波器以形成中间输出；以及向该中间输出应用非线性以形成卷积输出。
[0010]在第二方面，一种处理系统，该处理系统包括存储器，该存储器包括计算机可读指令；以及一个或多个处理器，该一个或多个处理器被配置成执行计算机可读指令并且使该处理系统执行用于执行机器学习的方法，该方法包括：确定与包括目标顶点的网格相关联的邻域中的多个顶点；确定线性变换，该线性变换被配置成沿该网格中的所有边将信号平行传输到该目标顶点；向该邻域中的多个顶点应用该线性变换，以在该目标顶点处形成经组合信号；确定保持针对相应网格的量规等变性的基滤波器集合；使用学习参数集合来线性地组合基滤波器以形成量规等变卷积滤波器，其中该量规等变卷积滤波器被约束以保持量规等变性；向经组合信号应用该量规等变卷积滤波器以形成中间输出；以及向该中间输出应用非线性以形成卷积输出。
[0011]在第三方面，一种包括计算机可读指令的非瞬态计算机可读介质，这些指令在由处理系统的一个或多个处理器执行时使该处理系统执行用于执行机器学习的方法，该方法
包括：确定与包括目标顶点的网格相关联的邻域中的多个顶点；确定线性变换，该线性变换被配置成沿该网格中的所有边将信号平行传输到该目标顶点；向该邻域中的多个顶点应用该线性变换，以在该目标顶点处形成经组合信号；确定保持针对相应网格的量规等变性的基滤波器集合；使用学习参数集合来线性地组合基滤波器以形成量规等变卷积滤波器，其中该量规等变卷积滤波器被约束以保持量规等变性；向经组合信号应用该量规等变卷积滤波器以形成中间输出；以及向该中间输出应用非线性以形成卷积输出。
[0012]以下描述和相关附图详细阐述了一个或多个实施例的某些解说性特征。
[0013]附图简述
[0014]附图描绘了该一个或多个实施例的某些方面，并且因此不被认为限制本公开的范围。
[0015]图1描绘了各向同性滤波器将如何传播来自邻居的信号及其在切平面中的表示。
[0016]图2描绘了对顶点在其切平面上的局部邻域几何形状进行编码的示例。
[0017]图3A和3B描绘了沿网格平行传输特征向量以产生经传输向量的示例。
[0018]图4描绘了用于处理量规等变卷积神经网络网格层的示例算法。
[0019]图5A和5B描绘了示例量规等变网格卷积。
[0020]图6描绘了用于使用量规等变几何图卷积神经网络来执行机器学习的示例方法。
[0021]图7描绘了可被配置成使用量规等变几何图卷积神经网络来执行机器学习的示例电子设备。
[0022]为了促成理解，在可能之处使用了相同的附图标记来指定各附图共有的相同要素。构想一个实施例的要素和特征可有益地纳入其他实施例而无需进一步引述。
[0023]详细描述
[0024]本公开的各方面提供了用于使用量规等变几何图卷积神经网络来执行机器学习的装置、方法、处理系统和计算机可读介质。
[0025]用于处理流形上的信号的当前方法的不足之处在于，这些方法忽略了流形的几何形状，或者在学习任意信号处理功能的能力方面非常有限。在前一种情形中，信号被视为在某个图上而不是在流形上定义。但是，通过忽略流形的几何形状，丢失了关键信息，这降低了网络的性能。在后一种情形中，卷积是在流形上定义的，但针对卷积仅考虑了有限类别的滤波器(或内核)。具体而言，此类网络仅使用各向同性的滤波器，这意味着它们在所有方向上都是相同的，并且因此无法检测到信号中的任何旋转变化。各向同性滤波器还丢弃了有价值的信息并损害此类网络的性能。
[0026]已经提出了一些用于在流形上执行卷积的各向异性方法，但这些方法需要以某种任意、非唯一的方式为滤波器选取参考取向(量规)。这种要求使得不可能构建在例如流形旋转的情况下不变的网络，并且通常在卷积如何作用于流形上的方式中产生不连续性，这损害了此类网络的性能。
[0027]另一方面，本文所描述的实施例涉及量规等变网格卷积神经网络(GEM
‑
CNN)，其被配置成推广图卷积网络(GCN)以便应用各向异性、量规等变滤波器(或内核)。
[0028]一般而言，GEM
‑
CNN可以被认为是在任意二维网格上实现量规等变CNN。GEM
‑
CNN通过在测地极坐标中应用滤波器来提取特征，并且因此遵循黎曼度量。此外，由GEM
‑
CNN提取的特征在设计上被保证为对几何量(如标量、向量、张量或拥有一致定义的取向或姿势概念
的更一般的对象)进行编码。
[0029]为了描述网格某个点处的非平凡几何特征(诸如其取向或姿势)，有必要相对于在对应位置处对局部参考系(或量规)的选择来表达它。由于量规的任何选择都是同样有效的，因此网络的预测不应该取决于它，即，卷积操作以及其他层应该与量规变换(即，参考系的变化)等变。与其他各向异性方法不同，GEM
‑
CNN与针对滤波器的量规的选择等变。因此，使用GEM
‑
CNN的卷积类似于图卷积，但该本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：确定与包括目标顶点的网格相关联的邻域中的多个顶点；确定线性变换，所述线性变换被配置成沿所述网格中的所有边将信号平行传输到所述目标顶点；向所述邻域中的所述多个顶点应用所述线性变换，以在所述目标顶点处形成经组合信号；确定基滤波器集合；使用学习参数集合来线性地组合所述基滤波器以形成量规等变卷积滤波器，其中所述量规等变卷积滤波器被约束以保持量规等变性；向所述经组合信号应用所述量规等变卷积滤波器以形成中间输出；以及向所述中间输出应用非线性以形成卷积输出。2.如权利要求1所述的方法，进一步包括：确定针对所述邻域的非均匀离散傅里叶变换矩阵；以及基于所述非均匀离散傅里叶变换矩阵来生成针对所述邻域的所述量规等变卷积滤波器。3.如权利要求1所述的方法，其中：所述非线性是量规等变的，并且所述基滤波器集合被配置成保持针对相应网格的量规等变性。4.如权利要求3所述的方法，进一步包括：将所述经组合信号变换为具有多个表示样本的正则表示，其中所述多个表示样本中的每个表示样本相对于所述多个表示样本中的每个其他表示样本旋转；以及对于所述多个表示样本中的每个相应表示样本：根据所述相应表示样本的旋转来旋转所述量规等变卷积滤波器；以及将所述经旋转的非线性应用于所述相应表示样本。5.如权利要求1所述的方法，进一步包括：通过在切平面中经由黎曼对数映射的离散等效映射相应顶点来对所述邻域中的所述多个顶点中的每个相应顶点的局部几何形状进行编码。6.如权利要求1所述的方法，其中确定被配置成沿所述网格中的所有边将信号平行传输到所述目标顶点的所述线性变换包括将在所述多个顶点中除所述目标顶点之外的每个相应顶点处的切空间对齐为平行于所述目标顶点的切空间，随后在所述相应顶点与所述目标顶点之间平移向量。7.如权利要求1所述的方法，其中所述量规等变卷积滤波器是各向异性的。8.如权利要求1所述的方法，进一步包括：将所述卷积输出提供给量规等变几何图卷积神经网络的另一层。9.一种处理系统，包括：包括计算机可执行指令的存储器；一个或多个处理器，所述一个或多个处理器被配置成执行所述计算机可执行指令并使所述处理系统：确定与包括目标顶点的网格相关联的邻域中的多个顶点；
确定线性变换，所述线性变换被配置成沿所述网格中的所有边将信号平行传输到所述目标顶点；向所述邻域中的所述多个顶点应用所述线性变换，以在所述目标顶点处形成经组合信号；确定基滤波器集合；使用学习参数集合来线性地组合所述基滤波器以形成量规等变卷积滤波器，其中所述量规等变卷积滤波器被约束以保持量规等变性；向所述经组合信号应用所述量规等变卷积滤波器以形成中间输出；以及向所述中间输出应用非线性以形成卷积输出。10.如权利要求9所述的处理系统，其中所述一个或多个处理器被进一步配置成使所述处理系统：确定针对所述邻域的非均匀离散傅里叶变换矩阵；以及基于所述非均匀离散傅里叶变换矩阵来生成针对所述邻域的所述量规等变卷积滤波器。11.如权利要求9所述的处理系统，其中：所述非线性是量规等变的，并且所述基滤波器集合被配置成保持针对相应网格的量规等变性。12.如权利要求11所述的处理系统，其中所述一个或多个处理器被进一步配置成使所述处理系统：将所述经组合信号变换为具有多个表示样本的正则表示，其中所述多个表示样本中的每个表示样本相对于所述多个表示样本中的每个其他表示样本旋转；以及对于所述多个表示样本中的每个相应表示样本：根据所述相应表示样本的旋转来旋转所述量规等变卷积滤波器；以及将所述经旋转的非线性应用于所述相应表示样本。13.如权利要求9所述的处理系统，其中所述一个或多个处理器被进一步配置成使所述处理系统通过在切平面中经由黎曼对数映射的离散等效映射相应顶点来对所述邻域中的所述多个顶点中的每个相应顶点的局部几何形状进行编码。14.如权利要求9所述的处理系统，其中为了确定被配置成沿所述网格中的所有边将信号平行传输到所述目标顶点的所述线性变换，所述一个或多个处理器被进一步配置成使所述处理系统将在所述多个顶点中除所述目标顶点之外的每个相应顶点处的切空间对齐为平行于所述目标顶点的切空间，随后在所述相应顶点与所述目标顶点之间平移向量。15.如权利要求9所述的处理系统，其中所述量规等变卷积滤波器是各向异性的。16.如权利要求9所述的处理系统，其中所述一个或多个处理器被进一步配置成使所述处理系统将所述卷积输出提供给量规等变几何图卷积神经...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：美国高通技术公司，
类型：发明
国别省市：