一种多设计维度的异质图神经网络的设计空间构建方法技术

本发明专利技术公开了一种多设计维度的异质图神经网络的设计空间构建方法，提出统一的异质图神经网络框架，并基于此统一框架定义了异质图神经网络的设计空间。本发明专利技术弥补了之前的工作只从模型级评测异质图神经网络的缺点，为研究者提供了模块级评测的视角，进一步可以剖析哪一些设计维度在模型的性能中起到重要作用。我们还为异质图神经网络的设计空间构建了平台Space4HGNN，并基于此平台提炼出设计模型的原则性指导，提供了标准的评测和模块化的异质图神经网络实现。该平台为研究者提供了模块级的评测，可以提供给用户简易的接口，帮助他们评测不同设计维度的影响。测不同设计维度的影响。测不同设计维度的影响。

【技术实现步骤摘要】
一种多设计维度的异质图神经网络的设计空间构建方法


[0001]本专利技术涉及图处理
，尤其涉及一种多设计维度的异质图神经网络的设计空间构建方法。

技术介绍

[0002]图形神经网络(GNN)旨在将神经网络应用于图结构数据中。与同质图神经网络不同，异质图神经网络(HGNN)需要处理结构的异质性，捕捉异质图丰富的语义。根据处理异质性的策略，异质图神经网络大致可以分为两类：基于一跳邻居聚合的异质图神经网络(类似于传统的同质图神经网络)和基于元路径邻居聚合的异质图神经网络(用于挖掘语义信息)。
[0003]1)基于一跳邻居聚合的异质图神经网络
[0004]为了处理异质性问题，这一类异质图神经网络通常包含特定类型的卷积。与同质图神经网络类似，聚合过程发生在一跳邻居中。作为最早的工作和GCN(图卷积神经网络Graph Convolutional Network)的扩展，RGCN(基于关系的图卷积神经网络Relational Graph Convolutional Network)为不同的关系类型分配不同的权重矩阵并聚合一跳邻居。随着许多同质图神经网络变体的出现，激发了更多的异质图神经网络的出现，然后HGConv(异质图卷积神经网络Heterogeneous Graph Convolution)基于GATConv(图注意力卷基层Graph Attention Network Convolution)对一跳邻居进行了双重聚合。最近的一项工作SimpleHGN(简单异质图神经网络Simple Heterogeneous Graph Network)设计了关系特定的权重矩阵和嵌入来表示每条边上的异质注意力。此外，一些早期的模型，如HGAT(异质图注意力网络Heterogeneous Graph Attention Network)、HetSANN(异质图结构注意力神经网络Heterogeneous Graph Structural Attention Neural Network)、HGT(异质图变换器Heterogeneous Graph Transformer)，通过为节点或边分配异质注意力来生成GAT的异质变体模型。
[0005]2)基于元路径邻居聚合的异质图神经网络
[0006]另一类异质图神经网络是通过手工定义元路径来捕捉高阶语义信息。与前者不同的是，聚合过程发生在通过元路径连接的邻居中。作为一项开创性的工作，HAN首先使用节点级注意力来聚合由相同元路径连接的节点，并利用语义级注意力来融合不同元路径的信息。由于元路径子图忽略了所有的中间节点，MAGNN(元路径聚合的图神经网络Metapath Aggregated Graph Neural Network)提出聚合元路径实例中所有节点以确保信息不会被遗漏。尽管元路径包含丰富的语义信息，但元路径的选择需要先验知识，并决定了异质图神经网络的性能。GTN(异质图变换网络Graph Transformer Network)通过自动学习元路径以构建新图。
[0007]目前，异质图神经网络已成功应用于各种任务，但由于架构和应用场景的多样性，我们无法准确了解异质图神经网络不同设计维度的重要性。除此之外，对于该领域的研究人员来说，比较现有的方法和提出新方法越来越困难。主要原因是以前的评测大都是从模
型级的角度进行的，并且由于架构设计和应用场景的不同，我们无法准确了解每个组件的重要性。例如，现有的基于关系的模型(如RGCN)和基于元路径的模型(如HAN)之间的区别不仅在于感受野，还在于图卷积的选择。在模型级的评测下，哪个设计维度会产生更好的性能将是未知的。
[0008]GraphGym系统地研究了一个在大量任务上的通用的神经网络设计空间，提出了三个核心组件，图神经网络设计空间，图神经网络任务空间以及设计空间评测。(1)图神经网络设计空间包含研究者在模型构建时通常会考虑的重要的架构设计方面。(2)图神经网络任务空间以及一个任务相似性度量，提供相似任务上进行架构设计的迁移指导。(3)一个设计空间评测方法，可以从大量模型与任务的组合中提炼出一些指导原则。GraphGym也为我们提供了一个可以探索不同神经网络设计与任务的平台，包含图神经网络的模块化实现，标准的图神经网络评测以及可复现的大规模实验管理等。
[0009]然而，现有的许多工作均通过评估模型来衡量该领域的进展，是从模型层面的角度来评估模型的优劣，无法准确捕捉到模型中的哪一个组件起到关键作用，对最后的性能起到了较大的影响。所以，对于异质图神经网络来说，尚未有研究工作对异质图的架构设计进行深入分析，也没有涉及从模块层面来分析异质图神经网络的设计对性能的影响，不能为我们设计新的模型提供指导。

技术实现思路

[0010]本专利技术针对上述技术问题，目的是广泛地探索涉及许多设计维度的异质图神经网络的设计空间，并评估不同的设计架构，提供一种多设计维度的异质图神经网络的设计空间构建方法，实现从模块级的角度进行评测，分析不同架构或设计原则对模型的作用。
[0011]为了实现上述目的，本专利技术提供如下技术方案：
[0012]一种多设计维度的异质图神经网络的设计空间构建方法，包括以下步骤：
[0013]S1、提出统一的异质图神经网络框架，包含三大组件：异质线性变换、异质图变换和异质消息传递层；
[0014]S2、基于统一的异质图神经网络框架，提出三个异质图神经网络模型族，并为这三个模型族设计了三个相应的子空间，即同质化模型族、关系模型族和元路径模型族，定义异质图神经网络的设计空间，设计空间包含两个设计维度：与同质图神经网络共有的设计维度和异质图神经网络特有的设计维度；
[0015]S3、为异质图神经网络的设计空间构建平台Space4HGNN，用于模块化的异质图神经网络实现和标准化的异质图神经网络评测。
[0016]进一步地，步骤S1中所述的异质线性变换，将具有异质性节点的特征或表示映射到一个共享的特征空间，线性变换表示如下：
[0017][0018]其中，h
i
和h
′
i
分别是节点v
i
的原始特征和映射特征，f
V
(v
i
)为节点v
i
的节点类型。
[0019]进一步地，步骤S1中所述的异质图变换在聚合前为异质图数据提供了四种转换方法，分别为：关系子图抽取、元路径子图抽取、构建两种图的混合子图提取和异质图的同质化。
[0020]进一步地，对于关系子图抽取，将关系类型和原始异质图作为输入。
[0021]进一步地，对于元路径子图的抽取，将预定义的元路径和原始异质图作为输入。
[0022]进一步地，步骤S1中所述的异质消息传递层定义了两种异质图神经网络的聚合方法，分别为：直接聚合和双重聚合；直接聚合的聚合过程是直接聚合相邻的邻居，并且不区分节点类型；双重聚合是应用于不同子图的微观层面和宏观层面的聚合过程，微观层面的聚合是聚合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多设计维度的异质图神经网络的设计空间构建方法，其特征在于，包括以下步骤：S1、提出统一的异质图神经网络框架，包含三大组件：异质线性变换、异质图变换和异质消息传递层；S2、基于统一的异质图神经网络框架，提出三个异质图神经网络模型族，并为这三个模型族设计了三个相应的子空间，即同质化模型族、关系模型族和元路径模型族，定义异质图神经网络的设计空间，设计空间包含两个设计维度：与同质图神经网络共有的设计维度和异质图神经网络特有的设计维度；S3、为异质图神经网络的设计空间构建平台Space4HGNN，用于模块化的异质图神经网络实现和标准化的异质图神经网络评测。2.根据权利要求1所述的多设计维度的异质图神经网络的设计空间构建方法，其特征在于，步骤S1中所述的异质线性变换，将具有异质性节点的特征或表示映射到一个共享的特征空间，线性变换表示如下：其中，h
i
和h
′
i
分别是节点v
i
的原始特征和映射特征，f
v
(v
i
)为节点v
i
的节点类型。3.根据权利要求1所述的多设计维度的异质图神经网络的设计空间构建方法，其特征在于，步骤S1中所述的异质图变换在聚合前为异质图数据提供了四种转换方法，分别为：关系子图抽取、元路径子图抽取、构建两种图的混合子图提取和异质图的同质化。4.根据权利要求3所述的多设计维度的异质图神经网络的设计空间构建方法，其特征在于，对于关系子图抽取，将关系类型和原始异质图作为输入。5.根据权利要求3所述的多设计维度的异质图神经网络的设计空间构建方法，其特征在于，对于元路径子图的抽取...

【专利技术属性】
技术研发人员：石川，杨成，赵天宇，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：