多语义异质图的通用嵌入框架的构建方法技术

本发明专利技术公开了多语义异质图的通用嵌入框架的构建方法，包括：步骤1：构建一种邻域探索策略α‑exploration，平滑的将DFS与BFS两种探索策略进行拼接，以适应不同的异质网络结构；步骤2：基于α‑exploration，构建HNSE模型，包括α‑exploration邻域探索层、多语义学习层和节点分类层，在保留节点的异构信息与语义信息的同时，学习节点的低维嵌入；步骤3：以残差的形式实现多层HNSE模型，并在多层HNSE模型后接全连接输出层；步骤4：构建HNSE的三种扩展策略。本发明专利技术通过聚合不同类型的相邻/元路径邻居节点来嵌入多语义异质图的每个顶点，并为HNSE设计了一种结合元路径邻居与直接邻居的节点聚合采样策略，以指导HNSE中的多头注意力机制，并利用元路径改善节点多语义信息的捕捉。

【技术实现步骤摘要】
多语义异质图的通用嵌入框架的构建方法
本专利技术涉及图神经网络领域，尤其涉及一种多语义异质图的通用嵌入框架的构建方法。
技术介绍
图嵌入工作通过提取图中节点的深度特征表示，来实现拓扑图上的节点分类、链接预测等应用，随着各类网络结构的多模态化，最新的图嵌入方法已经逐步抛弃同质信息网络的建模方法，而关注于将这些互联的图数据建模为由不同类型节点和边构成的异质信息网络，并利用网络中全面的结构信息和丰富的语义信息进行更精准的知识发现。相较于同质网络，异质网络中多类型对象和关系共存，包含丰富的结构和语义信息，从而为发现隐含模式提供了精准可解释的新途径。例如，推荐系统的异质网络中不再只有用户和商品这两种对象，而是包含店铺、品牌等更全面的内容，关系也不再只有购买，而是含有收藏、喜爱等更精细的交互。基于这些信息，利用元路径和元图以及属性异质网络等语义挖掘方法，可以产生更精细的知识发现，如提高推荐系统的可解释性及准确率等。异质图包含了两种以上类型的节点或边。由于异质网络的特殊性，早期的许多同质网络的表示学习方法并不能直接应用于异质网络，其主要存在两点挑战：(1)节点和边的异质性。不同类型的节点和边代表不同的语义，因此异质网络的表示学习需要将不同类型的对象映射到不同的空间中。此外，如何保存每个节点的异质邻居及如何处理异质的节点序列也是值得探究的问题。(2)异质网络中丰富信息所带来的多语义刻画问题。异质网络从多个维度刻画节点的语义，如何有效抽取和利用多维度信息并将其抽象成为赋予节点的语义信息，从而得到全面的节点表示也是巨大的挑战。多语义异质图(Multi-SemanticHeterogeneousGraphs)较普通异质图更为复杂，其多语义异质图在具有多重边属性/节点属性的基础上，每个节点同时蕴含着多重的语义信息，由此可见节点所参与的不同链路信息很有可能代表着节点所包含的多重语义，但是这种考量有两个缺点：其一，这种思想弱化了图嵌入工作最基础的一个要素：我们是在复杂的图上进行工作，而不是在一组链路上。其二，即使基于链接路径进行网络嵌入的模型在某个图结构上取得了优异的效果，也很难保证他会在另一个图结构上运行良好，更糟糕的是，如果面对一个难以建立有效链路的图结构，那么无论如何调整参数，这类基于具体链路的方法也无法取得良好的效果。近些年，深度神经网络在计算机视觉和自然语言处理等领域取得了巨大成功。一些工作也开始尝试利用深度模型来对同质/异质网络中不同类型的数据进行建模。相对于浅层模型，深度模型可以更好地捕捉非线性关系，从而抽取节点所蕴含的复杂语义信息。图卷积网络通过执行邻域卷积操作逐层传播图的结构信息，并使图嵌入方法摆脱链接指导学习的困扰；但是都侧重于改进基础的图神经网络模型，例如引入自编码器，或改进节点的采样工作，这些工作取得了一定的进展，但同时表明了一点：元路径在异质图表示学习中是一个难以取舍的要素，总的来说，元路径割裂了图的原始结构，却在很大程度上简化了多重语义信息的刻画，这导致当前的多语义异质网络嵌入模型无法兼顾图结构捕捉与多语义捕捉。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种多语义异质图的通用嵌入框架的构建方法。本专利技术的目的是通过以下技术方案来实现的：多语义异质图的通用嵌入框架的构建方法，包括以下步骤：步骤1：构建一种邻域探索策略α-exploration，平滑的将DFS与BFS两种探索策略进行拼接，以适应不同的异质网络结构，并实现对特定语义邻居的捕捉；步骤2：基于α-exploration，构建HNSE模型，包括α-exploration邻域探索层、多语义学习层和节点分类层，在保留节点的异构信息与语义信息的同时，学习节点的低维嵌入；步骤3：以残差的形式实现多层HNSE模型，并在多层HNSE模型后接全连接输出层；步骤4：构建HNSE的三种扩展策略，包括共享型注意力机制、多头语义注意力分歧正则化和多语义自注意力层，以满足不同类型的异质网络对嵌入框架的要求。进一步的，所述邻域探索策略α-exploration包括步骤：步骤101：定义一个用于指导探索方向的参数α；步骤102：在给定的异质图ɡ与元路径Φ中，对于节点Vi的每个直接邻居Vj，有α的概率不进行任何操作，并跳转至下一直接邻居节点；有1-α的概率进行有偏游走采样，并用游走采样得到的元路径邻居替换原来的直接邻居Vj；步骤103：以α的概率，将直接邻居加入邻居集合；以1-α的概率，将元路径邻居加入邻居集合。进一步的，所述多语义学习层包括特定语义学习和多重语义合并；所述特定语义学习和所述多重语义分别应用在框架的不同位置；对于节点的某一种特殊语义，利用α-exploration对节点的邻域进行探索，并使用注意力机制对得到的邻居信息进行聚合；在整体的框架视图上，使用多头机制来结合节点的不同语义。进一步的，所述特定语义学习以元路径作为指导，来学习节点的特定语义；对于节点以及其基于元路径求得的邻居节点集合，并为每一个与该节点的节点类型不同的元路径邻居应用一层线性映射，以将不同类型的节点映射到统一的特征空间；之后再计算每个邻居与Vi之间的注意力系数，将高维节点特征映射为原始注意力分数；最后，将注意力系数进行加权聚合。进一步的，所述多重语义合并具体为：在得到节点在特定语义下的特征表示之后，使用多头机制合并多种语义信息，以完成节点多语义特征表示的合并；所述多头机制中的每一个注意力头分配了不同的语义学习任务。进一步的，所述注意力头的数量等于元路径的种类数，若多头注意力机制在网络的最终层上执行，则采用求平均的方式聚合各个注意力头上的语义信息。进一步的，所述步骤3还包括模型训练；所述模型训练具体为：在得到节点的最终嵌入之后，将其应用于不同的下游任务，并设计不同的损失函数；对于半监督的节点分类任务，将最终嵌入送入softmax功能的全连接层以进行节点分类标签；在标记数据的指导下，使交叉熵损失最小。进一步的，所述共享型注意力机制具体为：为相同类型的邻居节点施加共享的注意力权重。进一步的，所述多语义自注意力层通过改进多头注意力的聚合操作，计算不同的注意力头所代表的特定语义的重要性差异，以了解每种语义在任务中的重要性。本专利技术的有益效果：通过聚合不同类型的相邻/元路径邻居节点来嵌入多语义异质图的每个顶点，并为HNSE设计了一种结合元路径邻居与直接邻居的节点聚合采样策略，以指导HNSE中的多头注意力机制；同时，针对HNSE提出了3种变体，即共享型注意力机制、多头语义注意力分歧正则化和多语义自注意力层，HNSE在三个流行的数据集上的综合实验表明，本方案所提出的方法在多语义异质图上的节点分类精度全面优于最新方法，并利用元路径改善节点多语义信息的捕捉。附图说明图1是本专利技术的方法流程图。图2是本专利技术的HNSE的架构图。图3是各个数据集上HNSE的分类性能对比图。图4是M_本文档来自技高网...

【技术保护点】
1.多语义异质图的通用嵌入框架的构建方法，其特征在于，包括以下步骤：/n步骤1：构建一种邻域探索策略α-exploration，平滑的将DFS与BFS两种探索策略进行拼接，以适应不同的异质网络结构；/n步骤2：基于α-exploration，构建HNSE模型，包括α-exploration邻域探索层、多语义学习层和节点分类层，在保留节点的异构信息与语义信息的同时，学习节点的低维嵌入；/n步骤3：以残差的形式实现多层HNSE模型，并在多层HNSE模型后接全连接输出层；/n步骤4：构建HNSE的三种扩展策略，包括共享型注意力机制、多头语义注意力分歧正则化和多语义自注意力层。/n

【技术特征摘要】
1.多语义异质图的通用嵌入框架的构建方法，其特征在于，包括以下步骤：
步骤1：构建一种邻域探索策略α-exploration，平滑的将DFS与BFS两种探索策略进行拼接，以适应不同的异质网络结构；
步骤2：基于α-exploration，构建HNSE模型，包括α-exploration邻域探索层、多语义学习层和节点分类层，在保留节点的异构信息与语义信息的同时，学习节点的低维嵌入；
步骤3：以残差的形式实现多层HNSE模型，并在多层HNSE模型后接全连接输出层；
步骤4：构建HNSE的三种扩展策略，包括共享型注意力机制、多头语义注意力分歧正则化和多语义自注意力层。


2.根据权利要求1所述的多语义异质图的通用嵌入框架的构建方法，其特征在于，所述邻域探索策略α-exploration包括以下步骤：
步骤101：定义一个用于指导探索方向的参数α；
步骤102：在给定的异质图ɡ与元路径Φ中，对于节点Vi的每个直接邻居Vj，有α的概率不进行任何操作，并跳转至下一直接邻居节点；有1-α的概率进行有偏游走采样，并用游走采样得到的元路径邻居替换原来的直接邻居Vj；
步骤103：以α的概率，将直接邻居加入邻居集合；以1-α的概率，将元路径邻居加入邻居集合。


3.根据权利要求1所述的多语义异质图的通用嵌入框架的构建方法，其特征在于，所述多语义学习层包括特定语义学习和多重语义合并；所述特定语义学习和所述多重语义分别应用在框架的不同位置；对于节点的某一种特殊语义，利用α-exploration对节点的邻域进行探索，并使用注意力机制对得到的邻居信息进行聚合；在整体的框架视图上，使用多头机制来结合节点的不同语义。


4.根据权利要求3所述的多语义异质图的通用嵌入框架的构建方法，其特...

【专利技术属性】
技术研发人员：王瑞锦，张志扬，张凤荔，周世杰，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51