异质图神经网络生成方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种异质图神经网络生成方法、装置、电子设备及存储介质，包括：获取待处理数据的各目标节点向量；通过预设深度学习算法对各目标节点向量进行分析，得到各目标节点向量的节点级别的注意力；通过第一预设公式对各目标节点的节点级别的注意力进行归一化，得到各目标节点向量的权重系数；通过第二预设公式将各目标节点向量的权重系数和各目标节点向量进行聚合，得到各目标节点向量在指定元路径下的向量表示；将各目标节点向量在不同元路径的权重进行融合，得到各目标节点向量语义级别的注意力表示，从而得到各目标节点向量的网络模型。这样应用本申请实施例的网络模型，可以更好的捕获异质图上的复杂结构和语义信息。

Heterographic Neural Network Generation Method, Device, Electronic Equipment and Storage Media

【技术实现步骤摘要】
异质图神经网络生成方法、装置、电子设备及存储介质
本申请涉及图神经领域
，特别是涉及异质图神经网络生成方法、装置、电子设备及存储介质。
技术介绍
目前，人工神经网络已经成为人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界有着广泛的应用，也取得了丰硕的成果。最近十多年来，随着人工神经网络的研究工作不断深入，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。图神经网络与传统的神经网络相比，图神经网络将图数据作为输入，然后学习推理和预测对象及其关系如何随时间演变实现快速学习。而在图神经领域，注意力机制的研究越来越受到关注，注意力机制可以处理边长的数据并鼓励模型注意到数据最重要的部分。注意力机制已经证明了其有效性并得到了广泛应用将注意力机制泛化到同质图上。尽管注意力机制取到了大量的成果，但是图神经网络中目前应用仍有限。
技术实现思路
本申请实施例的目的在于提供一种异质图神经网络生成方法、装置、电子设备及存储介质，以实现更好的捕获异质图上的复杂结构和语义信息。具体技术方案如下：第一方面，本申请实施例提供了一种异质图神经网络生成方法，包括获取待处理数据的各目标节点向量；通过预设深度学习算法对所述各目标节点向量进行分析，得到所述各目标节点向量的节点级别的注意力；通过第一预设公式对所述各目标节点的节点级别的注意力进行归一化，得到所述各目标节点向量的权重系数；通过第二预设公式将所述各目标节点向量的权重系数和所述各目标节点向量进行聚合，得到所述各目标节点向量在指定元路径下的向量表示；将所述各目标节点向量在不同元路径的权重进行融合，得到所述各目标节点向量语义级别的注意力表示，从而得到所述各目标节点向量的网络模型。可选的，所述获取待处理数据的各节点向量，包括：获取待处理数据的各节点向量；通过预设投影矩阵，分别将各所述节点向量投影到同一空间，得到同一空间内的各目标节点向量。可选的，所述第一预设公式为：其中，i、j、k表示节点，为指定基于元路径Φ相连的节点对(i，j)的权重系数，为基于元路径Φ相连的节点对(i，j)的节点级别的注意力，是节点i基于元路径Φ的邻居，σ是激活函数，||代表拼接操作，为节点级别的注意力向量aΦ为的转置，h′i、h′j、hk′为目标节点向量hi、hj、hk投影到同一空间后的目标节点向量。可选的，所述第二预设公式为：其中，为节点i基于元路径Φ的向量表示，为指定基于元路径Φ相连的节点对(i，j)的权重系数，σ是激活函数，h′j为hj投影到与h′i同一空间后的目标节点向量，i、j表示节点，认为是节点i基于元路径Φ的邻居。可选的，在所述得到所述各目标节点向量在指定元路径下的向量表示之后，所述方法还包括：对所述各目标节点在给定元路径下的向量表示进行稳定训练；将所述各目标节点在给定元路径下的向量表示转换为矩阵表示，得到所述各目标节点在给定元路径下的矩阵表示；所述将所述各目标节点向量在不同元路径的权重进行融合，得到所述各目标节点语义级别的注意力表示，从而得到所述各目标节点向量的网络模型，包括：通过第三预设公式利用所述各目标节点在给定元路径下的矩阵表示，得到所述各目标节点在给定元路径下的权重系数；通过所述给定元路径下的权重系数和所述各目标节点向量在给定元路径下的表示矩阵，对所述各目标节点向量进行聚合得到所述各目标节点向量语义级别的注意力表示。可选的，所述第三预设公式为：其中，i、p表示节点，为节点i基于元路径Φ的权重系数，W是权重矩阵，b是偏置向量，qT是语义级别的注意力向量q的转置，为节点i基于元路径Φ的矩阵表示。可选的，所述将所述各目标节点向量在不同元路径的权重进行融合，得到所述各目标节点向量语义级别的注意力表示之后，所述方法还包括：针对特定任务，通过第四预设公式对所述异质图神经网络进行训练；其中，所述第四预设公式为：L＝-(Ylog(C·H)+(1-Y)log(1-C·H))其中，L为误差，H为目标节点语义级别的注意力表示，C是分类器参数，Y是H的标签。第二方面，本申请实施例提供了一种异质图神经网络生成装置，包括：向量获取模块，用于获取待处理数据的各目标节点向量；注意力获取模块，用于通过预设深度学习算法对所述各目标节点向量进行分析，得到所述各目标节点向量的节点级别的注意力；归一化模块，用于通过第一预设公式对所述各目标节点的节点级别的注意力进行归一化，得到所述各目标节点向量的权重系数；向量表示模块，用于通过第二预设公式将所述各目标节点向量的权重系数和所述各目标节点向量进行聚合，得到所述各目标节点向量在指定元路径下的向量表示；模型生成模块，用于将所述各目标节点向量在不同元路径的权重进行融合，得到所述各目标节点向量语义级别的注意力表示，从而得到所述各目标节点向量的网络模型。可选的，所述向量获取模块包括：节点向量子模块，用于获取待处理数据的各节点向量。目标节点子模块，用于通过预设投影矩阵，分别将各所述节点向量投影到同一空间，得到同一空间内的各目标节点向量。可选的，在本申请实施例的异质图神经网络生成装置中，所述第一预设公式为：其中，i、j、k表示节点，为指定基于元路径Φ相连的节点对(i，j)的权重系数，为基于元路径Φ相连的节点对(i，j)的节点级别的注意力，是节点i基于元路径Φ的邻居，σ是激活函数，||代表拼接操作，为节点级别的注意力向量aΦ为的转置，h′i、h′j、hk′为目标节点向量hi、hj、hk投影到同一空间后的目标节点向量。可选的，在本申请实施例的异质图神经网络生成装置中，所述第二预设公式为：其中，为节点i基于元路径Φ的向量表示，为指定基于元路径Φ相连的节点对(i，j)的权重系数，σ是激活函数，h′j为hj投影到与h′i同一空间后的目标节点向量，i、j表示节点，认为是节点i基于元路径Φ的邻居。可选的，本申请实施例的异质图神经网络生成装置，还包括：稳定训练子模块，用于对所述各目标节点在给定元路径下的向量表示进行稳定训练。矩阵表示子模块，用于将所述各目标节点在给定元路径下的向量表示转换为矩阵表示，得到所述各目标节点在给定元路径下的矩阵表示。权重系数子模块，用于通过第三预设公式利用所述各目标节点在给定元路径下的矩阵表示，得到所述各目标节点在给定元路径下的权重系数。注意力表示子模块，用于通过所述给定元路径下的权重系数和所述各目标节点向量在给定元路径下的表示矩阵，对所述各目标节点向量进行聚合得到所述各目标节点向量语义级别的注意力表示。可选的，在本申请实施例的异质图神经网络生成装置中，所述第三预设公式为：其中，i、p表示节点，为节点i基于元路径Φ的权重系数，W是权重矩阵，b是偏置向量，qT是语义级别的注意力向量q的转置，为节点i基于元路径Φ的矩阵表示。可选的，本申请实施例的异质图神经网络生成装置，还包括：网络训练模块，用于针对特定任务，通过第四预设公式对所述异质图神经网络进行训练；其中，所述第四预设公式为：L＝-(Ylog(C·H)+(1-Y)log(1-C·H))其中，L为误差，H为目标节点语义级别的注意力表示，C是分类器参数，Y是H的本文档来自技高网...

【技术保护点】
1.一种异质图神经网络生成方法，其特征在于，包括：获取待处理数据的各目标节点向量；通过预设深度学习算法对所述各目标节点向量进行分析，得到所述各目标节点向量的节点级别的注意力；通过第一预设公式对所述各目标节点的节点级别的注意力进行归一化，得到所述各目标节点向量的权重系数；通过第二预设公式将所述各目标节点向量的权重系数和所述各目标节点向量进行聚合，得到所述各目标节点向量在指定元路径下的向量表示；将所述各目标节点向量在不同元路径的权重进行融合，得到所述各目标节点向量语义级别的注意力表示，从而得到所述各目标节点向量的网络模型。

【技术特征摘要】
1.一种异质图神经网络生成方法，其特征在于，包括：获取待处理数据的各目标节点向量；通过预设深度学习算法对所述各目标节点向量进行分析，得到所述各目标节点向量的节点级别的注意力；通过第一预设公式对所述各目标节点的节点级别的注意力进行归一化，得到所述各目标节点向量的权重系数；通过第二预设公式将所述各目标节点向量的权重系数和所述各目标节点向量进行聚合，得到所述各目标节点向量在指定元路径下的向量表示；将所述各目标节点向量在不同元路径的权重进行融合，得到所述各目标节点向量语义级别的注意力表示，从而得到所述各目标节点向量的网络模型。2.根据权利要求1所述的方法，所述获取待处理数据的各节点向量，包括：获取待处理数据的各节点向量；通过预设投影矩阵，分别将各所述节点向量投影到同一空间，得到同一空间内的各目标节点向量。3.根据权利要求1所述的方法，所述第一预设公式为：其中，i、j、k表示节点，为指定基于元路径Φ相连的节点对(i,j)的权重系数，为基于元路径Φ相连的节点对(i,j)的节点级别的注意力，是节点i基于元路径Φ的邻居，σ是激活函数，‖代表拼接操作，为节点级别的注意力向量aФ为的转置，h′i、h′j、h′k为目标节点向量hi、hj、hk投影到同一空间后的目标节点向量。4.根据权利要求1所述的方法，所述第二预设公式为：其中，为节点i基于元路径Φ的向量表示，为指定基于元路径Φ相连的节点对(i,j)的权重系数，σ是激活函数，h′j为hj投影到与h′i同一空间后的目标节点向量，i、j表示节点，认为是节点i基于元路径Φ的邻居。5.根据权利要求1所述的方法，所述得到所述各目标节点向量在指定元路径下的向量表示之后，所述方法还包括：对所述各目标节点在给定元路径下的向量表示进行稳定训练；将所述各目标节点在给定元路径下的向量表示转换为矩阵表示，得到所述各目标节点在给定元路径下的矩阵表示；所述将所述各目标节点向量在不同元路径的权重进行融合，得到所述各目标节点语义级别的注意力表示，从而得到所述各目标节点向量的网络模型，包括：通过第三预设公式利用所述各目标节点在给...

【专利技术属性】
技术研发人员：石川，王啸，纪厚业，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11