图神经网络训练方法、系统、计算机设备及存储介质技术方案

本发明专利技术涉及人工智能技术领域，尤其涉及一种图神经网络训练方法、系统、计算设备及存储介质。该图神经网络训练方法应用在图神经网络训练系统中,包括多个用户端以及一个训练端；图神经网络训练方法包括：训练端初始化图神经网络的网络参数；用户端根据网络参数和预先构建的本地子图训练本地的图神经网络，得到真实梯度；用户端生成非目标特征的随机伪梯度，并将随机伪梯度与真实梯度作为用户端对应的局部梯度发送至训练端；训练端对接收到的各用户端发送的局部梯度进行梯度聚合，得到聚合梯度，并将聚合梯度分发至对应的用户端，以使各用户端根据聚合梯度更新本地的图神经网络。该图神经网络训练方法可有保证用户个人隐私的安全性问题。

【技术实现步骤摘要】
图神经网络训练方法、系统、计算机设备及存储介质
本专利技术涉及人工智能
，尤其涉及一种图神经网络训练方法、系统、计算机设备及存储介质。
技术介绍
近年来，在推荐系统中图神经网络技术的应用日益广泛。基于图神经网络对推荐系统进行建模方法一般是将用户和推荐项目均作为节点嵌入图中，用户和其感兴趣的项目之间连接。图结构中的每个节点的特征由一特征向量描述，在图神经网络的训练过程中该特征向量被不断优化直至收敛。然而传统的图神经网络在训练时需要完整的图结构信息，在推荐系统中则需要训练方会收集各用户端的用户偏好信息作为训练样本，而这些信息中包含了用户的个人隐私，容易出现用户隐私泄露的安全性问题。
技术实现思路
本专利技术实施例提供一种图神经网络训练方法、系统、计算机设备及存储介质，以解决现有图神经网络训练流程中，无法保证用户个人隐私的安全性问题。一种图神经网络训练方法，应用在图神经网络训练系统中；所述图神经网络训练系统包括多个用户端以及一个训练端；所述图神经网络训练方法包括如下步骤：通过所述训练端初始化图神经网络的网络参数；其中，所述网络参数包括用户节点对应的第一特征、全局推荐项目对应的第二特征以及所述用户节点与对应的目标推荐项目之间的连接权值；所述目标推荐项目为所述全局推荐项目中与所述用户节点具有连接关系的推荐项目；所述第二特征包括目标推荐项目对应的目标特征以及非目标推荐项目对应的非目标特征；通过所述训练端将所述网络参数发送至与所述用户节点对应的用户端，以使所述用户端根据所述网络参数和预先构建的本地子图训练本地的图神经网络，得到真实梯度；其中，所述真实梯度包括所述第一特征、所述目标特征以及所述连接权值对应的真实梯度；通过所述用户端生成所述非目标特征的随机伪梯度，并将所述随机伪梯度与所述真实梯度作为所述用户端对应的局部梯度发送至所述训练端；通过所述训练端对接收到的各用户端发送的所述局部梯度进行梯度聚合，得到所述网络参数对应的聚合梯度，并将所述聚合梯度返回至对应的用户端，以使用户端根据所述聚合梯度更新本地的图神经网络。一种图神经网络训练系统，包括：初始化模块，用于通过所述训练端初始化图神经网络的网络参数；其中，所述网络参数包括用户节点对应的第一特征、全局推荐项目对应的第二特征以及所述用户节点与对应的目标推荐项目之间的连接权值；所述目标推荐项目为所述全局推荐项目中与所述用户节点具有连接关系的推荐项目；所述第二特征包括目标推荐项目对应的目标特征以及非目标推荐项目对应的非目标特征；真实梯度计算模块，用于通过所述训练端将所述网络参数发送至与所述用户节点对应的用户端，以使所述用户端根据所述网络参数和预先构建的本地子图训练本地的图神经网络，得到真实梯度；其中，所述真实梯度包括所述第一特征、所述目标特征以及所述连接权值对应的真实梯度；局部梯度获取与发送模块，用于通过所述用户端生成所述非目标特征的随机伪梯度，并将所述随机伪梯度与所述真实梯度作为所述用户端对应的局部梯度发送至所述训练端；梯度聚合与分发模块，用于通过所述训练端对接收到的各用户端发送的所述局部梯度进行梯度聚合，得到所述网络参数对应的聚合梯度，并将所述聚合梯度返回至对应的用户端，以使用户端根据所述聚合梯度更新本地的图神经网络。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图神经网络训练方法的步骤。一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图神经网络训练方法的步骤。上述图神经网络训练方法、系统、计算机设备及存储介质中，通过训练端初始化图神经网络的网络参数，并将网络参数分发至对应的用户端，以便用户端根据网络参数和预先构建的本地子图训练本地的图神经网络，得到真实梯度，由于真实梯度包括第一特征、目标特征对应的第二梯度以及连接权值等局部参数的梯度，故通过用户端生成非目标特征的随机伪梯度，并将随机伪梯度与真实梯度作为用户端对应的局部梯度发送至训练端，以对真实梯度进行数据混淆，有效保护用户的个人隐私，而用户真实的偏好信息保留在用户端本地，避免了在推荐系统模型中出现隐私泄露的风险。最后，通过训练端对接收到的各用户端发送的局部梯度进行梯度聚合，得到聚合梯度，并将聚合梯度分发至对应的用户端，以使各用户端根据聚合梯度更新本地的图神经网络，使得图神经网络优化的梯度是综合各用户端的梯度信息确定，从而在多方数据在不共享的秘密状态下，实现多方参与训练的目的。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例中图神经网络训练方法的一流程图；图2是图1中步骤S12的一具体流程图；图3是图2中步骤S23的一具体流程图；图4是图2中步骤S24的一具体流程图；图5是图1中步骤S13的一具体流程图；图6是图1中步骤S14的一具体流程图；图7是图2中步骤S22的一具体流程图；图8是本专利技术一实施例中图神经网络训练系统的一示意图；图9是本专利技术一实施例中计算机设备的一示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术所提供的图神经网络训练方法可应用在一种图神经网络训练系统中，该图神经网络训练系统中包括包括多个用户端以及一个训练端。其中，每一用户端用于训练本地的图神经网络；训练端用于汇总各用户端的梯度信息，并提供更新梯度给各用户端，以使各用户端根据该更新梯度更新本地的图神经网络，从而实现基于联邦学习的图神经网络训练方法，从而可在数据隐私得到保护的前提下训练图神经网络。在一实施例中，如图1所示，该图神经网络训练方法具体包括如下步骤：S11：通过训练端初始化图神经网络的网络参数；其中，网络参数包括用户节点对应的第一特征、全局推荐项目对应的第二特征以及用户节点与对应的目标推荐项目之间的连接权值；目标推荐项目为全局推荐项目中与用户节点具有连接关系的推荐项目；第二特征包括目标推荐项目对应的目标特征以及非目标推荐项目对应的非目标特征。其中，本实施例中以推荐系统建立异构图为例，将用户和全局推荐项目节点嵌入图中，每个节点的特征分别以一个向量表示，节点之间的连接基于用户对项目的喜好构建，即异构图中所有边均建立在用户-目标推荐项目节点之间。针对这一特点，整个异构图结构可以基于用户被拆解为若干本地子图，即每一用户端对应一本地子图。每个子图中仅包本文档来自技高网...

【技术保护点】
1.一种图神经网络训练方法，其特征在于，应用在图神经网络训练系统中，所述图神经网络训练系统包括多个用户端以及一个训练端；所述图神经网络训练方法包括：/n通过所述训练端初始化图神经网络的网络参数；其中，所述网络参数包括用户节点对应的第一特征、全局推荐项目对应的第二特征以及所述用户节点与对应的目标推荐项目之间的连接权值；所述目标推荐项目为所述全局推荐项目中与所述用户节点具有连接关系的推荐项目；所述第二特征包括目标推荐项目对应的目标特征以及非目标推荐项目对应的非目标特征；/n通过所述训练端将所述网络参数发送至与所述用户节点对应的用户端，以使所述用户端根据所述网络参数和预先构建的本地子图训练本地的图神经网络，得到真实梯度；其中，所述真实梯度包括所述第一特征、所述目标特征以及所述连接权值对应的真实梯度；/n通过所述用户端生成所述非目标特征的随机伪梯度，并将所述随机伪梯度与所述真实梯度作为所述用户端对应的局部梯度发送至所述训练端；/n通过所述训练端对接收到的各用户端发送的所述局部梯度进行梯度聚合，得到所述网络参数对应的聚合梯度，并将所述聚合梯度返回至对应的用户端，以使用户端根据所述聚合梯度更新本地的图神经网络。/n...

【技术特征摘要】
1.一种图神经网络训练方法，其特征在于，应用在图神经网络训练系统中，所述图神经网络训练系统包括多个用户端以及一个训练端；所述图神经网络训练方法包括：
通过所述训练端初始化图神经网络的网络参数；其中，所述网络参数包括用户节点对应的第一特征、全局推荐项目对应的第二特征以及所述用户节点与对应的目标推荐项目之间的连接权值；所述目标推荐项目为所述全局推荐项目中与所述用户节点具有连接关系的推荐项目；所述第二特征包括目标推荐项目对应的目标特征以及非目标推荐项目对应的非目标特征；
通过所述训练端将所述网络参数发送至与所述用户节点对应的用户端，以使所述用户端根据所述网络参数和预先构建的本地子图训练本地的图神经网络，得到真实梯度；其中，所述真实梯度包括所述第一特征、所述目标特征以及所述连接权值对应的真实梯度；
通过所述用户端生成所述非目标特征的随机伪梯度，并将所述随机伪梯度与所述真实梯度作为所述用户端对应的局部梯度发送至所述训练端；
通过所述训练端对接收到的各用户端发送的所述局部梯度进行梯度聚合，得到所述网络参数对应的聚合梯度，并将所述聚合梯度返回至对应的用户端，以使用户端根据所述聚合梯度更新本地的图神经网络。


2.如权利要求1所述图神经网络训练方法，其特征在于，所述目标推荐项对应一真实标注值；所述通过所述用户端根据所述网络参数和预先构建的本地子图训练本地的图神经网络，得到真实梯度，包括：
基于所述网络参数初始化所述图神经网络；
将所述本地子图输入至所述图神经网络进行预测，得到所述图神经网络输出的预测结果；
根据所述预测结果以及所述真实标注值，计算网络损失；
根据所述网络损失，计算所述真实梯度。


3.如权利要求2所述图神经网络训练方法，其特征在于，所述根据所述预测结果以及所述真实标注值，计算网络损失，包括：
若所述图神经网络的预测任务为分类任务，则调用交叉熵损失函数，根据所述预测结果以及所述真实标注值，计算网络损失；
若所述图神经网络的预测任务为回归任务，则调用均方误差损失函数，根据所述预测结果以及所述真实标注值，计算网络损失。


4.如权利要求3所述图神经网络训练方法，其特征在于，所述根据所述网络损失，计算所述真实梯度，包括：
根据所述网络损失以及所述第一特征，计算所述第一特征对应的真实梯度；
根据所述网络损失以及所述连接权值，计算所述连接权值对应的真实梯度；
根据所述网络损失以及所述目标特征，计算所述目标特征对应的真实梯度。


5.如权利要求4所述图神经网络训练方法，其特征在于，所述通过所述用户端生成所述非目标特征的随机伪梯度，包括：
根据所述随机函数，生...

【专利技术属性】
技术研发人员：李登昊，王健宗，黄章成，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44