一种基于图计算的联邦学习方法和系统技术方案

本发明专利技术公开了一种基于图计算的联邦学习方法和系统，包括模型构建模块、模型运行模块和模型评估模块，所述模型运行模块包括图神经网络组件、机器学习组件和连接组件，所述模型运行模块包括模型参数配置单元、模型运行单元和模型运行结果及日志查看单元，所述模型评估模块包括模型下载单元和模型预测单元。本发明专利技术中，通过发起方、协助方和协调方组建一个联合模型，协作方各自本体保留自己的本地模型，从多方数据源获取图神经网络模型需要的点边特征数据，但数据在各自节点的物理机上并且在模型训练过程中不会传输原数据，并且在进行多方数据对齐时，通过rsa加密的方式进行加密对齐，保证数据隐私性。保证数据隐私性。保证数据隐私性。

【技术实现步骤摘要】
一种基于图计算的联邦学习方法和系统


[0001]本专利技术涉及图计算和联邦学习
，尤其涉及一种基于图计算的联邦学习方法和系统。

技术介绍

[0002]随着大数据以及知识图谱技术的迅速发展，数据量的维度大幅度增加，数据之间存在着难以打破的壁垒，一般情况下人工智能所需要的数据会涉及多个领域，例如在基于人工智能的产品推荐服务中，产品销售方拥有产品数据、用户购买产品数据，但是缺少用户购买能力和支付习惯的数据。
[0003]在大多数行业中，数据是以孤岛的形式存在的，由于行业竞争、隐私安全、行政手续复杂等问题，即使是在同一个公司下的不同部门之间实现数据整合也面临着重重阻力，在现实中想要将分散到各地、各机构的数据进行整合难度很大。
[0004]并且各地、各机构之间的数据整合时会涉及到数据隐私安全问题，虽然，目前存在隐私计算的技术可以解决不同来源或机构的数据隐私安全的问题，但是，没有基于图神经网络的隐私安全计算的方法，不能利用图计算方法来完成联邦学习模型的创建和使用，因此，本专利技术提供一种基于图计算的联邦学习方法和系统。

技术实现思路

[0005]为了解决上述
技术介绍
中所提到的技术问题，而提出的一种基于图计算的联邦学习方法和系统。
[0006]为了实现上述目的，本专利技术采用了如下技术方案：
[0007]一种基于图计算的联邦学习系统，包括模型构建模块、模型运行模块和模型评估模块，所述模型运行模块包括图神经网络组件、机器学习组件和连接组件，所述模型运行模块包括模型参数配置单元、模型运行单元和模型运行结果及日志查看单元，所述模型评估模块包括模型下载单元和模型预测单元；
[0008]所述模型构建模块通过组合图神经网络组件和机器学习组件组成子模型；
[0009]所述模型运行模块对子模型进行参数配置，并对参数配置完成的子模型进行运行，运行成功后生成联合模型，以dag图的形式运行；
[0010]所述模型评估模块对联合模型进行评估和预测，查看模型的准确率，并导出联合模型。
[0011]作为上述技术方案的进一步描述：
[0012]还包括端对端缓存器、数据存储器和显示模块，所述端对端缓存器用于协调不同服务节点的处理相关数据，所述数据存储器用于存放端节点运行的数据和日志，所述显示模块用于显示与联合模型运行后相关节点数据和节点日志。
[0013]作为上述技术方案的进一步描述：
[0014]所述连接组件用来连接图神经网络组件和机器学习组件，以构建得到完整的子模
型。
[0015]作为上述技术方案的进一步描述：
[0016]所述模型参数配置单元联合发起方和协助方的数据对子模型进行参数配置，并通过模型运行单元对配置完成的子模型进行运行，运行成功后生成联合模型，通过模型运行结果及日志查看单元查看各组件的结果和日志。
[0017]作为上述技术方案的进一步描述：
[0018]所述模型预测单元对联合模型进行评估和预测，查看模型的准确率，通过模型下载单元导出联合模型。
[0019]作为上述技术方案的进一步描述：
[0020]一种基于图计算的联邦学习方法，包括以下步骤：
[0021]S1、本地数据集准备：根据发起方、协助方的不同权限对数据集进行配置和选用，发起方在配置联合模型时，选择发起方本地节点的数据集以及协助方向外提供的数据集；
[0022]S2、联邦学习建模：在模型构建模块内，通过在画布中拖拽机器学习组件和图神经网络组件组合成子模型，对不同组件的参数进行配置；
[0023]S3、子模型运行训练和联合模型的生成：在模型运行模块内，通过非对称加密方式将发起方、协助方的数据集经过加密后，再对子模型进行训练，发起方联合所有参与方的子模型和数据生成联合模型，发起方和各协助方的节点互相物理隔离，数据之间的通信会通过一个各方信任的可信节点进行；
[0024]S4、联合模型评估和导出：在模型评估模块内，对已经训练好的联合模型进行评估和预测，查看模型的准确率，并导出联合模型。
[0025]作为上述技术方案的进一步描述：
[0026]在步骤S3中，子模型运行训练采用迭代训练的方式，即直到l oss达到预期或者训练次数达到设置的最大值时完成子模型的训练，发起方和协助方在本地通过对应图神经网络得出权重更新模型后一起发送到可信节点进行聚合、加密和解密操作，然后发起方和协助方通过和可信节点之间的通信权重传递和更新，重复上述迭代直至收敛或者达到最大迭代次数。
[0027]综上所述，由于采用了上述技术方案，本专利技术的有益效果是：首先，学习系统中的角色分为发起方、协助方和协调方三个类型，通过3种角色组建一个联合模型，协作方各自本体保留自己的本地模型，其次，对于图神经网络模型需要拥有大量的点边特征数据，所以在真实环境下，我们需要从多方数据源拿到我们需要的数据，但数据在各自节点的物理机上并且在模型训练过程中不会传输原数据，在进行多方数据对齐时，通过rsa加密的方式进行加密对齐，然后，进行图神经网络联邦学习训练时发起方和协助方通过各自的数据在本地进行训练，双方之间不传输原始的业务数据，仅传输加密后的样本个数及标签。
附图说明
[0028]图1示出了根据本专利技术实施例提供的一种基于图计算的联邦学习系统的结构示意图；
[0029]图2示出了根据本专利技术实施例提供的一种基于图计算的联邦学习方法流程示意图。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0031]实施例一
[0032]请参阅图1和图2，本专利技术提供一种技术方案：一种基于图计算的联邦学习系统，包括模型构建模块、模型运行模块和模型评估模块，模型运行模块包括图神经网络组件、机器学习组件和连接组件，模型运行模块包括模型参数配置单元、模型运行单元和模型运行结果及日志查看单元，模型评估模块包括模型下载单元和模型预测单元，还包括端对端缓存器、数据存储器和显示模块，端对端缓存器用于协调不同服务节点的处理相关数据，数据存储器用于存放端节点运行的数据和日志，显示模块用于显示与联合模型运行后相关节点数据和节点日志；
[0033]模型构建模块通过组合图神经网络组件和机器学习组件组成子模型；
[0034]模型运行模块对子模型进行参数配置，并对参数配置完成的子模型进行运行，运行成功后生成联合模型，以dag图的形式运行；
[0035]模型评估模块对联合模型进行评估和预测，查看模型的准确率，并导出联合模型。
[0036]请参阅图1，连接组件用来连接图神经网络组件和机器学习组件，以构建得到完整的子模型。
[0037]请参阅图1，模型参数配置单元联合发起方和协助方的数据对子模型进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图计算的联邦学习系统，其特征在于，包括模型构建模块、模型运行模块和模型评估模块，所述模型运行模块包括图神经网络组件、机器学习组件和连接组件，所述模型运行模块包括模型参数配置单元、模型运行单元和模型运行结果及日志查看单元，所述模型评估模块包括模型下载单元和模型预测单元；所述模型构建模块通过组合图神经网络组件和机器学习组件组成子模型；所述模型运行模块对子模型进行参数配置，并对参数配置完成的子模型进行运行，运行成功后生成联合模型，以dag图的形式运行；所述模型评估模块对联合模型进行评估和预测，查看模型的准确率，并导出联合模型。2.根据权利要求1所述的一种基于图计算的联邦学习系统，其特征在于，还包括端对端缓存器、数据存储器和显示模块，所述端对端缓存器用于协调不同服务节点的处理相关数据，所述数据存储器用于存放端节点运行的数据和日志，所述显示模块用于显示与联合模型运行后相关节点数据和节点日志。3.根据权利要求1所述的一种基于图计算的联邦学习系统，其特征在于，所述连接组件用来连接图神经网络组件和机器学习组件，以构建得到完整的子模型。4.根据权利要求1所述的一种基于图计算的联邦学习系统，其特征在于，所述模型参数配置单元联合发起方和协助方的数据对子模型进行参数配置，并通过模型运行单元对配置完成的子模型进行运行，运行成功后生成联合模型，通过模型运行结果及日志查看单元查看各组件的结果和日志。5.根据权利要求1所述的一种基于...

【专利技术属性】
技术研发人员：陈细平，陈卫强，姚家渭，
申请(专利权)人：杭州半云科技有限公司，
类型：发明
国别省市：