基于联邦学习的数据审计系统、方法、计算机设备及介质技术方案

本发明专利技术公开了一种基于联邦学习的数据审计系统、方法、设备及介质，该系统包括：密钥管理模块、模型买家节点、计算节点、聚合节点和代理节点集群；其中，密钥管理模块生成的密钥包括分片公钥、分片私钥、联合私钥、联合公钥；模型买家节点用于发布待训练模型参数与提供测试集；每个计算节点进行本地模型训练，得到本地梯度，并使用注册后代理节点分发的分片公钥进行梯度加密，得到本地梯度密文；聚合节点用于对本地梯度密文进行解密并同态聚合，得到聚合梯度，并对聚合梯度进行加密，得到聚合梯度密文；代理节点集群用于对本地梯度密文与聚合梯度密文解密，并通过得到的解密明文进行测试，确定参数审计结果。提高数据审计的安全性和效率。和效率。和效率。

【技术实现步骤摘要】
基于联邦学习的数据审计系统、方法、计算机设备及介质


[0001]本专利技术涉及数据处理领域，尤其涉及一种基于联邦学习的数据审计系统、方法、计算机设备及介质。

技术介绍

[0002]联邦学习隐私保护技术能在保证参与方数据安全与隐私的前提下，满足用户机器学习建模、训练与预测。联邦学习无须源数据聚合形成训练数据共享，降低数据泄露的风险。联邦学习使用多方安全计算的方式，由多个参与方共同进行模型训练，解决了数据孤岛情形下的机器学习问题。也是由于这种多方参与、数据加密的特性，在具体的联邦学习过程中，需要实时且并行地进行审核监控，而针对交互数据的审计直接影响到联邦学习的模型结果。
[0003]在现有的一些实现方式中，有一些通过构建针对不同参与方的审计系统实现对联邦学习的各参与方之间的数据传输过程进行管理；还有一些通过贡献度对比机制构建了针对联邦学习参与方中的恶意行为的审计系统；还有一些所设计的密钥管理模块能满足各种联邦学习框架和软件产品对规范性和安全性的要求，而且能有效记录和管理密钥的创建和删除等操作，在考虑到不同参与方差异的前提下利于满足后续的安全审计的需求；还有通过控制流审计、算法流审计以及数据流审计中的一种或者多种，通过不同的审计级别和设定各自独立的审计机制保障对联邦学习任务中涉及多个参与方的情况下执行流程的有序进行和安全性。
[0004]专利技术人在实现本专利技术的过程中，发现上述实现方式至少存在如下问题：
[0005]1)恶意参与方可能提交虚假的梯度参数，而由于交互数据经过加密使得其真实性难以考察；
[0006]2)数据审计与联邦学习耦合紧，审计过程多为交互过程，通过本地参与方进行数据审计，会消耗过多的本地计算资源，导致效率降低。

技术实现思路

[0007]本专利技术实施例提供一种基于联邦学习的数据审计系统、方法、计算机设备和存储介质，以提高数据审查的安全和效率。
[0008]为了解决上述技术问题，本申请实施例提供一种基于联邦学习的数据审计系统，包括密钥管理模块、模型买家节点、计算节点、聚合节点和代理节点集群；其中，
[0009]所述密钥管理模块用于生成、存储和销毁密钥，所述生成的密钥包括分片公钥、分片私钥、联合私钥、联合公钥，将所述联合公钥提供给聚合节点，所述分片公钥、所述分片私钥和所述联合私钥被分发给代理节点集群；
[0010]所述模型买家节点用于发布待训练模型参数与提供测试集，并针对通过审计的联邦学习任务，向代理节点集群购买联合私钥用于解密聚合梯度密文；
[0011]每个所述计算节点进行本地模型训练，得到本地梯度，并使用注册后代理节点分
发的分片公钥进行梯度加密，得到本地梯度密文，将所述本地梯度密文上传至所述聚合节点与所述代理节点集群；
[0012]所述聚合节点用于对所述本地梯度密文进行解密并同态聚合，得到聚合梯度，使用所述联合公钥对所述聚合梯度进行加密，得到聚合梯度密文，还用于将所述聚合梯度密文发送至所述代理节点集群；
[0013]所述代理节点集群分别使用分片私钥和联合私钥解密每个本地梯度密文与聚合梯度密文，得到解密明文，并通过所述解密明文更新待训练模型，采用测试集对更新后的待训练模型进行测试得到本地分数与聚合分数，通过取若干计算节点的平均分数与聚合分数对比，确定参数审计结果。
[0014]可选地，所述密钥管理模块包括：
[0015]密钥生成单元，用于生成分片密钥对、联合密钥对，并将其保存至密钥空间内，所述分片密钥对包括分片私钥和分片公钥，所述联合密钥对包括联合公钥和联合私钥；
[0016]所述密钥存储单元，用于生成响应代理节点集群或聚合节点请求的密钥空间，所述密钥空间用于存储生成的密钥和密钥的状态信息，所述密钥状态根据与密钥对应的联邦学习任务状态以及与联邦学习任务对应的安全审计需求确定；
[0017]密钥服务处理单元，用于根据代理节点的请求，调用密钥生成单元生成分片密钥对与联合密钥对，将各密钥状态保存至各密钥所在的密钥空间中，所述密钥服务处理单元还用于读取密钥存储单元中密钥空间保存的分片密钥对与联合密钥对。
[0018]可选地，所述计算节点包括：
[0019]认证单元，用于向所述代理节点集群发起训练申请，在身份认证通过后，为每个所述计算节点分配指向自身的标识符；
[0020]第一接收单元，用于接收从代理节点集群获取的待训练模型初始参数与分片公钥；
[0021]训练单元，用于使用本地数据与待训练模型初始参数对待训练模型进行训练，得到本地梯度；
[0022]上传单元，用于通过分片密钥对将本地梯度与标识符加密，得到本地梯度密文，并上传至聚合节点与所述代理节点集群。
[0023]可选地，所述聚合节点包括：
[0024]第二接收单元，用于在计算节点通过身份认证完成本地训练后，接收由计算节点上传的本地梯度密文与由密钥管理模块所分发的联合公钥；
[0025]聚合单元，用于对每个计算节点上传的本地梯度密文进行同态聚合后，解密后得到聚合梯度；
[0026]第一发送单元，将聚合梯度利用联合公钥加密，得到聚合梯度密文，并送至代理节点集群。
[0027]可选地，所述代理节点集群，包括：
[0028]第三接收单元，用于接收密钥管理模块所分发的分片密钥对与联合私钥，接收计算节点的本地梯度密文与聚合节点的聚合梯度密文，还用于接收来自模型买家节点所发布的待训练模型初始参数与若干测试集；
[0029]第二发送单元，用于发送模型信息与密钥信息；
[0030]审计单元，用于进行恶意参数的审计。
[0031]可选地，所述第二发送单元包括：
[0032]分配子单元，用于在所述计算节点通过认证后，为所述计算节点分配指向的代理节点，并发送待训练模型参数与分片公钥至所述计算节点；
[0033]迭代子单元，用于每轮迭代中，下发通过审计后的聚合梯度密文至每个所述计算节点；
[0034]发送子单元，用于发送训练结束后的模型参数密文至模型买家节点。
[0035]可选地，所述审计单元包括：
[0036]本地分数测试子单元，用于通过分片私钥解密本地梯度密文，根据所获由标识符指向的计算节点提供的本地梯度对待训练模型参数进行更新，并使用测试集对本地梯度进行测试，得到本地分数，并记录下该计算节点的标识符；
[0037]聚合分数测试子单元，用于采用联合私钥解密聚合梯度密文，根据解密得到的聚合梯度对待训练模型参数进行更新，并使用测试集对聚合梯度进行测试，得到聚合分数；
[0038]审计恶意参数子单元，通过聚合分数与取若干计算节点的平均本地分数对比判断是否存在上传虚假参数行为的存在；
[0039]定位异常节点，用于进行不同子集相关的平均分数时，若模型精度出现异常，对该集合不同子集中的若干参与方的本地分数分别进行取平均值操作并使用测试集进行测试，获得若干子集的平均分数，对比子集间节点差异和分数差异，定位异常节点，对异常节点反本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的数据审计系统，其特征在于，包括：密钥管理模块、模型买家节点、计算节点、聚合节点和代理节点集群；其中，所述密钥管理模块用于生成、存储和销毁密钥，所述生成的密钥包括分片公钥、分片私钥、联合私钥、联合公钥，将所述联合公钥提供给聚合节点，所述分片公钥、所述分片私钥和所述联合私钥被分发给代理节点集群；所述模型买家节点用于发布待训练模型参数与提供测试集，并针对通过审计的联邦学习任务，向代理节点集群购买联合私钥用于解密聚合梯度密文；每个所述计算节点进行本地模型训练，得到本地梯度，并使用注册后代理节点分发的分片公钥进行梯度加密，得到本地梯度密文，将所述本地梯度密文上传至所述聚合节点与所述代理节点集群；所述聚合节点用于对所述本地梯度密文进行解密并同态聚合，得到聚合梯度，使用所述联合公钥对所述聚合梯度进行加密，得到聚合梯度密文，还用于将所述聚合梯度密文发送至所述代理节点集群；所述代理节点集群分别使用分片私钥和联合私钥解密每个本地梯度密文与聚合梯度密文，得到解密明文，并通过所述解密明文更新待训练模型，采用测试集对更新后的待训练模型进行测试得到本地分数与聚合分数，通过取若干计算节点的平均分数与聚合分数对比，确定参数审计结果。2.如权利要求1所述的基于联邦学习的数据审计系统，其特征在于，所述密钥管理模块包括：密钥生成单元，用于生成分片密钥对、联合密钥对，并将其保存至密钥空间内，所述分片密钥对包括分片私钥和分片公钥，所述联合密钥对包括联合公钥和联合私钥；所述密钥存储单元，用于生成响应代理节点集群或聚合节点请求的密钥空间，所述密钥空间用于存储生成的密钥和密钥的状态信息，所述密钥状态根据与密钥对应的联邦学习任务状态以及与联邦学习任务对应的安全审计需求确定；密钥服务处理单元，用于根据代理节点的请求，调用密钥生成单元生成分片密钥对与联合密钥对，将各密钥状态保存至各密钥所在的密钥空间中，所述密钥服务处理单元还用于读取密钥存储单元中密钥空间保存的分片密钥对与联合密钥对。3.如权利要求1所述的基于联邦学习的数据审计系统，其特征在于，所述计算节点包括：认证单元，用于向所述代理节点集群发起训练申请，在身份认证通过后，为每个所述计算节点分配指向自身的标识符；第一接收单元，用于接收从代理节点集群获取的待训练模型初始参数与分片公钥；训练单元，用于使用本地数据与待训练模型初始参数对待训练模型进行训练，得到本地梯度；上传单元，用于通过分片密钥对将本地梯度与标识符加密，得到本地梯度密文，并上传至聚合节点与所述代理节点集群。4.如权利要求1所述的基于联邦学习的数据审计系统，其特征在于，所述聚合节点包括：第二接收单元，用于在计算节点通过身份认证完成本地训练后，接收由计算节点上传
的本地梯度密文与由密钥管理模块所分发的联合公钥；聚合单元，用于对每个计算节点上传的本地梯度密文进行同态聚合后，解密后得到聚合梯度；第一发送单元，将聚合梯度利用联合公钥加密，得到聚合梯度密文，并送至代理节点集群。5.如权利要求1至4任一项所述的基于联邦学习的数据审计系统，其特征在于，所述代理节点集群，包括：第三接收单元，用于接收密钥管理模块所分发的分片密钥对与联合私钥，接收计算节点的本地梯度密文与聚合节点的聚合梯度密文，还用于接收来自模型买家节点所发布的待训练模型初始参数与若干测试集；第二发送单元，用于发送模型信息与密钥信息；审计单元，用于进行恶意参...

【专利技术属性】
技术研发人员：曹文治，刘利枚，卞阳，钱勇，杨俊丰，李倩，陈不凡，方竞，杨天雅，
申请(专利权)人：上海富数科技有限公司，
类型：发明
国别省市：