一种用于联邦学习的系统技术方案

技术编号:41851570 阅读:29 留言:0更新日期:2024-06-27 18:28
本发明专利技术提供了一种用于联邦学习的系统,包括:中心端管理模块,用于部署在中心端计算设备上,被配置为:执行联邦任务相关的一个或者多个指令,根据预设的联邦学习框架进行联邦任务的调度和对应模型的参数聚合,根据单个联邦任务的粒度和授权,分别赋予每个联邦任务访问对应联邦方计算设备上至少部分隐私数据资源的权限,并在任务结束后即时撤销权限;零信任代理模块,用于部署在参与联邦任务的联邦方计算设备上,以根据中心端模块赋予联邦任务的权限,受控地访问本地存储的对应隐私数据资源,根据预设的联邦学习框架完成对应模型的训练和推理过程;本发明专利技术通过联邦任务级别的资源访问即时授权和用后撤权,保障联邦学习过程中,隐私数据资源的安全。

【技术实现步骤摘要】

本专利技术涉及人工智能领域,具体来说涉及机器学习,更具体地说,涉及一种用于联邦学习的系统


技术介绍

1、近年来,人工智能技术突飞猛进,尤其是以chatgpt为代表的大模型、多模态模型的快速发展,不仅对算力提出了更高的要求,同时也对数据规模和质量提出了更严格的标准。但因为数据安全、隐私、监管或者公司战略发展等因素,海量、优质的数据分散在各单位、公司内部,无法直接共享共用。

2、在此背景下,出现了以联邦学习为训练机制的机器学习框架,如联邦学习框架fate(federated ai technology enabler)、flower等,都是目前业内比较流行、成熟的联邦学习框架。在训练过程中,联邦学习机制通过数据不动模型动,通过各个联邦方之间共享模型参数或梯度的方式,最终实现数据可用不可见,极大地缓解了数据隐私、数据安全保护等问题。

3、联邦学习机制虽然在理论上保证了模型训练过程中数据的安全性、隐私性,但并未考虑如何保证各联邦方安全互信、保证各个联邦方应用服务的安全性等方面的问题。同时,比起传统机器学习模型,联邦学习的分布式特性使其面临本文档来自技高网...

【技术保护点】

1.一种用于联邦学习的系统,包括:

2.根据权利要求1所述的系统,其特征在于,所述中心端管理模块包括:

3.根据权利要求2所述的系统,其特征在于,所述中心端管理模块,还被配置为:对不同类型的隐私数据资源进行分级管控,将属于不同级别的隐私数据资源使用不同的访问控制措施。

4.根据权利要求3所述的系统,其特征在于,隐私数据资源的类型包括:静态的数据集、算法、模型、联邦任务和元信息资源,以及动态的联邦任务执行请求,其中,所述模型是所述算法经过所述数据集训练得到的产物,元信息资源包括用于描述数据集、算法、模型和/或联邦任务的信息,其中:p>

5.根据权...

【技术特征摘要】

1.一种用于联邦学习的系统,包括:

2.根据权利要求1所述的系统,其特征在于,所述中心端管理模块包括:

3.根据权利要求2所述的系统,其特征在于,所述中心端管理模块,还被配置为:对不同类型的隐私数据资源进行分级管控,将属于不同级别的隐私数据资源使用不同的访问控制措施。

4.根据权利要求3所述的系统,其特征在于,隐私数据资源的类型包括:静态的数据集、算法、模型、联邦任务和元信息资源,以及动态的联邦任务执行请求,其中,所述模型是所述算法经过所述数据集训练得到的产物,元信息资源包括用于描述数据集、算法、模型和/或联邦任务的信息,其中:

5.根据权利要求2所述的系统,其特征在于,所述中心端管理模块被配置为:

6.根据权利要求2...

【专利技术属性】
技术研发人员:陈益强马兴敏董帆蒋鑫龙赵绪浩
申请(专利权)人:中国科学院计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1