一种基于联邦学习的领域大模型及训练体系方法技术

技术编号:44930643 阅读:11 留言:0更新日期:2025-04-08 19:12
一种基于联邦学习的领域大模型及训练体系方法,创建模型构建任务,并确定参与方及其数据集信息;各参与方利用同态加密公钥对本地训练得到的梯度进行加密,并将加密梯度发送至云数据中心聚合节点;在云数据中心,以流水线并行模式从参数队列中选取加密梯度进行聚合,在可信执行环境中利用同态加密私钥解密聚合梯度;利用解密梯度对当前大模型进行参数更新,获得多个更新后模型;对所有更新后模型进行参数聚合,将聚合模型发送至各参与方,作为新的当前模型,开始下一轮训练;本发明专利技术通过联邦学习技术,在保护数据隐私的前提下,利用多方数据联合训练大模型,以提高模型的泛化能力和准确性,适用于云数据中心、分布式计算环境等多种场景。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其涉及一种基于联邦学习的领域大模型及训练体系方法


技术介绍

1、随着人工智能技术的快速发展,大规模模型的训练和应用已成为趋势。然而,传统的大规模模型训练通常需要大量集中存储的数据,这不仅增加了数据传输和存储的成本,还可能引发数据隐私和安全问题。

2、目前,虽然已有一些基于联邦学习的模型训练方法,但这些方法大多聚焦于简单的模型,并且,针对于部分领域现有的问题,如数据存储较为分散且难以聚集、部分参与方无法进行网络互通、各方数据保持不断增长等,难以直接应用于复杂领域的大模型训练。

3、因此,如何设计并实现一种合适高效的基于联邦学习的领域大模型训练体系方法,成为一个亟待解决的问题。


技术实现思路

1、本专利技术的目的是为了克服现有技术中的不足,提供一种基于联邦学习的领域大模型及训练体系方法,通过联邦学习技术,在保护数据隐私的前提下,利用多方数据联合训练大模型,以提高模型的泛化能力和准确性,适用于云数据中心、分布式计算环境等多种场景。

2、本专利技术为了实本文档来自技高网...

【技术保护点】

1.一种基于联邦学习的领域大模型,其特征在于:所述基于联邦学习的领域大模型包括通信服务、训练服务、模型管理服务、注册中心、分布式计算引擎、存储系统;

2.根据权利要求1所述的一种基于联邦学习的领域大模型,其特征在于:所述联邦学习组件包括逻辑回归、深度神经网络、支持向量机、决策树、朴素贝叶斯。

3.一种如权1所述的一种基于联邦学习的领域大模型的训练体系方法,其特征在于:

【技术特征摘要】

1.一种基于联邦学习的领域大模型,其特征在于:所述基于联邦学习的领域大模型包括通信服务、训练服务、模型管理服务、注册中心、分布式计算引擎、存储系统;

2.根据权利要求1所述的一种基于联邦...

【专利技术属性】
技术研发人员:刘镇瑜杨英科王亚博林欢徐忠富燕明亮孙文培周可可
申请(专利权)人:中国人民解放军六三八九一部队
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1