【技术实现步骤摘要】
本说明书实施例涉及人工智能，特别涉及基于拆分联邦学习的公共服务模型训练系统。
技术介绍
1、随着计算机和互联网技术的发展，公共服务各领域相关数据量急剧膨胀，相关部门的工作强度与复杂性日益升高，在保护数据隐私的前提下高效开发公共服务大模型尤为关键。传统联邦学习需客户端共享完整模型参数，导致模型架构暴露，且梯度交互仍存在原始数据泄露风险；公共服务部门终端算力有限，难以承载全量参数的大模型训练，而传统联邦学习的频繁全局参数传输导致通信开销剧增。因此亟需一种有效的方案以解决上述问题。
技术实现思路
1、有鉴于此，本说明书实施例提供了一种基于拆分联邦学习的公共服务模型训练系统。本说明书一个或者多个实施例同时涉及一种数据处理方法，一种数据处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。
2、根据本说明书实施例的第一方面，提供了一种基于拆分联邦学习的公共服务模型训练系统，包括多个服务终端，服务端和聚合服务端，所述多个服务终端部署公共服务模...
【技术保护点】
1.一种基于拆分联邦学习的公共服务模型训练系统，其特征在于，包括多个服务终端，服务端和聚合服务端，所述多个服务终端部署公共服务模型的头部层和嵌入层，所述服务端部署所述公共服务模型的编码层，包括：
2.根据权利要求1所述的基于拆分联邦学习的公共服务模型训练系统，其特征在于，所述服务端，对所述公共服务模型进行初始化，并拆分初始化后的公共服务模型，获得所述头部层、所述嵌入层和所述编码层，将所述头部层和所述嵌入层分别对应的第一模型参数发送至各个服务终端，用于在各个服务终端部署所述头部层和所述嵌入层。
3.根据权利要求1所述的基于拆分联邦学习的公共服务模...
【技术特征摘要】
1.一种基于拆分联邦学习的公共服务模型训练系统，其特征在于，包括多个服务终端，服务端和聚合服务端，所述多个服务终端部署公共服务模型的头部层和嵌入层，所述服务端部署所述公共服务模型的编码层，包括：
2.根据权利要求1所述的基于拆分联邦学习的公共服务模型训练系统，其特征在于，所述服务端，对所述公共服务模型进行初始化，并拆分初始化后的公共服务模型，获得所述头部层、所述嵌入层和所述编码层，将所述头部层和所述嵌入层分别对应的第一模型参数发送至各个服务终端，用于在各个服务终端部署所述头部层和所述嵌入层。
3.根据权利要求1所述的基于拆分联邦学习的公共服务模型训练系统，其特征在于，所述多个服务终端，利用所述嵌入层对所述本地服务问题数据进行处理，获得初始问题数据特征，针对所述初始问题数据特征添加噪声特征，获得问题数据特征，将所述问题数据特征发送至所述服务端；
4.根据权利要求1所述的基于拆分联邦学习的公共服务模型训练系统，其特征在于，所述多个服务终端，确定所述本地服务问题数据对应的目标作答数据，基于所述目标作答数据和所述预测作答数据计算损失值，根据所述损失值对所述头部层进行更新，获得头部层参数和头部层梯度。
5.根据权利要求1所述的基于拆分联邦学习的公共服务模型训练系统，其特征在于，所述多个服务终端，接收所述服务端反...
【专利技术属性】
技术研发人员：朱梦莹，宋承昕，郑小林，阳梦园，陈飞月，程冠杰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。