一种联邦学习方法、系统及相关装置制造方法及图纸

技术编号:42501117 阅读:27 留言:0更新日期:2024-08-22 14:14
本申请提供了一种联邦学习方法、系统及相关装置,涉及联邦学习技术领域,方法包括:多个第一设备各自用本地训练集中的训练样本按如下方式训练本地模型:获取本地模型对训练样本进行编码后根据编码特征预测的语义属性信息;以使根据预测的语义属性信息预测的类别与训练样本的类标签趋于一致为目标对本地模型进行参数更新,各第一设备的本地训练集中包含具有可见类标签的训练样本和具有不可见类标签的训练样本;各第一设备将更新后的模型参数发送至第二设备;第二设备对接收的模型参数进行聚合,将聚合后参数发送至多个第一设备;各第一设备根据聚合后参数更新本地模型的参数。基于本申请提供的方法能够获得具有较强泛化能力的模型。

【技术实现步骤摘要】

本申请涉及联邦学习,尤其涉及一种联邦学习方法、系统及相关装置


技术介绍

1、联邦学习是一种带有隐私保护、安全加密技术的分布式机器学习框架,旨在让分散的各参与方在满足不向其他参与方披露隐私数据的前提下,协作进行机器学习的模型训练。

2、联邦学习包括横向联邦学习和纵向联邦学习,以横向联邦学习为例,在联邦学习中,各第一设备(参与方的设备)基于自己的本地训练数据训练本地模型,将训练得到的模型参数发送至第二设备(比如中心服务器),第二设备对接收的模型参数进行聚合,将聚合后参数发送至各第一设备,各第一设备根据聚合后参数对本地模型进行参数更新,在该过程中,由于各参与方的训练数据始终存储在本地,不对外发送,因此,能够满足数据安全和隐私保护要求。

3、在实际应用场景中,由于预测需求的不断变化,可能会出现模型未见过的类别的样本,这就要求模型能够对未见过的类别的样本也能有效分类。然而,目前的联邦学习方案并未考虑实际应用场景中会出现模型未见过的类别的样本的情况,这就导致基于目前的联邦学习方案获得的模型只能对其见过的类别的样本进行有效分类,而无法对未见过的本文档来自技高网...

【技术保护点】

1.一种联邦学习方法,其特征在于,应用于横向联邦学习系统,所述横向联邦学习系统包括多个第一设备,以及第二设备,所述多个第一设备各自具有本地训练集,各第一设备的本地训练集中包含具有可见类标签的训练样本以及具有不可见类标签的训练样本,各第一设备的本地训练集中的训练样本为文本、图像或语音数据;

2.根据权利要求1所述的联邦学习方法,其特征在于,所述以使根据预测的语义属性信息预测的类别与训练样本的类标签趋于一致为目标,对第t-1轮训练后的本地模型进行参数更新,包括:

3.根据权利要求1所述的联邦学习方法,其特征在于,所述以使根据预测的语义属性信息预测的类别与训练样本的类标...

【技术特征摘要】

1.一种联邦学习方法,其特征在于,应用于横向联邦学习系统,所述横向联邦学习系统包括多个第一设备,以及第二设备,所述多个第一设备各自具有本地训练集,各第一设备的本地训练集中包含具有可见类标签的训练样本以及具有不可见类标签的训练样本,各第一设备的本地训练集中的训练样本为文本、图像或语音数据;

2.根据权利要求1所述的联邦学习方法,其特征在于,所述以使根据预测的语义属性信息预测的类别与训练样本的类标签趋于一致为目标,对第t-1轮训练后的本地模型进行参数更新,包括:

3.根据权利要求1所述的联邦学习方法,其特征在于,所述以使根据预测的语义属性信息预测的类别与训练样本的类标签趋于一致为目标,对第t-1轮训练后的本地模型进行参数更新,包括:

4.根据权利要求1~3中任一项所述的联邦学习方法,其特征在于,还包括:

5.根据权利要求4所述的联邦学习方法,其特征在于,所述第二设备根据来自所述多个第一设备的性能指标,对来自所述多个第一设备的模型参数进行聚合,包括:

6.根据权利要求5所述的联邦学习方法,其特征在于,所述第二设备对来自所述多个第一设备的性能指标进行聚合,包括:

7.一种联邦学习方法,其特征在于,应用于纵向联邦学习系统,所述纵向联邦学习系统包括第一设备和第二设备,所述第一设备具有本地底层模型和本地顶层模型,所述第二设备只具有本地底层模型,所述第一设备的本地训练集中包含具有可见类标签的训练样本以及具有不可见类标签的训练样本,所述第二设备的本地训练集中包含与所述第一设备的本地训练集中的训练样本相关的无标签训练样本,所述第一设备和所述第二...

【专利技术属性】
技术研发人员:储双双王宇轩竺乐祺高婷石亚飞黄建贵刘磊陈巍汪晶贺茂华张金辉庞天阳
申请(专利权)人:讯飞华中武汉有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1