【技术实现步骤摘要】
保护隐私的模型联合训练方法及装置
本说明书一个或多个实施例涉及计算机
，尤其涉及一种保护隐私的模型联合训练方法及装置。
技术介绍
联邦学习（FederatedLearning），也称联合学习，是一种新兴的人工智能基础技术。其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方之间开展高效率的机器学习。在传统的模型联合学习或训练中，只要协作方发布模型训练任务，各参与方均可参与本次模型联合学习或训练。因此，需要提供一种更合理的方案，可以实现对各参与方的筛选，进而可以提升模型训练效果。
技术实现思路
本说明书一个或多个实施例描述了一种保护隐私的模型联合训练方法及装置，可以实现对终端设备的筛选，进而可以提升模型训练效果。第一方面，提供了一种保护隐私的模型联合训练方法，包括：发布模型训练任务；所述模型训练任务至少指示待联合训练的初始模型，以及用于训练所述初始模型的训练样本的描述信息；接收若干终端设备发送的参与请求；...
【技术保护点】
1.一种保护隐私的模型联合训练方法，应用于服务端；所述方法包括：/n发布模型训练任务；所述模型训练任务至少指示待联合训练的初始模型，以及用于训练所述初始模型的训练样本的描述信息；/n接收若干终端设备发送的参与请求；/n根据所述参与请求，查询贡献值列表，以获取所述若干终端设备各自的累计贡献值；其中所述贡献值列表用于记录在历次模型联合训练中参与训练的终端设备各自的累计贡献值；/n基于所述累计贡献值，从所述若干终端设备中选取各目标终端设备，并将所述初始模型拆分为对应于所述各目标终端设备的多个子模型；/n向所述各目标终端设备发送联合训练请求；所述联合训练请求用于指示所述各目标终端设...
【技术特征摘要】
1.一种保护隐私的模型联合训练方法，应用于服务端；所述方法包括：
发布模型训练任务；所述模型训练任务至少指示待联合训练的初始模型，以及用于训练所述初始模型的训练样本的描述信息；
接收若干终端设备发送的参与请求；
根据所述参与请求，查询贡献值列表，以获取所述若干终端设备各自的累计贡献值；其中所述贡献值列表用于记录在历次模型联合训练中参与训练的终端设备各自的累计贡献值；
基于所述累计贡献值，从所述若干终端设备中选取各目标终端设备，并将所述初始模型拆分为对应于所述各目标终端设备的多个子模型；
向所述各目标终端设备发送联合训练请求；所述联合训练请求用于指示所述各目标终端设备，基于各自维护的、符合所述描述信息中至少部分描述信息的私有样本，在本地训练对应子模型；
接收所述各目标终端设备发送的训练结果；
根据所述各目标终端设备的训练结果，更新所述贡献值列表，以及根据所述各目标终端设备的训练结果，更新所述初始模型，得到联合训练后的目标模型。
2.根据权利要求1所述的方法，所述根据所述各目标终端设备的训练结果，更新所述贡献值列表，包括：
确定所述各目标终端设备的训练结果的质量分数，以及确定所述各目标终端设备的耗时分数；
基于所述各目标终端设备的耗时分数以及训练结果的质量分数，确定所述各目标终端设备的本次贡献值；
基于所述各目标终端设备的本次贡献值，更新所述贡献值列表中所述各目标终端设备的累计贡献值。
3.根据权利要求2所述的方法，所述各目标终端设备包括第一终端设备；
所述确定所述各目标终端设备的训练结果的质量分数，包括：
基于所述第一终端设备的训练结果，假定更新所述初始模型，并基于假定更新后的所述初始模型以及所述服务端维护的训练样本，确定对应于所述第一终端设备的第一损失；
基于基准损失与所述第一损失的差值，确定所述第一终端设备的训练结果的质量分数，其中，所述基准损失基于所述初始模型以及所述服务端维护的训练样本确定。
4.根据权利要求2所述的方法，所述各目标终端设备包括第一终端设备；
所述确定所述各目标终端设备的训练结果的质量分数，包括：
基于所述第一终端设备的训练结果，假定更新所述初始模型，并基于假定更新后的所述初始模型以及所述服务端维护的测试样本，确定对应于所述第一终端设备的第一性能指标；
基于基准性能指标与所述第一性能指标的差值，确定所述第一终端设备的训练结果的质量分数，其中，所述基准性能指标基于所述初始模型以及所述服务端维护的测试样本确定。
5.根据权利要求2所述的方法，所述各目标终端设备包括第一终端设备；所述确定所述各目标终端设备的耗时分数，包括：
根据所述联合训练请求的发送时间与所述第一终端设备的训练结果的接收时间的差值，确定在本次模型联合训练中所述第一终端设备的耗时时间；
根据所述耗时时间，确定所述第一终端设备的耗时分数；其中，所述耗时分数反相关于所述耗时时间。
6.根据权利要求2所述的方法，所述基于所述各目标终端设备的耗时分数以及训练结果的质量分数，确定所述各目标终端设备的本次贡献值，包括：
对于所述各目标终端设备中的每个终端设备，对该终端设备的耗时分数以及训练结果的质量分数进行求和或者加权求和，得到该终端设备的本次贡献值。
7.根据权利要求2所述的方法，所述基于所述各目标终端设备的本次贡献值，更新所述贡献值列表中所述各目标终端设备的累计贡献值，包括：
对于所述各目标终端设备中的每个终端设备，将该终端设备的本次贡献值与预定系数相乘，并将得到的乘积累加到该终端设备的累计贡献值中，得到该终端设备的更新后的累计贡献值。
8.根据权利要求1-7任一项所述的方法，所述训练结果包括模型参数和/或模型梯度。
9.根据权利要求1所述的方法，所述查询贡献值列表，包括：
查询存储在本地的所述贡献值列表，得到所述若干终端设备各自的累计贡献值。
10.根据权利要求1所述的方法，所述查询贡献值列表，包括：
向区块链网络的多个节点中任意的第一节点发送查询请求，所述查询请求用于指示所述第一节点，查询存储在所述区块链网络中的所述贡献值列表，并返回查询到的所述若干终端设备各自的累计贡献值。
11.根据权利要求1所述的方法，所述训练结果包括模型参数；所述根据所述各目标终端设备的训练结果，更新所述初始模型，得到联合训练后的目标模型，包括：
若所述各目标终端设备的模型参数所对应的样本属性均不同，则对所述各目标终端设备的模型参数进行拼接，并基于拼接结果更新所述初始模型的初始模型参数，得到联合训练后的目标模型；
若任意的两个目标终端设备的模型参数所对应的样本属性相同，则从中选取性能最高的模型参数，并将其作为该样本属性对应的最终模型参数；在确定出每个样本属性对应的最终模型参数之后，将各样本属性对应的最终模型参数进行拼接，并基于拼接结果更新所述初始模型的初始模型参数，得到联合训练后的目标模型。
12.根据权利要求1所述的方法，所述目标模型用于进行业务处理；所述业务处理包括以下任一种：基于图像识别的业务处理、基于音频识别的业务处理以及基于文本分析的业务处理；
相应地，所述私有样本或者所述训练样本包括以下任一种：图片样本、音频样本以及文本样本。
13.一种保护隐私的模型联合训练方法，应用于若干终端设备中任意的第一终端设备；所述方法包括：
接收服务端发布的模型训练任务；所述模型训练任务至少指示待联合训练的初始模型，以及用于训练所述初始模型的训练样本的描述信息；
向所述服务端发送参与请求；以使所述服务端根据所述参与请求，查询贡献值列表，以获取所述第一终端设备的累计贡献值；所述贡献值列表用于记录在历次模型联合训练中参与训练的终端设备各自的累计贡献值；
接收所述服务端在基于所述第一终端设备的累计贡献值，将所述第一终端设备选取为目标终端设备，并将所述初始模型拆分为对应于各目标终端设备的多个子模型后发送的联合训练请求；
基于维护的、符合所述描述信息中至少部分描述信息的私有样本，在本地训练对应子模型；
向所述服务端发送训练结果，以使所述服务端根据所述各目标终端设备的训练结果，更新所述贡献值列表，以及根据所述各目标终端设备的训练结果，更新所述初始模型，得到联合训练后的目标模型。
14.根据权利要求13所述的方法，所述向所述服务端发送参与请求，包括：
判断所述第一终端设备维护的私有样本是否与所述描述信息中至少部分描述信息相符合；
若是，则向所述服务端发送参与请求。
15.根据权利要求13或14所述的方法，所述训练结果包括模型参数和/或模型梯度。
16.根据权利要求13所述的方法，所述目标模型用于进行业务处理；所述业务处理包括以下任一种：基于图像识别的业务处理、基于音频识别的业务处理以及基于文本分析的业务处理；
相应地，所述私有样本或者所述训练样本包括以下任一种：图片样本、音频样本以及文本样本。
17.一种保护隐私的模型联合训练装置，设置于服务端；所述装置包括：
发送单元，用于发布模型训练任务；所述模型训练任务至少指示待联合训练的初始模型，以及用于训...
【专利技术属性】
技术研发人员：李龙飞，周俊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。