一种模型训练方法、装置、设备及介质制造方法及图纸

技术编号:40537241 阅读:19 留言:0更新日期:2024-03-01 13:59
本发明专利技术公开了一种模型训练方法、装置、设备及介质。该方法包括:初始化待训练业务模型的模型参数,得到当前模型参数,并确定业务参与者终端的业务参与者终端集合;将当前模型参数发送至差值业务参与者终端子集中的各差值业务参与者终端;根据各差值业务参与者终端反馈的加密模型范式及平均值业务参与者终端子集,确定参数修剪平均值并发送至各差值业务参与者终端;根据各差值业务参与者终端反馈的加密后的加密模型差值、参数修剪平均值及当前模型参数,确定下一模型参数及对应的隐私预算;当隐私预算达到设定阈值时,完成对待训练业务模型的训练。降低了参与者的资源开销,提高模型训练效率,保证了训练过程中参与者数据的安全。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其涉及一种模型训练方法、装置、设备及介质


技术介绍

1、近年来,人工智能技术飞速发展,给金融行业带来了新的机遇和挑战。同时,移动电子设备和物联网的兴起,也使得数据产生的数量及设备之间的交互频率大大增加。一方面,希望这些技术能够成为数字化转型的助力,为客户提供优质的服务;另一方面,又不能直接将驱动这些应用所必须的隐私数据进行共享。

2、联邦学习是一个具有隐私保护的特性的分布式学习框架,基本流程如下:首先由服务器初始化训练的模型,并分发给各个参与的用户;用户在接收到要训练的模型后,利用本地的数据完成模型训练,并将训练好的模型/梯度进行上传;最后,由服务器来完成聚合的操作,得到新的模型。重复多轮以上过程,直到模型收敛。

3、但是,联邦学习在训练阶段,恶意用户可能会上传一些伪造的训练结果给服务器,使模型的收敛速度下降,甚至是无法收敛;恶意的用户或服务器,可以窃取参与用户与服务器之间交互的模型训练中间数据,并通过机器学习的方式来推断数据持有者的信息,甚至还原原始数据;在模型训练完成作为接口发布后,外部的攻击者可以通本文档来自技高网...

【技术保护点】

1.一种模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据各所述差值业务参与者终端反馈的加密模型范式及所述平均值业务参与者终端子集,确定参数修剪平均值并发送至各所述差值业务参与者终端,包括:

3.根据权利要求1所述的方法,其特征在于,所述加密模型差值为所述差值业务参与者终端通过所述参数修剪平均值对当前模型参数进行训练后的得到模型差值进行修剪并加密后得到。

4.根据权利要求1所述的方法,其特征在于,所述根据各所述差值业务参与者终端反馈的加密后的加密模型差值、所述参数修剪平均值及所述当前模型参数,确定下一模型参数及对应的隐...

【技术特征摘要】

1.一种模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据各所述差值业务参与者终端反馈的加密模型范式及所述平均值业务参与者终端子集,确定参数修剪平均值并发送至各所述差值业务参与者终端,包括:

3.根据权利要求1所述的方法,其特征在于,所述加密模型差值为所述差值业务参与者终端通过所述参数修剪平均值对当前模型参数进行训练后的得到模型差值进行修剪并加密后得到。

4.根据权利要求1所述的方法,其特征在于,所述根据各所述差值业务参与者终端反馈的加密后的加密模型差值、所述参数修剪平均值及所述当前模型参数,确定下一模型参数及对应的隐私预算,包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述整合模型差值、所述参数修剪平均值及所述当前模型参数,确定...

【专利技术属性】
技术研发人员:王者杨斌
申请(专利权)人:中国农业银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1