一种分级模型的训练方法、装置、设备和介质制造方法及图纸

技术编号:37803150 阅读:23 留言:0更新日期:2023-06-09 09:33
本发明专利技术实施例公开一种分级模型的训练方法、装置、设备和介质,该方法包括:将第一用户特征数据和第二用户特征输入至当前参与端待训练的用户分级模型;基于用户分级模型输出的目标对齐特征值和目标用户分级结果以及目标用户对应的对齐特征值标签和用户分级标签,确定当前参与端在当次训练的目标训练误差;若检测到每个参与端对应的目标训练误差均满足预设收敛条件,则将当前参与端对应的当前模型参数发送至联邦迁移学习中的协助端,以使协助端基于各个参与端发送的当前模型参数进行聚合,确定聚合后的目标模型参数并返回;基于目标模型参数,确定当前参与端对应的训练完成的用户分级模型,从而避免训练时出现负向迁移的情况,进而提高训练效率。进而提高训练效率。进而提高训练效率。

【技术实现步骤摘要】
一种分级模型的训练方法、装置、设备和介质


[0001]本专利技术实施例涉及深度学习技术,尤其涉及一种分级模型的训练方法、装置、设备和介质。

技术介绍

[0002]联邦学习是(Federated Learning)一种协助端协调多个参与端共同训练模型的机制。但在各个参与端的数据集之间只有少量的重叠样本和特征,且这些数据集的规模与分布情况差别很大的情况下,需要通过联邦迁移学习完成预设模型的训练。在通过联邦迁移学习训练模型的过程中,参与端之间可以不分享数据、只分享中间结果,从而在打破数据孤岛的同时保证每个参与端中数据的安全性。
[0003]目前,在通过联邦迁移学习模型训练的过程中,通常是利用样本对齐后的数据直接在协助端中进行模型训练。然而,这种利用数据直接在协助端中训练模型的方式,在模型训练过程中会出现负向迁移的情况,并对模型训练造成干扰或抑制,降低训练效率。

技术实现思路

[0004]本专利技术实施例提供了一种分级模型的训练方法、装置、设备和介质,以通过特征对齐方式对参与端的分级模型进行训练,从而可以避免在训练的过程中出现负本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分级模型的训练方法,其特征在于,包括:获取当前参与端对应的第一样本数据和其他参与端对应的第二样本数据,其中,所述其他参与端是指联邦迁移学习中除当前参考方之外的剩余参与端,所述第一样本数据包括第一用户特征数据、第一用户分级标签和第一用户对齐特征值标签,所述第二样本数据包括第二用户特征和第二用户对齐特征值标签;将所述第一用户特征数据和所述第二用户特征输入至当前参与端待训练的用户分级模型,所述用户分级模型用于:基于第二用户特征对第一用户特征数据进行特征提取,并对提取后的当前特征数据进行用户特征对齐和用户分级处理,确定用户特征对齐后的目标用户对应的目标对齐特征值和目标用户分级结果;基于所述用户分级模型输出的目标对齐特征值和目标用户分级结果以及所述目标用户对应的对齐特征值标签和用户分级标签,确定当前参与端在当次训练的目标训练误差;若检测到每个参与端对应的目标训练误差均满足预设收敛条件,则将当前参与端对应的用户分级模型中的当前模型参数发送至所述联邦迁移学习中的协助端,以使所述协助端基于各个参与端发送的当前模型参数进行聚合,确定聚合后的目标模型参数并返回;基于所述协助端返回的所述目标模型参数,确定当前参与端对应的训练完成后的用户分级模型。2.根据权利要求1所述的方法,其特征在于,所述用户分级模型包括:用户特征提取单元、用户特征对齐单元和用户分级单元;所述将所述第一用户特征数据和所述第二用户特征输入至当前参与端待训练的用户分级模型,包括:将所述第一用户特征数据和所述第二用户特征输入至所述用户特征提取单元进行用户特征提取,确定提取后的当前特征数据;将所述当前特征数据输入至所述用户特征对齐单元进行用户特征对齐,确定用户特征对齐后的目标用户对应的目标对齐特征值;将所述当前特征数据输入至所述用户分级单元进行用户分级处理,确定目标用户分级结果。3.根据权利要求2所述的方法,其特征在于,所述当前特征数据包括各个用户特征以及所述用户特征对应的用户特征值。4.根据权利要求3所述的方法,其特征在于,所述将所述当前特征数据输入至所述用户特征对齐单元进行用户特征对齐,确定用户特征对齐后的目标用户对应的目标对齐特征值,包括:基于各个用户特征以及所述用户特征对应的用户特征值,确定与目标用户对应的目标特征相同的重叠用户特征以及所述重叠用户特征对应的用户特征值;基于所述重叠用户特征对应的用户特征值和目标用户对应的用户特征值,确定用户特征对齐后的目标用户对应的目标对齐特征值。5.根据权利要求1所述的方法,其特征在于,所述基于所述用户分级模型输出的目标对齐特征值和目标用户分级结果以及所述目标用户对应的对齐特征值标签和用户分级标签,确定当前参与端在当次训练的目标训练误差,包括:基于所述用户分级模型输出的目标对齐特征值和所述目标用户对应的对齐特征值标
签,确定用户特征对齐训练误差;基于所述用户分级模型输出的目标用户分级结果和所述目标用户对应...

【专利技术属性】
技术研发人员:王一漫
申请(专利权)人:中国农业银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1