【技术实现步骤摘要】
纵向联邦预测优化方法、设备、介质及计算机程序产品
[0001]本申请涉及金融科技(Fintech)的人工智能
，尤其涉及一种纵向联邦预测优化方法、设备、介质及计算机程序产品。
技术介绍
[0002]随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。
[0003]随着计算机软件和人工智能计算的不断发展，人工智能技术的应用也越来越广泛，目前，现有的纵向联邦预测模型需要基于各参与方之间的对齐样本进行纵向联邦学习建模而构建，且建模完成后，纵向联邦预测模型分散部署在各个参与方中，每一参与方均只持有部分纵向联邦预测模型，所以在纵向联邦预测场景中，对于未对齐样本，预测方需要使用一个单独的本地模型在本地进行预测。所以，预测方无法对未对齐样本进行基于完整模型的样本预测，使得整体的样本预测准确度变低，且纵向联邦学习的模型由于对齐数据的不足也会导致模型性能有限。所以，现有的纵向联邦预测方法存在整体样本预测准
【技术保护点】
【技术特征摘要】
1.一种纵向联邦预测优化方法，其特征在于，应用于第一设备，所述纵向联邦预测优化方法包括：提取第一方待预测样本，并获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果，其中，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到；与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本，并利用目标残差提升模型对所述第二方待预测样本执行模型预测，获得第二方模型预测结果；获取所述目标预测模型对应的第一方模型权重，并接收所述第二设备发送的第二方模型预测结果和所述目标残差提升模型对应的第二方模型权重；基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。2.如权利要求1所述纵向联邦预测优化方法，其特征在于，所述目标残差提升模型由所述第二设备基于所述第一设备发送的目标预测模型对应的目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化得到，所述本地残差提升模型由所述第二设备基于所述第一设备发送的本地预测模型对应的残差提升数据，对待训练残差提升模型进行基于残差学习的迭代优化得到。3.如权利要求1所述纵向联邦预测优化方法，其特征在于，所述与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本的步骤包括：获取所述目标预测模型的特征提取器针对所述第一方待预测样本进行特征提取生成的中间样本特征；将所述中间样本特征和所述第一方待预测样本对应的待预测样本ID发送所述第二设备，以供所述第二设备基于所述待预测样本ID对应的ID匹配样本和所述中间样本特征确定所述第二方待预测样本；或者将所述第一方待预测样本对应的待预测样本ID发送所述第二设备，以供所述第二设备将所述待预测样本ID对应的ID匹配样本作为所述第二方待预测样本。4.如权利要求1所述纵向联邦预测优化方法，其特征在于，在所述获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果，其中，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到的步骤之前，所述纵向联邦预测优化方法还包括：基于公共样本集中提取的第一训练样本，对所述待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型；在所述公共样本集中提取第二训练样本，并获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在所述第二训练样本上的模型蒸馏损失；
基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。5.如权利要求4所述纵向联邦预测优化方法，其特征在于，所述获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在第二训练样本上的模型蒸馏损失的步骤包括：获取所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果；将所述第二训练样本对应的对齐样本确定数据发送至所述第二设备，以供所述第二设备基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本，并获取所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果；接收所述第二设备反馈的第二方模型训练预测结果以及所述本地残差提升模型对应的第二方模型权重，并基于所述本地预测模型对应的第一方模型权重和所述第二方模型权重，对所述第一方模型训练预测结果和所述第二方模型训练预测结果进行聚合，得到联邦预测结果；基于所述第一方模型训练预测结果和所述联邦预测结果之间的差异度，计算所述模型蒸馏损失。6.一种纵向联邦预测优化方法，其特征在于，应用于第二设备，所述纵向联邦预测优化方法包括：通过与第一设备进行联邦交互，确定第一方待预测样本对应的第二方待预测样本；基于目标残差提升模型，对所述第二方待预测样本执行模型预测，获得第二方模型预测结果，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到；获取所述目标残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至所述第一设备，以供所述第一设备基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果。7.如权利要求6所述纵向联邦预测优化方法，其特征在于，所述目标残差提升模型由所述第二设备基于所述第一设备发送的目标预测模型对应的目标残差提升数据，对本地残差提升模型进行基于残差学习的迭代训练优化得到，所述本地残差提升模型由所述第二设备基于所述第一设备发送的本地预测模型对应的残差提升数据，对待训练残差提升模型进行基于残差学习的迭代优化得到。8.如权利要求6所述纵向联邦预测优化方法，其特征在于，所述通过与第一设备进行联邦交互，确定第一方待预测样本对应的第二方待预测样本的步骤包括：接收所述第一设备发送的第一方待预测样本的待预测样本ID，并查找所述待预测样本ID对应的ID匹配样本，将所述ID匹配样本作为所述第二方待预测样本；或者接收所述第一设备发送的第一方待预测样本对应的待预测样本ID和对应的中间样本特征，其中，所述中间样本特征由所述第一设备基于目标预测模型的特征提取器针对所述第一方待预测样本进行特征提取生成；查找所述待预测样本ID对应的ID匹配样本，基于所述中间样本特征，对所述ID匹配样本进行特征增强，获得所述第二方待预测样本。
9.如权利要求8所述纵向联邦预测优化方法，其特征在于，在所述查找所述待预测样本ID对应的ID匹配样本的步骤之后，所述纵向联邦预测优化方法还包括：若查找成功，则执行步骤：将所述ID匹配样本作为所述第二方待预测样本，或者执行步骤：基于所述中间样本特征，对所述ID匹配样本进行特征增强，获得所述第二方待预测样本；若查找失败，则向所述第一设备反馈查找失败信息，以供所述第一设备在接收所述查找失败信息后，将基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果作为目标预测结果。10.如权利要求6所述纵向联邦预测优化方法，其特征在于，在所述基于目标残差提升模型，对所述第二方待预测样本执行模型预测，获得第二方模型预测结果的步骤之前，所述纵向联邦预测优化方法还包括：接收所述第一设备发送的残差提升数据，其中，所述残差提升数据由所述第一设备基于公共样本集中的第一训练样本，对待训练本地预测模型进行迭代训练优化得到；获取所述第一训练样本对应的第一训练对齐样本，并基于所述第一训练对齐样本和所述残差提升数据，对待训练残差提升模型进行迭代训练优化，获得本地残差提升模型；接收所述第一设备发送的第二训练样本对应的对齐样本确定数据，并基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本；将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得所述目标预测模型。11.如权利要求10所述纵向联邦预测优化方法，其特征在于，在所述将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得所述目标预测模型的步骤之后，所述纵向联邦学习建模优化方法还包括：接收所述第一设备发送的目标残差提升数据，其中，所述目标残差提升数据由所述第一设备基于所述公共样本集中的第三训练样本，对所述本地预测模型进行迭代训练优化得到；获取所述第三训练样本对应的第三训练对齐样本，并基于所述第三训练对齐样本和所述目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得所述目标残差提升模型。12.一种纵向联邦学习建模优化方法，其特征在于，应用于第一设备，所述纵向联邦学习建模优化方法包括：基于公共样本集中提取的第一训练样本，对待训练本地预测模型进行迭代训练优化，
获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型；获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在第二训练样本上的模型蒸馏损失；基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。13.如权利要求12所述纵向联邦学习建模优化方法，其特征在于，所述残差提升数据包括所述第一训练样本对应的第一训练样本标签、对应的第一模型预测损失和对应的第一中间训练样本特征，所述基于公共样本集中提...
【专利技术属性】
技术研发人员：万晟，高大山，鞠策，谭奔，杨强，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。