基于逐步回归法的联邦建模方法、设备和可读存储介质技术

本申请公开了一种基于逐步回归法的联邦建模方法、设备和可读存储介质，所述基于逐步回归法的联邦建模方法包括：获取待训练模型，并接收第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合，基于待剔除标签特征数据集合和待加入标签特征数据集合，通过第二设备进行纵向联邦建模，对待训练模型进行执行预设循环训练流程，以在待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征，或者向待训练模型中加入符合预设加入贡献度标准的各目标加入特征，以对待训练模型进行循环更新，直至循环更新后的待训练模型满足预设循环结束条件，获得目标建模模型。本申请解决了纵向联邦建模效率低且效果差的技术问题。

【技术实现步骤摘要】
基于逐步回归法的联邦建模方法、设备和可读存储介质
本申请涉及金融科技(Fintech)的机器学习
，尤其涉及一种基于逐步回归法的联邦建模方法、设备和可读存储介质。
技术介绍
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。随着互联网科技金融的不断发展，联邦学习的应用也越来越广泛，在纵向联邦学习场景中，参与联邦学习的标签提供方和特征提供方均会提供训练特征，并基于这些训练特征通过进行联邦学习来对本地模型进行训练更新，但是，在这些训练特征中，通常会存在对本地模型的训练帮助较少的非显著特征，所以，这些非显著特征在增加了进行纵向联邦学习时的计算量的同时，却对纵向联邦学习的贡献极小，进而降低了纵向联邦学习时的计算效率和计算效果，进而导致了纵向联邦学习的模型建模效率低且效果差，所以，现有技术中存在纵向联邦建模效率低且效果差的技术问题。
技术实现思路
本申请的主要目的在于提供一种基于逐步回归法的联邦建模方法、设备和可读存储介质，旨在解决现有技术中纵向联邦建模效率低且效果差的技术问题。为实现上述目的，本申请提供一种基于逐步回归法的联邦建模方法，所述基于逐步回归法的联邦建模方法应用于第一设备，所述基于逐步回归法的联邦建模方法包括：获取待训练模型，并接收与所述第一设备协调关联的第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合；基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合，通过与所述第一设备联邦关联的第二设备进行纵向联邦建模，对所述待训练模型进行执行预设循环训练流程，以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征，或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征，以对所述待训练模型进行循环更新，直至循环更新后的所述待训练模型满足预设循环结束条件，获得目标建模模型。为实现上述目的，本申请还提供一种基于逐步回归法的联邦建模方法，所述基于逐步回归法的联邦建模方法应用于第二设备，所述基于逐步回归法的联邦建模方法包括：获取待训练模型，并接收与所述第二设备协调关联的第三设备发送的待剔除数据特征数据集合和待加入数据特征数据集合；基于所述待剔除数据特征数据集合和所述待加入数据特征数据集合，通过与所述第二设备联邦关联的第一设备进行纵向联邦建模，对所述待训练模型进行执行预设循环训练流程，以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征，或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征，以对所述待训练模型进行循环更新，直至循环更新后的所述待训练模型满足预设循环结束条件，获得目标建模模型。为实现上述目的，本申请还提供一种基于逐步回归法的联邦建模方法，所述基于逐步回归法的联邦建模方法应用于第三设备，所述基于逐步回归法的联邦建模方法包括：接收与所述第三设备协调关联的第一设备和第二设备分别发送的模型训练参数，并基于所述模型训练参数，生成特征编码集合；确定待训练模型变量集合，并基于所述特征编码集合和所述待训练模型变量集合生成第一模型训练数据和第二模型训练数据，并将所述第一模型训练数据发送至所述第一设备，将所述第二模型训练数据发送至所述第二设备，以供所述第一设备基于所述第一模型训练数据，通过与所述第二设备进行纵向联邦建模，获取模型损失值集合，并将所述模型损失值集合发送至所述第三设备，其中，所述第二设备用于基于所述第二模型训练数据，与所述第一设备进行纵向联邦建模，以协助所述第一设备获取所述模型损失值集合；接收所述第一设备反馈的模型损失值集合，并基于预设模型选择策略，在所述模型损失值集合中选取目标模型损失值，并将所述目标模型损失对应的目标特征编码分别发送至所述第一设备和所述第二设备，以供所述第一设备和所述第二设备确定目标建模模型。本申请还提供一种基于逐步回归法的联邦建模装置，所述基于逐步回归法的联邦建模装置为虚拟装置，且所述基于逐步回归法的联邦建模装置应用于第一设备，所述基于逐步回归法的联邦建模装置包括：确定模块，用于获取待训练模型，并接收与所述第一设备协调关联的第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合；循环模块，用于基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合，通过与所述第一设备联邦关联的第二设备进行纵向联邦建模，对所述待训练模型进行执行预设循环训练流程，以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征，或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征，以对所述待训练模型进行循环更新，直至循环更新后的所述待训练模型满足预设循环结束条件，获得目标建模模型。可选地，所述循环模块包括：确定子模块，用于基于所述待剔除标签特征数据集合，确定所述第一轮循环对应的各第一轮剔除循环标签特征；迭代训练子模块，用于基于各所述第一轮剔除循环标签特征，通过与所述第二设备进行纵向联邦建模，分别对所述待训练模型进行迭代训练，获得第一轮待选取模型集合，其中，所述第二设备用于基于获取的各第一轮剔除循环数据特征，与所述第一设备进行纵向联邦建模；协调交互子模块，用于基于所述第一轮待选取模型集合，通过与所述第三设备进行协调交互，确定所述第一轮循环目标特征，并在所述第一轮待选取模型集合中确定所述第一轮循环目标特征对应的第一轮循环目标模型；第一判定子模块，用于确定所述第一轮循环目标模型是否满足预设循环结束条件，若所述第一轮循环目标模型满足所述预设循环结束条件，则将所述待训练模型作为所述目标建模模型；第二判定子模块，用于若所述第一轮循环目标模型不满足所述预设循环结束条件，则基于所述待剔除标签特征数据集合、所述待加入标签特征数据集合和所述第一轮循环目标特征，确定所述第二轮循环对应的各第二轮加入循环标签特征和各第二轮剔除循环标签特征；循环子模块，用于基于各所述第二轮加入循环标签特征和各所述第二轮剔除循环标签特征，通过与所述第二设备进行纵向联邦建模，对所述第一轮循环目标模型执行所述预设循环训练流程，以在所述第一轮循环目标模型中剔除各所述目标剔除特征，或者向所述第一轮循环目标模型中各所述目标加入特征，以对所述第一轮循环目标模型进行循环更新，直至所述第一轮循环目标模型满足预设循环结束条件，获得目标建模模型。可选地，所述迭代训练子模块包括：第一确定单元，用于在所述待训练模型中剔除所述第一轮剔除循环标签特征，确定所述待训练模型对应的第一标签特征表示矩阵；第一迭代训练单元，用于基于所述第一标签特征表示矩阵，通过与所述第二设备进行纵向联邦建模，对所述待训练模型进行迭代训练，直至所述待训练模型满足预设迭代结束条件，获得第一轮剔除循环标签模型，其中，所述第二设备用于基于获取的第一数据特征表示矩阵，与所述第一设备进行纵向联邦建模，其中，所述第一数据特征表示本文档来自技高网...

【技术保护点】
1.一种基于逐步回归法的联邦建模方法，其特征在于，所述基于逐步回归法的联邦建模方法应用于第一设备，所述基于逐步回归法的联邦建模方法包括：/n获取待训练模型，并接收与所述第一设备协调关联的第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合；/n基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合，通过与所述第一设备联邦关联的第二设备进行纵向联邦建模，对所述待训练模型进行执行预设循环训练流程，以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征，或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征，以对所述待训练模型进行循环更新，直至循环更新后的所述待训练模型满足预设循环结束条件，获得目标建模模型。/n

【技术特征摘要】
1.一种基于逐步回归法的联邦建模方法，其特征在于，所述基于逐步回归法的联邦建模方法应用于第一设备，所述基于逐步回归法的联邦建模方法包括：
获取待训练模型，并接收与所述第一设备协调关联的第三设备发送的待剔除标签特征数据集合和待加入标签特征数据集合；
基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合，通过与所述第一设备联邦关联的第二设备进行纵向联邦建模，对所述待训练模型进行执行预设循环训练流程，以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征，或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征，以对所述待训练模型进行循环更新，直至循环更新后的所述待训练模型满足预设循环结束条件，获得目标建模模型。


2.如权利要求1所述基于逐步回归法的联邦建模方法，其特征在于，所述预设循环训练流程包括第一轮循环和第二轮循环，各所述目标剔除特征包括第一轮循环目标特征，
所述基于所述待剔除标签特征数据集合和所述待加入标签特征数据集合，通过与所述第一设备联邦关联的第二设备进行纵向联邦建模，对所述待训练模型进行执行预设循环训练流程，以在所述待训练模型中剔除符合预设剔除贡献度标准的各目标剔除特征，或者向所述待训练模型中加入符合预设加入贡献度标准的各目标加入特征，以对所述待训练模型进行循环更新，直至循环更新后的所述待训练模型满足预设循环结束条件，获得目标建模模型的步骤包括：
基于所述待剔除标签特征数据集合，确定所述第一轮循环对应的各第一轮剔除循环标签特征；
基于各所述第一轮剔除循环标签特征，通过与所述第二设备进行纵向联邦建模，分别对所述待训练模型进行迭代训练，获得第一轮待选取模型集合，其中，所述第二设备用于基于获取的各第一轮剔除循环数据特征，与所述第一设备进行纵向联邦建模；
基于所述第一轮待选取模型集合，通过与所述第三设备进行协调交互，确定所述第一轮循环目标特征，并在所述第一轮待选取模型集合中确定所述第一轮循环目标特征对应的第一轮循环目标模型；
确定所述第一轮循环目标模型是否满足预设循环结束条件，若所述第一轮循环目标模型满足所述预设循环结束条件，则将所述待训练模型作为所述目标建模模型；
若所述第一轮循环目标模型不满足所述预设循环结束条件，则基于所述待剔除标签特征数据集合、所述待加入标签特征数据集合和所述第一轮循环目标特征，确定所述第二轮循环对应的各第二轮加入循环标签特征和各第二轮剔除循环标签特征；
基于各所述第二轮加入循环标签特征和各所述第二轮剔除循环标签特征，通过与所述第二设备进行纵向联邦建模，对所述第一轮循环目标模型执行所述预设循环训练流程，以在所述第一轮循环目标模型中剔除各所述目标剔除特征，或者向所述第一轮循环目标模型中各所述目标加入特征，以对所述第一轮循环目标模型进行循环更新，直至所述第一轮循环目标模型满足预设循环结束条件，获得目标建模模型。


3.如权利要求2所述基于逐步回归法的联邦建模方法，其特征在于，所述第一轮待选取模型集合包括一个或者多个第一轮剔除循环标签模型和一个或者多个第一轮剔除循环数据模型，
所述基于各所述第一轮剔除循环标签特征，通过与所述第二设备进行纵向联邦建模，分别对所述待训练模型进行迭代训练，获得第一轮待选取模型集合，其中，所述第二设备用于基于获取的各第一轮剔除循环数据特征，与所述第一设备进行纵向联邦建模的步骤包括：
针对于每一所述第一轮剔除循环标签特征，均执行以下步骤：
在所述待训练模型中剔除所述第一轮剔除循环标签特征，确定所述待训练模型对应的第一标签特征表示矩阵；
基于所述第一标签特征表示矩阵，通过与所述第二设备进行纵向联邦建模，对所述待训练模型进行迭代训练，直至所述待训练模型满足预设迭代结束条件，获得第一轮剔除循环标签模型，其中，所述第二设备用于基于获取的第一数据特征表示矩阵，与所述第一设备进行纵向联邦建模，其中，所述第一数据特征表示矩阵对应各所述第一轮剔除循环数据特征；
针对于每一所述第一轮剔除循环数据特征，均执行以下步骤：
确定各所述第一轮剔除循环标签特征对应的第二标签特征表示矩阵；
基于所述第二标签特征表示矩阵，通过与所述第二设备进行纵向联邦建模，对所述待训练模型进行迭代训练，直至所述待训练模型满足预设迭代结束条件，获得第一轮剔除循环数据模型，其中，所述第二设备用于在所述待训练模型中剔除所述第一轮剔除循环数据特征，以确定所述待训练模型对应的第二数据特征表示矩阵，以基于所述第二数据特征表示矩阵，与所述第一设备进行纵向联邦建模。


4.如权利要求2所述基于逐步回归法的联邦建模方法，其特征在于，所述基于所述第一轮待选取模型集合，通过与所述第三设备进行协调交互，确定所述第一轮循环目标特征的步骤包括：
获取所述第一轮待选取模型集合对应的模型损失值集合，并将所述模型损失值集合发送至所述第三设备，以供所述第三设备基于预设模型选择策略，在所述模型损失值集合中确定目标模型损失值，并将所述目标模型损失值对应的第一轮循环目标特征编码发送至所述第一设备和所述第二设备，以供所述第二设备基于所述第一轮循环目标特征编码，确定所述第一轮循环目标模型；
接收所述第三设备反馈的所述第一轮循环目标特征编码，并基于所述第一轮循环目标特征编码，确定所述第一轮循环目标特征。


5.如权利要求2所述基于逐步回归法的联邦建模方法，其特征在于，所述基于各所述第二轮加入循环标签特征和各所述第二轮剔除循环标签特征，通过与所述第二设备进行纵向联邦建模，对所述第一轮循环目标模型执行所述预设循环训练流程，以在所述第一轮循环目标模型中剔除各所述目标剔除特征，或者向所述第一轮循环目标模型中各所述目标加入特征，以对所述第一轮循环目标模型进行循环更新，直至所述第一轮循环目标模型满足预设循环结束条件，获得目标建模模型的步骤包括：
基于各所述第二轮剔除循环标签特征，通过与所述第二设备进行纵向联邦建模，分别对所述第一轮循环目标模型进行迭代训练更新，直至所述第一轮循环目标模型达到预设迭代结束条件，获得各所述第二轮剔除循环标签特征对应的第二轮剔除循环模型；
基于各所述第二轮加入循环标签特征，通过与所述第二设备进行纵向联邦建模，分别对所述第一轮循环目标模型进行迭代训练更新，直至所述第一轮循环目标模型达到所述预设迭代结束条件，获得各所述第二轮加入循环标签特征对应的第二轮加入循环模型；
与所述第三设备进行协调交互，确定各所述第二轮剔除循环模型和各所述第二轮加入循环模型共同对应的第二轮循环目标特征，并基于所述第二轮循环目标特征，确定第二轮循环目标模型，其中，所述第二轮循环目标特征为各所述目标剔除特征之一或者为各所述目标加入特征之一，且所述第二轮循环特征满足所述预设剔除贡献度标准或者所述预设加入贡献度标准；
确定所述第二轮循环目标模型是否满足所述预设循环结束条件，若所述第二轮循环目标模型满足所述预设循环结束条件，则将所述第一轮循环目标模型作为所述目标建模模型；
若所述第二轮循环目标模型不满足所述预设循环结束条件，则通过与所述第二设备进行纵向联邦建模，并与所述第三设备进行协调交互，对所述第二轮循环目标模型执行所述预设循环训练流程，直至所述第二循环目标模型满足所述预设循环结束条件，获得所述目标建模模型。


6.如权利要求5所述基于逐步回归法的联邦建模方法，其特征在于，所述第二设备在进行纵向联邦建模时，提供一个或者多个第二轮剔除循环数据特征，各所述第二轮剔除循环模型包括一个或者多个第二轮剔除循环标签方模型和一个或者多个第二轮剔除循环数据方模型，所述第一设备和所述第二设备均持有所述第一轮循环目标模型，
所述基于各所述第二轮剔除循环标签特征，通过与所述第二设备进行纵向联邦建模，分别对所述第一轮循环目标模型进行迭代训练更新，直至所述第一轮循环目标模型达到预设迭代结束条件，获得各所述第二轮剔除循环标签特征对应的第二轮剔除循环模型的步骤包括：
针对于每一所述第二轮剔除循环数据特征，均执行以下步骤：
获取各所述第二轮剔除循环标签特征对应的第三标签特征表示矩阵；
基于所述第三标签特征表示矩阵，通过与所述第二设备进行纵向联邦建模，计算第一联邦梯度，其中，所述第二设备用于在所述第一轮循环目标模型中剔除所述第二轮剔除循环数据特征，以确定所述第一轮循环目标模型对应的第三数据特征表示矩阵，以基于所述第三数据特征表示矩阵，与所述第一设备进行纵向联邦建模；
基于所述第一联邦梯度，对所述第一轮循环目标模型进行循环更新，直至所述第一轮循环目标模型满足所述预设迭代结束条件，获得所述第二轮剔除循环数据方模型；
针对于每一所述第二轮剔除循环标签特征，均执行以下步骤：
在所述第一轮循环目标模型中剔除所述第二轮剔除循环标签特征，并确定所述第一轮循环目标模型对应的第四标签特征表示矩阵；
基于所述第四标签特征表示矩阵，通过与所述第二设备进行纵向联邦建模，计算第二联邦梯度，其中，所述第二设备用于基于获取的第四数据特征表示矩阵，与所述第一设备进行纵向联邦建模，其中，所述第四数据特征表示矩阵对应各所述第二轮剔除循环数据特征；
基于所述第二联邦梯度，对所述第一轮循环目标模型进行循环更新，直至所述第一轮循环目标模型满足所述预设迭代结束条件，获得所述第二轮剔除循环标签方模型。


7.如权利要求5所述基于逐步回归法的联邦建模方法，其特征在于，所述第二设备在进行纵向联邦建模时提供了一个或者多个第二轮加入循环数据特征，各所述第二轮加入循环模型包括一个或者多个第二轮加入循环标签方模型和一个或者多个第二轮加入循环数据方模型，所述第一设备和所述第二设备均持有所述第一轮循环目...

【专利技术属性】
技术研发人员：吴玙，范涛，马国强，魏文斌，谭明超，郑会钿，陈天健，杨强，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44