一种基于特征校准的联邦学习方法和装置制造方法及图纸

本发明专利技术公开了一种基于特征校准的联邦学习方法和装置，通过获取需求方子模型和提供方子模型；获取业务需求方提供的第一特征数据和数据提供方提供的第二特征数据，依据第一特征数据和第二特征数据训练生成校准模型；依据校准模型的特征校准关系、需求方子模型和提供方子模型进行联合训练得到联合模型；响应于业务需求方的数据查询请求，选取业务需求方的第一入模特征数据，并根据校准模型的特征校准关系确定数据提供方的第二入模特征，依据第一入模特征数据和第二入模特征调用联合模型得到查询结果。本发明专利技术在训练联合模型的过程中应用特征校准策略，避免预测阶段数据提供方数据的介入，解决了数据安全隐患问题。解决了数据安全隐患问题。解决了数据安全隐患问题。

【技术实现步骤摘要】
一种基于特征校准的联邦学习方法和装置


[0001]本专利技术涉及大数据
，具体涉及一种基于特征校准的联邦学习方法和装置。

技术介绍

[0002]各行业在针对自身行业模型性能优化提升时往往需要融合多方用户数据，而现阶段各方实现用户个人信息数据共享的方式主要有直连模式和联邦学习(Fedreated Learning，FL)模式两种；其中，直连模式即数据提供方直接为需求方提供征信数据接口，需求方能够直接访问、获取和使用数据提供方所共享的用户身份信息、基础信息、行为信息和个人画像评分等个人数据。联邦学习模式是实现在本地原始数据不出库的情况下，通过对中间加密数据的流通与处理来完成多方联合的机器学习训练；多端用户通过联邦学习，在保证数据不出库、不共享数据前提下进行跨行业业务合作(如联合风控、智能营销等)；且建模过程中，没有敏感数据流通，仅交换加密计算损失函数和梯度等中间结果，实现多方联合安全建模。图1示出了现有技术中常规的联邦学习模式示意图，如图1所示，联邦学习模式为一个分布式模型，包括模型训练和业务应用两个阶段，其中，无论是模型训练阶段或者进行业务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征校准的联邦学习方法，其特征在于，包括：获取需求方子模型和提供方子模型；其中，所述需求方子模型是业务需求方依据业务需求方数据进行训练得到的，所述提供方子模型是数据提供方依据数据提供方数据进行训练得到的；获取所述业务需求方提供的第一特征数据和所述数据提供方提供的第二特征数据，依据所述第一特征数据和所述第二特征数据训练生成校准模型；依据所述校准模型的特征校准关系、所述需求方子模型和所述提供方子模型进行联合训练得到联合模型；响应于所述业务需求方的数据查询请求，选取所述业务需求方的第一入模特征数据，并根据所述校准模型的特征校准关系确定所述数据提供方的第二入模特征，依据所述第一入模特征数据和所述第二入模特征调用所述联合模型得到查询结果。2.根据权利要求1所述的方法，其特征在于，所述依据所述第一特征数据和所述第二特征数据训练生成校准模型进一步包括：将所述第一特征数据和所述第二特征数据作为样本数据，并将所述样本数据划分为训练集数据和验证集数据；基于所述训练集数据进行训练得到校准模型；基于所述验证集数据对所述校准模型进行验证。3.根据权利要求2所述的方法，其特征在于，所述校准模型包括：第一校准模型；所述基于所述训练集数据进行训练得到校准模型进一步包括：对所述训练集数据中的样本数据进行聚类运算，得到所述业务需求方的第一簇群和所述数据提供方的第二簇群；提取所述样本数据中所述第一特征数据和所述第二特征数据中的共有特征数据，依据所述共有特征数据构建簇群索引，依据所述簇群索引训练生成第一校准模型，所述簇群索引用于依据所述业务需求方的第一簇群查询所述数据提供方的第二簇群。4.所述根据权利要求2所述的方法，其特征在于，所述校准模型包括：第二校准模型；所述基于所述训练集数据进行训练得到校准模型进一步包括：将所述训练集数据中的第二特征数据作为预测目标，利用机器学习算法，根据所述训练集数据中的第一特征数据进行预测目标拟合训练，得到第二校准模型。5.所述根据权利要求2所述的方法，其特征在于，所述校准模型包括：第三校准模型；所述基于所述训练集数据进行训练得到校准模型进一步包括：提取所述训练集数据中第一特征数据和第二特征数据之间的相关特征数据；将所述第二特征数据作为缺失值，依据所述相...

【专利技术属性】
技术研发人员：吴轩，王坤，施锦河，茹志强，梁心茹，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：