基于联邦蒸馏学习的多源不平衡信用数据融合方法及其系统技术方案

本公开属于数据融合及隐私保护技术领域，公开一种基于联邦蒸馏学习的多源不平衡信用数据融合方法及其系统，其中所述系统包括至少两个领域以上客户端数据采集模块；各个客户端本地GAN、蒸馏学习及更新模块；中心服务端模块。本发明专利技术方法包括，客户端通过上传部分蒸馏学习后的信用数据而不是模型参数或预测，使得可以很好保护信用数据隐私信息，而利用中心服务端下发的训练模型及参数指导本地客户端训练、更新模型，极大地提高了模型的泛化性能。此外，本地更新模型保留在客户端，共享融合模型在中心服务端，利用蒸馏交互学习进行动态联合训练，相比只用本地数据训练出来的模型性能更好。好。好。

【技术实现步骤摘要】
基于联邦蒸馏学习的多源不平衡信用数据融合方法及其系统


[0001]本公开属于数据融合及隐私保护
，具体涉及基于联邦蒸馏学习的多源不平衡信用数据融合方法及其系统。

技术介绍

[0002]随着互联网技术及智能设备的飞速发展，和个人、企业等相关经济、金融活动都以数字形式展现，且进入“大数据”时代。个人或者企业的经济活动数据是衡量个人或企业在经济活动中信用的最主要指标，在网络化和透明化的同时，数据安全和隐私也需要重点关注。我国《社会信用体系规划纲要(2014
‑
2020)》明确指出：“逐步形成覆盖全部信用主体、所有信用信息类别、全国所有区域的信用信息网络”。互联网的发展促进评价信用的数据越来越多，评价维度越来越高，但是数据的非结构化、复杂多样性、数据非平衡性以及信用数据隐私性等导致客观、科学地评价个人或企业的信用变得困难。单一领域、模式、场景、生态下的信用评价体系不能准确刻画个人或企业信用，因此，开展电子商务、互联网金融等领域不平衡多源信用数据在保护隐私前提下高效融合并构建联合信用评价模型非常有必要。
>[0003]然而，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦蒸馏学习的不平衡多源信用数据融合系统，包括至少两个以上信用领域的客户端，其特征在于，所述客户端基于各自领域信用数据设置初始化预测模型；所述客户端基于初始预测模型参数进行数据蒸馏，发送本地部分蒸馏数据到中心服务器；所述中心服务器通过生成对抗网络GAN产生模拟数据扩充客服端发送的蒸馏数据样本；所述中心服务器利用扩充后的信用数据样本对初始化融合模型进行训练学习；所述中心服务器初始化信用融合模型参数，并下发到各个客户端；所述中心服务器下发生成对抗网络GAN到各个客户端以扩充客户端训练数据，按照约束条件对客户端本地预测模型进行更新，直至获取满足客户端训练停止条件的融合模型。2.根据权利要求1所述的基于联邦蒸馏学习的不平衡多源信用数据融合系统，其特征在于，所述客户端通过本地训练扩充后的数据构建融合模型来刻画本地数据分布，所述模型保留在客户端本地。3.根据权利要求1所述的基于联邦蒸馏学习的不平衡多源信用数据融合系统，其特征在于，所述中心服务器下发的公有融合模型和客户端本地私有模型之间引入知识蒸馏进行信息交互，采用联合训练，让共享融合网络在训练过程中指导本地客户端网络的训练，而同时不受客户端网络的影响。4.根据权利要求1所述的基于联邦蒸馏学习的不平衡多源信用数据融合系统，其特征在于，所述客户端进一步被配置为将所述本地扩充后的数据样本输入至融合模型进行处理，获得初始预测信息，通过计算损失函数对客户端融合模型进行参数调整。5.根据权利要求1所述的基于联邦蒸馏学习的不平衡多源信用数据融合系统，其特征在于，所述中心服务端进一步被配置为根据所述至少两个客户端参数构建的融合模型，作为所述初始全局融合模型。6.根据权利要求1所述的基于联邦蒸馏学习的不平衡多源信用数据融合系统，其特征在于，所述各个客户端按照对应关系及交叉...

【专利技术属性】
技术研发人员：孙周宝，张晓东，
申请(专利权)人：南京审计大学，
类型：发明
国别省市：