当前位置: 首页 > 专利查询>之江实验室专利>正文

一种基于知识迁移和自监督学习的纵向联邦金融风控方法技术

技术编号:40933254 阅读:27 留言:0更新日期:2024-04-18 14:53
本发明专利技术公开了一种基于知识迁移和自监督学习的纵向联邦金融风控方法及装置,所述方法首先分别在金融机构和各互联网电商各自本地数据集上进行预训练,其中对有标签的金融机构,进行有监督学习,得到本地预训练模型表示层和推理层,对无标签的互联网电商,进行自监督学习,得到本地预训练模型表示层;然后在重叠数据集上建立纵向联邦风控模型,并利用预训练阶段的本地预训练模型,辅助纵向联邦模型训练,提升纵向联邦模型性能。本发明专利技术通过纵向联邦学习,在保护各方数据安全和数据隐私的前提下,实现了用户特征维度的扩展;通过知识迁移和自监督学习,实现了非重叠数据的利用,大大提高了纵向联邦金融风控模型的预测准确度。

【技术实现步骤摘要】

本专利技术涉及金融风控,具体涉及一种基于知识迁移和自监督学习的纵向联邦金融风控方法


技术介绍

1、随着信息革命的发展,海量的数据在不断地产生,然而由于隐私政策的保护,不同行业、部门之间存在数据壁垒,很多数据不能被轻易的获取,数据间相互隔离,形成了一个个数据孤岛,而仅凭各部门独立数据训练的机器学习模型,经常存在精度低和泛化能力弱等问题,主要原因在于各部门的数据量有限。联邦学习在满足数据隐私要求、数据安全保护和遵守政府法规的前提下,建立数据孤岛间沟通的桥梁,进行数据使用和机器学习建模,成为解决该类问题的一个有利方案。

2、纵向联邦是联邦学习中的一个重要分支,适用于参与者的数据特征重叠较少,而样本重叠较多的场景,比如某个地区的银行和电商的共同客户数据。在金融风控场景中,纵向联邦学习有着巨大的潜力,因为金融机构拥有借贷记录,各互联网电商拥有消费信息,在保护数据隐私的前提下,通过纵向联邦学习,可以提高对客户信用风险的评估和预测能力,降低坏账率,提高业务效率。

3、传统的纵向联邦学习针对的是用户样本重叠较多的场景,然而现实场景中经常随着参与建本文档来自技高网...

【技术保护点】

1.一种基于知识迁移和自监督学习的纵向联邦金融风控方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的基于知识迁移和自监督学习的纵向联邦金融风控方法,其特征在于,所述步骤(1)中的本地预训练模型包括本地预训练模型表示层和本地预训练模型推理层。

3.根据权利要求1所述的基于知识迁移和自监督学习的纵向联邦金融风控方法,其特征在于,所述有标签的金融机构只有一个,即为有标签方,那么所述步骤(1)中损失函数的数学表达式为:;其中,A为有标签方,为本地预训练模型表示层,为本地预训练模型表示层权重,为本地预训练模型推理层,与纵向联邦模型有标签方推理层相同,为本地预训练模型...

【技术特征摘要】

1.一种基于知识迁移和自监督学习的纵向联邦金融风控方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的基于知识迁移和自监督学习的纵向联邦金融风控方法,其特征在于,所述步骤(1)中的本地预训练模型包括本地预训练模型表示层和本地预训练模型推理层。

3.根据权利要求1所述的基于知识迁移和自监督学习的纵向联邦金融风控方法,其特征在于,所述有标签的金融机构只有一个,即为有标签方,那么所述步骤(1)中损失函数的数学表达式为:;其中,a为有标签方,为本地预训练模型表示层,为本地预训练模型表示层权重,为本地预训练模型推理层,与纵向联邦模型有标签方推理层相同,为本地预训练模型推理层权重,为误差函数。

4.根据权利要求1所述的基于知识迁移和自监督学习的纵向联邦金融风控方法,其特征在于,所述步骤(2)具体为:所述无标签的各互联网电商能够有若干个,即无标签的各方,对无标签的各方分别在各自本地数据集上进行自监督学习,并采用对比学习的方法计算原始数据和增强后的数据在经过相同本地预训练模型后的相似度,通过最小化对比损失函数分别训练得到各自本地预训练模型表示层权重。

5.根据权利要求4所述的基于知识迁移和自监督学习的纵向联邦金融风控方法,其特征在于,若无标签的各方分别为b和c时,那么所述对比损失函数和的数学表达式为:

6.根据权利要求1所述的基于知识迁移和自监督学习的纵向联邦金融风控方法,其特征在于,所述步骤(3)具体为,对无标签的各互联网电商,将其本地预训练模型表示层权重用于其对应的纵向联邦子模型权重的初始化,然后在重叠数据集上进行训练,并将各自训练的结果,即纵向联邦模型无标签各方表示层计算得到的结果,发送给...

【专利技术属性】
技术研发人员:李文国杨佳熹杨耀
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1