一种基于多任务学习框架的层级注意力金融授信预测方法技术

一种基于多任务学习框架的可解释性金融授信预测方法，首先，对企业征信数据进行预处理相关操作；其次，从上述预处理后的数据中抽取影响金融预测的代表性特征；通过One

【技术实现步骤摘要】
一种基于多任务学习框架的层级注意力金融授信预测方法


[0001]本专利技术属于金融征信领域，涉及一种多任务深度学习模型，具体是一种基于多任务学习框架的层级注意力金融授信预测方法。

技术介绍

[0002]伴随着互联网和信息技术的飞速发展，互联网金融征信多元化格局正在形成，大数据征信与传统征信方式相互结合极大推动了征信业的发展。已有互联网征信工作主要抽取相关的特征基础知识，采用机器学习算法为主，结合企业工商和授信等信息，建立预测模型以提高金融授信的智能化和准确率，如线性回归模型、逻辑回归模型以及决策树模型等。以上模型往往忽视了特征之间的协同影响，也忽视了金融征信模型的可解释性。
[0003]CN 201910941347.9提供一种基于用户生命周期预测的授信额度管理方法，获取样本用户的数据,样本用户数据包括样本用户的基础信息，资信信息，表现信息和生命周期，基于所述数据，训练生命周期预测模型，生命周期预测模型用于预测当前用户的生命周期，获取当前用户的数据，将当前用户的数据输入至生命周期预测模型，获取当前用户的生命周期的预测结果，基于预测结果，对当前用户进行授信。通过样本用户的数据来训练生命周期预测模型，利用生命周期预测模型预测当前用户的生命周期，即预测当前用户的衰退期，把当前用户的额度有效期设置在衰退期到来之前，这样在衰退期到来时重新引导用户进行审批，从而降低了风险。
[0004]CN202010341705.5提供一种用户授信额度的预测方法、装置和相关设备，获得目标用户的用户属性数据和预设时间段内的多个资产数据；每个资产数据均对应于预设时间段内的一个时间戳，资产数据表示，在对应的时间戳时目标用户的可支配资产；用资产数据构建反映目标用户的可支配资产和时间的函数关系的资产函数，利用额度预测模型处理目标用户的资产函数和用户属性数据，得到作为办理目标用户的授信业务的依据的授信额度预测值；额度预测模型是基于多个历史用户的样本数据构建的半函数型部分线性回归模型。额度预测模型能够直接处理用户的资产函数，从而结合用户的资产情况的变化趋势进行授信额度的预测，能够获得更准确的授信额度预测值。
[0005]Transformer以自注意力为主要部件的特定模型,主要采用multi
‑
head attention(多头注意力机制)就相当于有多组这样的注意力机制，对Q，K,V之间的不同关系进行提取，最后再把结果拼接起来。为了保证多样性，Transformer模型还给每组注意力机制增加了不同的线性变换层来处理Q,K,V。

技术实现思路

[0006]本专利技术的目的在于，提供一种基于多任务学习框架的层级注意力金融授信预测方法。
[0007]实现本专利技术目的的技术解决方案为：一种基于多任务学习框架的层级注意力金融授信预测方法，首先，对企业征信数据进行预处理相关操作；其次，从上述预处理后的数据
中抽取影响金融预测的代表性特征；通过One
‑
Hot编码将这些特征从离散和连续型分别转换为低维稠密的表征向量；将这些表征向量进行拼接传入多头注意力网络，去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性。传入基于层级注意力网络的模型，通过其高效的注意力聚合策略来学习高阶的特征表达，同时能够为预测结果提供了较好的可解释性。通过设计3个不同的激活函数以分别完成3个金融预测的任务：1.能否授权？2.授信额度？3.能否按期还款？最后，基于训练的模型，实现测试集中样本的授信3个子任务的预测；具体包括如下步骤：
[0008]1)对真实的企业工商信息、企业纳税等级、金融机构授信、企业放款、企业还款、企业资金需求和企业处罚的相关数据进行数据预处理相关操作；从上述预处理后的数据中抽取影响金融预测的代表性特征，并划分训练集及测试集；转入步骤2)。
[0009]2)通过One
‑
Hot编码将这些特征从离散和连续型分别转换为低维稠密的表征向量；转入步骤3)。
[0010]3)将步骤2)所得训练集中所有特征输入到层级注意力网络中，获得高阶的特征表达向量，将这些表征向量进行拼接传入多头注意力网络，去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性，获得新的表征向量；转入步骤4)。
[0011]4)将新的表征向量传入基于层级注意力网络的模型，通过其高效的注意力聚合策略来学习高阶的特征表达，同时能够为预测结果提供了较好的可解释性(即：哪些特征对金额授信起到关键作用，哪一层级的网络对预测结果产生最大的影响)；转入步骤5)。
[0012]5)设计3个不同的激活函数以分别完成3个金融预测的任务：1.能否授权？2.授信额度？3.能否按期还款？同时，通过相同的表征向量以及共享参数机制，设计一个联合的损失函数以实现多任务学习；转入步骤6)。
[0013]6)借助Adam优化器最小化损失函数，在训练阶段，对设计的基于多任务学习框架的层级注意力金融授信预测进行优化，以获得最优的参数；转入步骤7)。
[0014]7)根据步骤6)所得优化后的模型，在测试阶段，最终通过输入金融征信特征集合，实现金融授信预测方案的自动生成，为部门提供决策参考。
[0015]本专利技术的具体而言，在一个真实的金融征信数据集上进行数据预处理相关操作，并抽取影响金融预测的代表性特征。针对这些特征集合，本专利技术一种基于多任务学习框架的层级注意力金融授信预测方法，在相同的输入特征集上预测分别完成3个金融征信的任务预测，即：1.能否授权？2.授信额度？3.能否按期还款？该预测模型通过多任务学习的参数共享和层级注意力机制，解决了金融部分在授信过程中智能性和解释性欠缺等问题，可有效提升部分的审核效率和金融风险的预防能力。
[0016]有益效果：本专利技术与现有技术相比，其显著优点在于：
[0017](1)本专利技术提出了一种基于多任务学习框架的层级注意力金融授信预测方法，用于金融领域的授信预测任务。
[0018](2)本专利技术将表征向量进行拼接传入多头注意力网络，去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性。同时，设计了层级注意力网络的模型，通过其高效的注意力聚合策略来学习高阶的特征表达，同时能够为预测结果提供了较好的可解释性。
[0019](3)本专利技术设计了一个多任务学习框架，通过联合学习和参数共享的方式，来提升
3个金融预测的任务的整体性能。本专利技术预测模型解决了金融部分在授信过程中智能性和解释性欠缺等问题，可有效提升部分的审核效率和金融风险的预防能力。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中
[0021]图1是金融授信预测业务流程图。
[0022]图2是基于多任务学习框架的层级注意力金融授本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务学习框架的可解释性金融授信预测方法，其特征在于：首先，对企业征信数据进行预处理相关操作；其次，从上述预处理后的数据中抽取影响金融预测的代表性特征；通过One
‑
Hot编码将这些特征从离散和连续型分别转换为低维稠密的表征向量；将这些表征向量进行拼接传入多头注意力网络，去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性。传入基于层级注意力网络的模型，通过其高效的注意力聚合策略来学习高阶的特征表达，同时能够为预测结果提供了较好的可解释性。通过设计3个不同的激活函数以分别完成3个金融预测的任务：1.能否授权，2.授信额度，3.能否按期还款，最后，基于训练的模型，实现测试集中样本的授信3个子任务的预测；具体包括如下步骤：1)对真实的企业工商信息、企业纳税等级、金融机构授信、企业放款、企业还款、企业资金需求和企业处罚的相关数据进行数据预处理相关操作；从上述预处理后的数据中抽取影响金融预测的代表性特征，进行数据预处理相关操作，并进行显著性检验，形成特征集合I＝(i1,i2,
…
,i
32
)，并对样本划分训练集及测试集；转入步骤2)；2)通过One
‑
Hot编码将这些特征从离散和连续型分别转换为低维稠密的表征向量；转入步骤3)；3)将步骤2)所得训练集中所有特征输入到层级注意力网络中，获得高阶的特征表达向量，将这些表征向量进行拼接传入多头注意力网络，去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性，获得新的表征向量；转入步骤4)；4)将新的表征向量传入基于层级注意力网络的模型，通过其高效的注意力聚合策略来学习高阶的特征表达，同时能够为预测结果提供了较好的可解释性(即：哪些特征对金额授信起到关键作用，哪一层级的网络对预测结果产生最大的影响)；转入步骤5)；5)设计3个不同的激活函数以分别完成3个金融预测的任务：1.能否授权？2.授信额度？3.能否按期还款？同时，通过相同的表征向量以及共享参数机制，设计一个联合的损失函数以实现多任务学习；转入步骤6)；6)借助Adam优化器最小化损失函数，在训练阶段，对设计的基于多任务学习框架的层级注意力金融授信预测进行优化，以获得最优的参数；转入步骤7)；7)根据步骤6)所得优化后的模型，在测试阶段，最终通过输入金融征信特征集合，实现金融授信预测方案的自动生成，为部门提供决策参考。2.根据权利要求1所述的基于多任务学习框架的可解释性金融授信预测方法，其特征在于：所述步骤2)中利用基于层级注意力网络的预算评估模型进行训练学习的具体操作如下：首先通过One
‑
Hot编码将上述训练集数据进行编码，接着输入一个Embedding网络层，将这些训练集特征数据从离散和连续型分别转换为低维稠密的表征向量，借助神经网络中的Concat函数，将上述向量进行拼接，最终所学习的向量分别记为的Concat函数，将上述向量进行拼接，最终所学习的向量分别记为3.根据权利要求1所述的基于多任务学习框架的可解释性金融授信预测方法，其特征在于：所述步骤3)考虑到训练集特征数据之间的协同影响以及冲突语义的特征交互；采用谷歌Transformer模型的多头注意力网络去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性，同时该模型具有强大的并行计算性，能够高效地输出高质量的特征表达向量；给定Transformer模型的输入向量E0，Transformer第i个头的潜在表达向量Hi通
过缩放点乘积注意力(Dot
‑
Product Attention)求得:Attention)求得:其中，Q、K和V分别代表Transformer模型中的Query、Key和Value三个向量，其中，Q、K和V分别代表Transformer模型中的Query、Key和Value三个向量，和是用于学习Transformer第i个头的权重参数；隐藏特...

【专利技术属性】
技术研发人员：曹杰，朱桂祥，张瑾，周云松，王治平，齐宁，金铭，
申请(专利权)人：江苏省联合征信有限公司，
类型：发明
国别省市：