一种风控模型的训练、风险的预测方法及相关装置制造方法及图纸

本发明专利技术公开了一种风控模型的训练方法、风险的预测方法及相关装置。所述方法包括：获取与风险控制相关的用户属性信息和/或用户历史行为序列信息的数据，作为训练样本；构建包含有监督学习模型和自监督学习模型的多任务学习模型；有监督学习模型和自监督学习模型使用同一训练样本且具有共享的模型参数；将训练样本输入至多任务学习模型中的有监督学习模型和自监督学习模型，对有监督学习模型和自监督学习模型进行同步训练；将训练完成的有监督学习模型作为风控模型。本发明专利技术以多任务为整体框架，将自监督对比学习作为辅助任务，可有效提升风控模型的效果和鲁棒性。升风控模型的效果和鲁棒性。升风控模型的效果和鲁棒性。

【技术实现步骤摘要】
一种风控模型的训练、风险的预测方法及相关装置


[0001]本专利技术涉及人工智能
，特别涉及一种风控模型的训练方法、风险的预测方法及相关装置。

技术介绍

[0002]在金融领域，对使用金融业务的用户的风险进行预测、管理和控制十分重要，需要充分了解金融用户的行为特征，预测其金融交易的风险程度，以降低风险。
[0003]在风险控制领域(以下简称风控领域)，使用深度学习建模提升风控模型的效率和鲁棒性已是一大趋势。
[0004]但由于风控领域的样本数据量相对较少，例如真实发生贷款的人数可能只占人群总数的一小部分；如果直接应用深度学习模型，如基于卷积神经网络(Convolutional Neural Network，CNN)、长短期记忆人工神经网络(Long Short
‑
Term Memory LSTM)、注意力(Attention)等结构，构建风险模型，模型较为复杂的情况下，由于样本数量和模型参数量不匹配，往往伴随着严重的过拟合，且不容易通过技术手段消除，因此模型在投产后容易出现效果显著下降甚至失效。当模型结构简化后，有效性又会降低。
[0005]目前也有联合模型，例如构建风险和客户价值两任务的联合模型，通常没有办法相互提升效果，反而会出现翘翘板效应，即一个任务提升同时另一个任务下降，甚至出现两个任务效果同时下降的可能。最主要原因是这两个任务背后可能存在负相关。

技术实现思路

[0006]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种风控模型的训练方法、风险的预测方法及相关装置。
[0007]第一方面，本专利技术实施例提供一种风控模型的训练方法，包括：
[0008]获取与风险控制相关的用户属性信息和/或用户历史行为序列信息的数据，作为训练样本；
[0009]构建包含有监督学习模型和自监督学习模型的多任务学习模型；所述有监督学习模型和自监督学习模型使用同一训练样本且具有共享的模型参数；
[0010]将所述训练样本输入至所述多任务学习模型中的有监督学习模型和自监督学习模型，对所述有监督学习模型和所述自监督学习模型进行同步训练；
[0011]将训练完成的有监督学习模型作为所述风控模型。
[0012]在一个实施例中，构建包含有监督学习模型和自监督学习模型的多任务学习模型，包括：
[0013]构建以风险控制为主任务、自监督为辅助任务的多任务学习模型；所述多任务学习模型中包含负责所述主任务的有监督学习模型，以及负责所述辅助任务的自监督学习模型；
[0014]所述有监督学习模型中包含门控网络、独享专家层和共享专家层；所述门控网络
分别连接独享专家层和共享专家层并通过控制开度控制独享专家层和共享专家层的输出；所述共享专家层为所述有监督学习模型和所述自监督学习模型共享使用。
[0015]在一个实施例中，获取与风险控制相关的用户属性信息和/或用户历史行为序列信息的数据，作为训练样本，包括：
[0016]获取已发生与所述风险控制相关的第一行为的用户的属性信息和/或用户历史行为序列信息的数据，以及对应的二分类风险标签；
[0017]从未发生所述第一行为但已曝光的用户群体中，通过抽样的方式获取用户的属性信息和/或用户行为序列信息的数据，并确定对应的二分类风险标签；
[0018]将已发生第一行为的用户属性信息和/或用户行为序列信息的数据及对应的风险二分类标签，以及通过抽样方式获取的用户属性信息和/或用户行为序列信息的数据及对应的风险二分类标签，作为所述训练样本；
[0019]所述用户行为序列信息是与用户发生第二行为相关的时间序列信息；
[0020]所述二分类风险标签为表征有风险的标签或者表征无风险的标签。
[0021]在一个实施例中，所述已发生第一行为的用户属性信息和/或用户行为序列信息的数据对应的二分类标签，是根据所述第一行为的风险预先确定的；
[0022]确定通过抽样的方式获取用户的属性信息和/或用户行为序列信息的数据对应的二分类风险标签，包括：
[0023]使用默认的表征无风险的二分类风险标签作为所述通过抽样的方式获取用户的属性信息和/或用户行为序列信息的数据对应的二分类风险标签，或者将获取到的用户的属性信息和/或用户行为序列信息的数据输入至预先训练得到的分类模型中，获得所述分类模型获得对应的二分类风险标签。
[0024]在一个实施例中，通过抽样的方式获取用户的属性信息和/或用户行为序列信息的数据，包括：
[0025]通过随机抽样的方式或者根据用户活跃度分层抽样的方式，从未发生所述第一行为但已曝光的用户群体抽取用户，获取抽样的用户的属性信息和/或用户行为序列信息的数据。
[0026]在一个实施例中，所述自监督学习模型通过正例样本和负例样本在特征空间进行对比学习，学习样本的特征表示；
[0027]所述训练样本包含用户历史行为序列信息的情形下，所述正例样本是同一用户在相同时间戳下的用户历史行为序列信息；
[0028]所述负例样本为属于不同用户的用户历史行为信息；或者属于同一用户不同时间戳下的用户历史行为序列信息。
[0029]在一个实施例中，所述训练样本包含用户历史行为序列信息，将所述训练样本输入至自监督学习模型中的步骤之前，所述方法还包括：
[0030]对所述训练样本中用户历史行为序列信息的数据进行数据增强；
[0031]将数据增强后的用户历史行为序列信息作为训练样本，输入至所述自监督学习模型中。
[0032]在一个实施例中，对所述训练样本中用户历史行为序列信息的数据进行数据增强，包括：
[0033]对所述训练样本中用户历史行为序列信息的数据执行随机剪裁的操作，得到第一子序列和第二子序列；所述第一子序列和第二子序列在时间戳上有部分重叠，剩余部分则不重叠；
[0034]对属于同一用户的第一子序列和第二子序列，分别进行时间戳掩码的操作，得到增强后的第一子序列和第二子序列；
[0035]所述属于同一用户的增强后第一子序列和第二子序列中相同时间戳的用户行为序列信息互为正例样本；
[0036]所述属于不同用户的增强后的第一子序列和第二子序列的用户行为序列信息互为负例样本，或者属于同一用户的增强后的第一子序列和第二子序列中属于不同时间戳的用户行为序列信息互为负例样本。
[0037]在一个实施例中，风控模型的训练方法，包括：所述对所述有监督学习模型和所述自监督学习模型进行同步训练，包括：
[0038]通过预设的总损失函数，对有监督学习模型和所述自监督学习模型采用梯度下降反向传播的训练方式，调整所述有监督学习模型和所述自监督学习模型的参数；所述预设的总损失函数，为有监督学习模型的风险二分类损失和所述自监督学习模型的对比损失的加权和。
[0039]在一个实施例中，所述对所述有监督学习模型和所述自监督学习模型进行同步训练，还包括：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风控模型的训练方法，其特征在于，包括：获取与风险控制相关的用户属性信息和/或用户历史行为序列信息的数据，作为训练样本；构建包含有监督学习模型和自监督学习模型的多任务学习模型；所述有监督学习模型和自监督学习模型使用同一训练样本且具有共享的模型参数；将所述训练样本输入至所述多任务学习模型中的有监督学习模型和自监督学习模型，对所述有监督学习模型和所述自监督学习模型进行同步训练；将训练完成的有监督学习模型作为所述风控模型。2.如权利要求1所述的方法，其特征在于，构建包含有监督学习模型和自监督学习模型的多任务学习模型，包括：构建以风险控制为主任务、自监督为辅助任务的多任务学习模型；所述多任务学习模型中包含负责所述主任务的有监督学习模型，以及负责所述辅助任务的自监督学习模型；所述有监督学习模型中包含门控网络、独享专家层和共享专家层；所述门控网络分别连接独享专家层和共享专家层并通过控制开度控制独享专家层和共享专家层的输出；所述共享专家层为所述有监督学习模型和所述自监督学习模型共享使用。3.如权利要求1所述的方法，其特征在于，获取与风险控制相关的用户属性信息和/或用户历史行为序列信息的数据，作为训练样本，包括：获取已发生与所述风险控制相关的第一行为的用户的属性信息和/或用户历史行为序列信息的数据，以及对应的二分类风险标签；从未发生所述第一行为但已曝光的用户群体中，通过抽样的方式获取用户的属性信息和/或用户行为序列信息的数据，并确定对应的二分类风险标签；将已发生第一行为的用户属性信息和/或用户行为序列信息的数据及对应的风险二分类标签，以及通过抽样方式获取的用户属性信息和/或用户行为序列信息的数据及对应的风险二分类标签，作为所述训练样本；所述用户行为序列信息是与用户发生第二行为相关的时间序列信息；所述二分类风险标签为表征有风险的标签或者表征无风险的标签。4.如权利要求3所述的方法，其特征在于，所述已发生第一行为的用户属性信息和/或用户行为序列信息的数据对应的二分类标签，是根据所述第一行为的风险预先确定的；确定通过抽样的方式获取用户的属性信息和/或用户行为序列信息的数据对应的二分类风险标签，包括：使用默认的表征无风险的二分类风险标签作为所述通过抽样的方式获取用户的属性信息和/或用户行为序列信息的数据对应的二分类风险标签，或者将获取到的用户的属性信息和/或用户行为序列信息的数据输入至预先训练得到的分类模型中，获得所述分类模型获得对应的二分类风险标签。5.如权利要求3所述的方法，其特征在于，通过抽样的方式获取用户的属性信息和/或用户行为序列信息的数据，包括：通过随机抽样的方式或者根据用户活跃度分层抽样的方式，从未发生所述第一行为但已曝光的用户群体抽取用户，获取抽样的用户的属性信息和/或用户行为序列信息的数据。6.如权利要求1所述的方法，其特征在于，所述自监督学习模型通过正例样本和负例样
本在特征空间进行对比学习，学习样本的特征表示；所述训练样本包含用户历史行为序列信息的情形下，所述正例样本是同一用户在相同时间戳下的用户历史行为序列信息；所述负例样本为属于不同用户的用户历史行为信息；或者属于同一用户不同时间戳下的用户历史行为序列信息。7.如权利要求6所述的方法，其特征在于，所述训练样本包含用户历史行为序列信息，将所述训练样本输入至自监督学习模型中的步骤之前，所述方法还包括：对所述训练样本中用户历史行为序列信息的数据进行数据增强；将数据增强后的用户历史行为序列信息作为训练样本，输入至所述自监督学习模型中。8.如权利要求7所述的方法，其特征在于，对所述训练样本中用户历史行为序列信息的数据进行数据增强，包括：对所述训练样本中用户历史行为序列信息的数据执行随机剪裁的操作，得到第一子序列和第二子序列；所述第一子序列和第二子序列在时间戳上有部分重叠，剩余部分则不重叠；对属于同一用户的第一子序列和第二子序列，分别进行时间戳掩码的操作，得到增强后的第一子序列和第二子序列；所述属于同一用户的增强后第一子序列和第二子序列中相同时间戳的用户行为序列信息互为正例样本；所述属于不同用户的增强后的第一子序列和第二子序列的用户行为序列信息互为负例样本，或者属于同一用户的增强后的第一子序列和第二子序列中属于...

【专利技术属性】
技术研发人员：周逸文，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：