贷款逾期预测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一种贷款逾期预测方法、装置、电子设备及存储介质，所述方法包括：对面审对话文本进行预处理，得到第一问答文本集，将第一问答文本集输入至训练好的意图要点识别模型中，得到每个问答文本的意图要点；对第一问答文本集中的多个问答文本进行合并，得到每个意图要点的目标段落文本；将目标段落文本输入至预先训练的基于Focal Loss函数的目标模型中，得到目标逾期预测概率值；预测目标客户是否为贷款逾期客户。本发明专利技术通过引入损失函数Focal Loss，在训练过程中，更侧重于逾期客户样本，抑制了模型过拟合，得到最优的目标模型，提高了贷款逾期预测的准确率。率。率。

【技术实现步骤摘要】
贷款逾期预测方法、装置、电子设备及存储介质


[0001]本专利技术涉及人工智能
，具体涉及一种贷款逾期预测方法、装置、电子设备及存储介质。

技术介绍

[0002]针对贷款业务，贷款前需预测客户是否会逾期，现有技术模型在预测客户是否贷款逾期时，通常有限地利用客户基本贷款信息来构建浅层统计特征，这类方法会因特征提取的广度和深度不足，逾期预测的准确低。
[0003]此外，现有技术通常采用管道式(pipeline)预测模型，这种级联方式依赖复杂的特征工程，存在着因专家经验不足，使得模型训练效果较差，导致逾期预测准确率低。
[0004]因此，有必要提出一种可以快速准确的预测贷款逾期的方法。

技术实现思路

[0005]鉴于以上内容，有必要提出一种贷款逾期预测方法、装置、电子设备及存储介质，通过引入损失函数Focal Loss，在训练过程中，更侧重于逾期客户样本，抑制了模型过拟合，得到最优的目标模型，提高了贷款逾期预测的准确率。
[0006]本专利技术的第一方面提供一种贷款逾期预测方法，所述方法包括：
[0007]接收目标客户的面审对话文本，对所述面审对话文本进行预处理，得到第一问答文本集，其中，所述第一问答文本集包括若干问答文本；
[0008]获取历史面审对话文本集，并基于所述历史面审对话文本集训练意图要点识别模型，得到训练好的意图要点识别模型；
[0009]将所述第一问答文本集输入至所述训练好的意图要点识别模型中，得到每个问答文本的意图要点；
[0010]根据多个问答文本的意图要点，对所述第一问答文本集中的多个问答文本进行合并，得到每个所述意图要点的目标段落文本；
[0011]将多个意图要点的目标段落文本输入至预先训练的基于Focal Loss函数的目标模型中，得到目标逾期预测概率值，其中，所述目标模型中包含有BERT模型和卷积神经网络模型；
[0012]基于所述目标逾期预测概率值预测所述目标客户是否为贷款逾期客户。
[0013]可选地，所述基于Focal Loss函数的目标模型训练过程包括：
[0014]获取预训练的BERT模型，将所述多个意图要点的目标段落文本输入至所述预训练的BERT模型中，得到多个词嵌入向量；
[0015]构建卷积神经网络，将所述多个词嵌入向量输入至构建好的卷积神经网络中进行卷积运算，得到第一张量，其中，所述卷积神经网络包括全连接层和softmax层；
[0016]通过残差连接将所述第一张量输入至全连接层中进行特征提取，得到第二张量；
[0017]将所述第二张量输入softmax层进行映射，获取所述目标客户的逾期预测概率值；
[0018]根据所述逾期预测概率值采用Focal Loss函数进行损失计算，并根据损失计算结果，更新所述预训练的BERT模型和所述构建好的卷积神经网络中的模型参数，得到更新后的预训练的BERT模型和更新后的卷积神经网络；
[0019]训练所述更新后的预训练的BERT模型和所述更新后的卷积神经网络，得到基于Focal Loss函数的目标模型。
[0020]可选地，所述卷积神经网络的构建过程包括：
[0021]获取预设的配置参数，所述预设的配置参数中包含有卷积单元配置参数、激活单元配置参数、池化单元配置参数、卷积层配置参数及全连接层配置参数，其中，所述卷积层配置参数中包含有5个卷积块，每个卷积块包含有1个3
×
3大小的卷积核和1个5
×
5大小的卷积核；
[0022]根据所述卷积单元配置参数配置卷积单元、根据所述激活单元配置参数配置激活单元、根据所述池化单元配置参数配置池化单元，以及根据卷积层配置参数配置卷积层和根据全连接层配置参数配置全连接层；
[0023]根据配置的卷积单元、激活单元、池化单元、卷积层及全连接层构建卷积神经网络。
[0024]可选地，所述对所述面审对话文本进行预处理，得到第一问答文本集包括：
[0025]去除所述面审对话文本中的特殊符号，得到目标对话文本；
[0026]按照预设的整理方式对所述目标对话文本进行整理，得到多个目标问答语句；
[0027]对所述多个目标问答语句进行统计，得到第一问答文本集。
[0028]可选地，所述基于所述历史面审对话文本集训练意图要点识别模型，得到训练好的意图要点识别模型包括：
[0029]获取多个历史客户对应的历史面审对话文本作为历史面审对话文本集；
[0030]对所述历史面审对话文本集进行预处理，得到目标面审对话文本集；
[0031]按照预设的整理方式对所述目标面审对话文本集进行整理，得到第二问答文本集；
[0032]根据预设的意图要点集，按照预设的标注方式对所述第二问答文本集中的每个问答文本进行意图要点标注，得到标注语料集，并对所述标注语料集进行筛选，得到关键意图要点对应的标注语料集；
[0033]将所述关键意图要点对应的标注语料集整理为训练集和测试集；
[0034]将所述训练集输入预设神经网络中进行训练，得到意图要点识别模型；
[0035]将所述测试集输入至所述意图要点识别模型中进行测试，并计算测试通过率；
[0036]若所述测试通过率大于或者等于预设通过率阈值，确定所述意图要点识别模型训练结束；若所述测试通过率小于预设通过率阈值，增加训练集的数量，重新进行意图要点识别模型的训练。
[0037]可选地，所述对所述标注语料集进行筛选，得到关键意图要点对应的标注语料集包括：
[0038]将所述标注语料集中意图要点相同的问答文本进行合并，得到每个意图要点的问答文本；
[0039]计算所述每个意图要点的问答文本的文本长度；
[0040]判断所述每个意图要点的问答的文本长度是否大于对应意图要点的预设的文本长度阈值；
[0041]当所述每个意图要点的问答的文本长度大于或者等于对应意图要点的所述预设的文本长度阈值时，统计每个意图要点在所述面审对话文本集中的频次占比；
[0042]对所述频次占比进行降序排序；
[0043]从所述降序排序结果中选取排序在前的多个意图要点作为目标意图要点，并将所述目标意图要点对应的问答文本，确定为关键意图要点对应的标注语料集。
[0044]可选地，所述对所述第一问答文本集中的多个问答文本进行合并，得到每个所述意图要点的目标段落文本包括：
[0045]将所述第一问答文本集中相同意图要点的问答文本进行合并，得到每个意图要点的段落文本；
[0046]计算所述每个意图要点的段落文本的文本长度；
[0047]判断所述每个意图要点的段落文本的文本长度是否大于预设的意图要点段落阈值；
[0048]当每个意图要点的段落文本的文本长度大于或者等于所述预设的意图要点段落阈值时，根据所述预设的意图要点段落阈值截断所述每个意图要点的段落文本，得到每个所述意图要点的目标段本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种贷款逾期预测方法，其特征在于，所述方法包括：接收目标客户的面审对话文本，对所述面审对话文本进行预处理，得到第一问答文本集，其中，所述第一问答文本集包括若干问答文本；获取历史面审对话文本集，并基于所述历史面审对话文本集训练意图要点识别模型，得到训练好的意图要点识别模型；将所述第一问答文本集输入至所述训练好的意图要点识别模型中，得到每个问答文本的意图要点；根据多个问答文本的意图要点，对所述第一问答文本集中的多个问答文本进行合并，得到每个所述意图要点的目标段落文本；将多个意图要点的目标段落文本输入至预先训练的基于Focal Loss函数的目标模型中，得到目标逾期预测概率值，其中，所述目标模型中包含有BERT模型和卷积神经网络模型；基于所述目标逾期预测概率值预测所述目标客户是否为贷款逾期客户。2.如权利要求1所述的贷款逾期预测方法，其特征在于，所述基于Focal Loss函数的目标模型训练过程包括：获取预训练的BERT模型，将所述多个意图要点的目标段落文本输入至所述预训练的BERT模型中，得到多个词嵌入向量；构建卷积神经网络，将所述多个词嵌入向量输入至构建好的卷积神经网络中进行卷积运算，得到第一张量，其中，所述卷积神经网络包括全连接层和softmax层；通过残差连接将所述第一张量输入至全连接层中进行特征提取，得到第二张量；将所述第二张量输入softmax层进行映射，获取所述目标客户的逾期预测概率值；根据所述逾期预测概率值采用FocalLoss函数进行损失计算，并根据损失计算结果，更新所述预训练的BERT模型和所述构建好的卷积神经网络中的模型参数，得到更新后的预训练的BERT模型和更新后的卷积神经网络；训练所述更新后的预训练的BERT模型和所述更新后的卷积神经网络，得到基于FocalLoss函数的目标模型。3.如权利要求2所述的贷款逾期预测方法，其特征在于，所述卷积神经网络的构建过程包括：获取预设的配置参数，所述预设的配置参数中包含有卷积单元配置参数、激活单元配置参数、池化单元配置参数、卷积层配置参数及全连接层配置参数，其中，所述卷积层配置参数中包含有5个卷积块，每个卷积块包含有1个3
×
3大小的卷积核和1个5
×
5大小的卷积核；根据所述卷积单元配置参数配置卷积单元、根据所述激活单元配置参数配置激活单元、根据所述池化单元配置参数配置池化单元，以及根据卷积层配置参数配置卷积层和根据全连接层配置参数配置全连接层；根据配置的卷积单元、激活单元、池化单元、卷积层及全连接层构建卷积神经网络。4.如权利要求1所述的贷款逾期预测方法，其特征在于，所述对所述面审对话文本进行预处理，得到第一问答文本集包括：去除所述面审对话文本中的特殊符号，得到目标对话文本；
按照预设的整理方式对所述目标对话文本进行整理，得到多个目标问答语句；对所述多个目标问答语句进行统计，得到第一问答文本集。5.如权利要求1所述的贷款逾期预测方法，其特征在于，所述基于所述历史面审对话文本集训练意图要点识别模型，得到训练好的意图要点识别模型包括：获取多个历史客户对应的历史面审对话文本作为历史面审对话文本集；对所述历史面审对话文本集进行预处理，得到目标面审对话文本集；按照预设的整理方式对所述目标面审对话文本集进行整理，得到第二问答文本集；根据预设的意图要点集，按照预设的标注方式对所述第二问答文本集中的每个问答文本进行...

【专利技术属性】
技术研发人员：杨翰章，吴育人，庄伯金，刘玉宇，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：