一种基于蚁群算法优化循环神经网络的逾期监控方法技术

本发明专利技术公开了一种基于蚁群算法优化循环神经网络的逾期监控方法，包括以下的步骤：首先，选取建模样本及采集样本的信用数据及表现数据标签化；对采集到的信用数据进行预处理，对建模样本随机切分训练集和测试集；根据训练集特征确定循环神经网络拓扑结构及初始化网络参数，建立循环神经网络模型；采用蚁群算法对循环神经网络中的权重和偏置进行预训练，再使用梯度下降算法对循环神经网络进行训练；输入测试集样本到训练后的循环神经网络进行预测对比和评估；本发明专利技术利用蚁群算法确定了循环神经网络最优的权值和偏置，加快了神经网络的收敛速度，并提高了预测模型的准度，可满足互联网金融欺诈行为实时检测的需求。

【技术实现步骤摘要】
一种基于蚁群算法优化循环神经网络的逾期监控方法
本专利技术涉及互联网金融行业的风控
，具体为一种基于蚁群算法优化循环神经网络的逾期监控方法。
技术介绍
深度学习体系包括深度神经网络、卷积神经网络、循环神经网络，深度学习的好处是可以自动利用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征，其应用效果已明显超过了传统的机器学习算法。循环神经网络(RecurrentNeuralNetwork，RNN)是一类以序列数据为输入，在序列的演进方向进行递归且所有循环单元按链式连接形成闭合回路的递归神经网络。循环神经网络具有记忆性、参数共享特点，在对序列的非线性特征进行学习时具有一定优势，适用于金融逾期及欺诈检测问题，因此，对一种基于蚁群算法优化循环神经网络的逾期监控方法的需求日益增长。常见的循环神经网络训练学习算法以反向传播算法和实时递归神经网络算法为主，随着时间的推移数据量增大以及网络隐藏层神经元之自身的循环问题，算法误差会产生指数增长或消失的问题，容易出现梯度爆炸或梯度消失现象，从而陷入局部最优值，算法的收敛速度本文档来自技高网...

【技术保护点】
1.一种基于蚁群算法优化循环神经网络的逾期监控方法，其特征在于，包括以下六个步骤：/nS1、采集一定比例数量的正常和逾期还款表现客户作为建模样本，并采集建模样本的客户账户注册个人基本信息、用户的还款、逾期、消费等行为数据作为信用数据，根据正常和逾期还款表现对客户做标签化处理；/nS2、对步骤S1中采集到的信用数据进行预处理，包括剔除异常数据、降低噪声和归一化处理，得到预处理的数据随机切分训练集和测试集；/nS3、根据训练集特征确定循环神经网络拓扑结构及初始化网络参数，以归一化后的信用数据作为输入，客户标签表现数据作为输出，建立循环神经网络模型；/nS4、采用蚁群算法对循环神经网络中的权重和偏置...

【技术特征摘要】
1.一种基于蚁群算法优化循环神经网络的逾期监控方法，其特征在于，包括以下六个步骤：
S1、采集一定比例数量的正常和逾期还款表现客户作为建模样本，并采集建模样本的客户账户注册个人基本信息、用户的还款、逾期、消费等行为数据作为信用数据，根据正常和逾期还款表现对客户做标签化处理；
S2、对步骤S1中采集到的信用数据进行预处理，包括剔除异常数据、降低噪声和归一化处理，得到预处理的数据随机切分训练集和测试集；
S3、根据训练集特征确定循环神经网络拓扑结构及初始化网络参数，以归一化后的信用数据作为输入，客户标签表现数据作为输出，建立循环神经网络模型；
S4、采用蚁群算法对循环神经网络中的权重和偏置进行预训练，达到最优的初始权重和偏置赋给循环神经网络模型，输入训练集样本使用梯度下降算法对循环神经网络进行训练；
S5、输入测试集样本到训练后的循环神经网络进行预测，以模型精度评价指标与遗传算法、粒子群算法优化的循环神经网络预测模型的进行对比和评估；
S6、将优化循环神经网络模型部署至在线监测系统，将实时监测得到数据作为训练好的循环神经网络模型的输入数据，将循环神经网络模型的输出数据作为客户逾期的预测，实现客户逾期的监控，并定期对模型迭代更新。


2.根据权利要求1所述的一种基于蚁群算法优化循环神经网络的逾期监控方法，其特征在于，在S1中，从互联网金融平台后端根据贷后表现选取一定比例和数量正常还款和逾期客户作为建模样本，采集样本客户账户注册申请时的个人基本信息、用户的还款、逾期、消费等行为数据。其中用户的个人申请信息包括：手机号、学历、婚姻状况、工作单位、住址、联系人信息；所述贷款行为数据包括申贷行为、活跃行为、账户特征、负债压力、消费行为、还款行为等。申贷行为：本平台历史申请次数、拒绝次数；活跃行为：登录APP的频率、社交行为、营销响应行为；账户特征：授信额度使用率，代偿余额；消费行为：消费金额、类目、笔数；负债压力：用户在内部所在产品的总负债，外部负债；还款行为：提前还款、月还款率、习惯性逾期、催收响应行为、还款金额和期限；另外在合规要求下，不限于获取移动互联网行为数据、贷款APP内行为数据、信贷历史、运营商数据在内的全域多维度大数据。


3.根据权利要求1所述的一种基于蚁群算法优化循环神经网络的逾期监控方法，其特征在于，在S2中，由于循环神经网络对于输入数据比较敏感，需要填充缺失值，输入数据有着不同的单位和取值范围，所以必须对预处理后的数据进行归一化处理，使其值在[0,1]范围之内，具体包括以下步骤：
S21、利用部分填补缺失值法对初始信用数据样本集D中的特征数据进行数据清理；
S22、利用直接赋值法对初始信用数据样本集D中的特征数据进行数据赋值；
S23、采用Min-Max标准化法，利用最大最小归一化方法对初始信用数据样本集D中的特征数据进行数据归一化，将其映射到[0,1]区间，归一化计算公式如下：



其中，dij'是第i个信用数据样本的第j个特征数据的归一化结果，mindij和maxdij分别是dij的极小值和极大值；
S24、利用dij'构建信用数据样本集D'，记为：X＝{x1,x2,…,xn}，xi表示X中第i个信用数据样本，表示为xi＝{xi1,xi2,…,xiD}，特征维数记作D。


4.根据权利要求1所述的基一种基于蚁群算法优化循环神经网络的逾期监控方法，其特征在于，在S3中，循环神经网络(RecurrentNeuralNetwork，RNN)是一类具有短期记忆能力的递归神经网络，循环神经网络以序列数据为输入，在序列的演进方向进行递归且所有循环单元按链式连接形成闭合回路。
构建循环神经网络模型，将步骤S2所述归一化的信用数据作为所述循环神经网络模型的输入，对应客户的标签数据作为输出，具体包括以下步骤：
S31、确定循环神经网络拓扑结构及初始化网络参数
根据样本的输入输出数据确定循环神经网络的结构，初始化循环神经网络的网络结构，设定其输入层、隐藏层及输出层的神经元个数。将循环神经网络输入层和隐藏层、隐藏层和输出层之间的参数(权重和偏置)用行向量X表示：
X＝[w,b]
其中，w是网络权重的行向量表示，它的维数是N×M+M×M+M×L；b是网络偏置的行向量表示，它的维数是M+L；N、M、L分别为输入层、隐藏层和输出层的神经元个数，将X的维数记作D。
S32、构建循环神经网络模型
假设当前的状态只与前面的几个状态相关，x为一个序列的输入，即为步骤S2所述归一化的信用数据，标记为{x1,x2,…,xt}，xt代表时刻为t时刻的输入，s为隐含单元，标记为{S1,S2,…,St}，St为t时刻的隐藏层状态，作为下一层的输入，第一个隐藏层状态初始化为0。模型每一层的输入有两个，一个是xt，一个是上一层的状态St-1，Ot代表时刻t的输出，o为输出单元，标记为{o1,o2,…,ot}。
在循环神经网络中，每输入一步，每一层各自都共享参数U，V，W，其反映着循环神经网络中的每一步都在做相同的事，只是输入不同，因此大大地降低了网络中需要学习的参数，而且循环神经网络的关键之处在于隐藏层，隐藏层能够捕捉序列的信息。
构建所述循环神经网络模型的数学表达式：
St＝f(U·xt+W·St-1+b)
Ot＝f(V·St+c)
其中，U，W，V，b，c为模型需要学习更新的参数；f(·)为非线性的激活函数tanh，其表达式为：



其中，ez表示指数函数，z为函数的输入；
S33、设定损失函数
对所述循环神经网络模型进行网络训练，并采用最小化损失函数来更新模型参数，损失函数的公式为：



其中，N表示数据数目，xt代表时刻为t时刻的输入，Ot代表时刻t的输出；
S34、网络输出
当达到最大迭代次数或损失函数足够小，完成循环神经网络模型训练，将处理后的t时刻数据输入训练好的所述循环神经...

【专利技术属性】
技术研发人员：江远强，
申请(专利权)人：百维金科上海信息科技有限公司，
类型：发明
国别省市：上海;31