一种优化用户信用模型建模过程的方法及装置制造方法及图纸

本申请实施例公开了一种优化用户信用模型建模过程的方法及装置。该方法包括：获取用于建立用户信用模型的样本数据；将所述样本数据作为输入数据输入到所述深度网络，对所述深度网络的第i-1层、第i层以及第i+1层进行如下操作：将第i-1层的输出数据作为第i层的输入数据，利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，得到与第i层与第i+1层之间的权值矩阵，所述i大于等于2，小于N；用训练得到的相应层的权值矩阵初始化所述深度网络的相应层，以实现对用户信用模型建模过程的优化。应用本申请实施例在对用户信用模型训练之前，对该模型进行预训练，使得该模型中各层权值在训练之前就处于良好的状态。

Method and device for optimizing user credit model modeling process

The embodiment of the present application discloses a method and an apparatus for optimizing the modeling process of a user credit model. The method includes: obtaining the sample data used for the establishment of user credit model; the sample data as input data input to the depth of the network, the network layer, the I-1 depth of the i layer and the i+1 layer are as follows: the output data of the I-1 layer as input data of the i layer and training of weight matrix between the i layer and the i+1 layer using the i layer of the input data, and get the weight matrix between the i layer and the i+1 layer, the I is greater than or equal to 2, less than N; the corresponding layer trained by the corresponding layer weight matrix to initialize the depth the network, in order to achieve the user credit modeling process optimization. Applying this application example, the model is pre trained before training the user's credit model, so that the weights of each layer in the model are in good shape before training.

【技术实现步骤摘要】
一种优化用户信用模型建模过程的方法及装置
本申请涉及计算机
，尤其涉及一种优化用户信用模型建模过程的方法及装置。
技术介绍
目前，个人征信系统帮助消费贷款等机构对用户的个人信用进行分析，同时，用户也可以根据个人信用进行相关消费或贷款。通常个人的征信系统的建立需要用户不断的对用户信用模型进行训练，获得正确的个人征信系统模型，这里正确的模型是指：根据输入的用户的相关特征值，正确的输出该用户对应的信用度等。训练用户信用模型通常会采用深度算法，该算法基于建立模拟人脑分析学习的神经网络(这里简称为深度网络)，从而达到分析数据的目的，这里的数据可以是图片数据、声音数据或文本数据等。在训练该深度网络时，首先采用正向传播的方法在该深度网络的输入层中输入相应的值，然后通过随机的方式分配深度网络中各层之间的权值，从而获得最终的输出数据，这时获得的输出数据可能不是用户想要得到的期望输出数据，在这种情况下，需要对深度网络中各层之间的权值进行调整，使得最终获得的输出数据与期望输出数据之间的误差值小于预设的误差阈值。通常现有技术在调整模型中各层之间权值的步骤是：首先算出深度网络中的实际输出数据与期望输出数据之间的误差值，然后将该误差值分摊给该深度网络中各层中各个单元，并根据梯度下降法对深度网络中各层之间的权值进行调整，当模型中实际输出数据与期望输出数据之间的误差值小于预设的误差阈值时，则完成了权值的调整过程，即完成了该深度网络的训练。上述调整模型权值的方法是比较有效的方法，但是在建立征信系统模型时是采用随机的方法分配深度网络中的各层之间的权值，这样可能导致建立的模型与正确的模型之间的差距增大，具体是指建立的模型中各层之间的权值与正确模型中的权值差距较大；且随着征信系统模型中的数据逐渐增大以及神经网络的结构不断复杂化，采用上述调整权值的方法直接对整个网络进行训练时，由于网络中隐藏层可能有很多层，因此可能导致输出层的梯度传递到网络前层时会变得非常小，产生一种梯度弥散的现象，即使得网络前层的权值不再发生变化，造成在训练模型时过早的出现局部最优值。
技术实现思路
鉴于此问题，本申请实施例提供一种优化用户信用模型建模过程的方法，用于解决现有技术在调整用户信用模型中各层权值时使得模型过早陷于局部最优值的问题。本申请实施例提供了一种优化用户信用模型建模过程的方法，所述方法应用于深度网络，所述深度网络包括N层，该方法包括：获取用于建立用户信用模型的样本数据；将所述样本数据作为输入数据输入到所述深度网络，对所述深度网络的第i-1层、第i层以及第i+1层进行如下操作：将第i-1层的输出数据作为第i层的输入数据，利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，得到第i层与第i+1层之间的权值矩阵，所述i大于等于2，小于N；用所述权值矩阵初始化所述深度网络的相应层，以实现对用户信用模型建模过程的优化。有选地，所述利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练具体包括：根据所述第i层的输入数据，计算获得第i+1层的输出数据；将所述第i+1层的输出数据作为输入数据，计算获得第i层的输出数据；将所述第i层的输出数据作为输入数据，计算获得第i+1层中输出数据为预设数据的概率；根据所述第i层的输入数据、第i+1层的输出数据、第i层的输出数据和第i+1层中输出数据为预设数据的概率，对第i层与第i+1层之间的权值矩阵进行训练。优选地，所述根据所述第i层的输入数据获取第i+1层的输出数据具体包括：根据所述第i层的输入数据，计算获得第i+1层的输出数据为预设数据的概率，并将所述概率与预设的概率阈值比较，如果所述概率小于所述预设的概率阈值，则第i+1层的输出数据为所述预设数据。优选地，所述方法还包括：根据所述第i层的输入数据和第i层的输出数据，对第i层的偏置项进行训练，并根据所述第i+1层的输出数据和第i+1层中输出数据为预设数据的概率，对第i+1层的偏置项进行训练，所述对第i层的偏置项和第i+1层的偏置项进行训练用以实现对用户信用模型建模过程的优化。有选地，将所述深度网络的第i-1层、第i层以及第i+1层作为受限玻尔兹曼机进行训练。优选地，在所述用训练得到的相应层的权值矩阵初始化所述深度网络的相应层之后，该方法还包括：在所述深度网络中输入所述建立用户信用模型的样本数据，并根据所述相应层的权值矩阵获取所述深度网络中的第N层的输出数据；计算所述第N层的输出数据和期望输出数据之间的误差值，如果所述误差值小于预设的误差阈值时，则所述相应层的权值矩阵为所述深度网络的最终权值矩阵；如果所述误差值大于所述预设的误差阈值时，则对所述相应层的权值矩阵进行调整，直到调整后的权值使得所述深度网络中的第N层的输出数据与期望输出数据之间的误差值小于所述预设的误差阈值时，则所述调整后的权值为所述深度网络的最终权值。优选地，对所述相应层的权值矩阵进行调整具体包括：根据所述第N层输出与期望输出之间的误差函数，获取所述相应层的权值矩阵的修正值；根据所述权值矩阵的修正值对所述相应层的权值矩阵进行调整。本申请实施例还提供了一种优化用户信用模型建模过程的装置，该装置包括获取单元、处理单元、优化单元，其中：所述获取单元，用于获取用于建立用户信用模型的样本数据；所述处理单元，用于将所述样本数据作为输入数据输入到所述深度网络，并对所述深度网络的第i-1层、第i层以及第i+1层进行如下操作：将第i-1层的输出数据作为第i层的输入数据，利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，得到第i层与第i+1层之间的权重矩阵权值矩阵，所述i大于等于2，小于N；所述优化单元，用于用所述权值矩阵初始化所述深度网络的相应层，以实现对用户信用模型建模过程的优化。优选地，所述处理单元具体包括输入子单元、第一计算子单元、第二计算子单元、第三计算子单元和训练子单元，其中：所述输入子单元，用于在所述第i层中输入数据；所述第一计算子单元，用于根据所述第i层的输入数据，计算获得第i+1层的输出数据；所述第二计算子单元，用于将所述第i+1层的输出数据作为输入数据，计算获得第i层的输出数据；所述第三计算子单元，用于将所述第i层的输出数据作为输入数据，计算获得第i+1层中输出数据为预设数据的概率；所述训练子单元，用于根据所述第i层的输入数据、第i+1层的输出数据、第i层的输出数据和第i+1层中输出数据为预设数据的概率，对第i层与第i+1层之间的权值矩阵进行训练。优选地，所述优化单元还包括获取子单元和第四计算子单元，其中：所述获取子单元，用于在用所述权值矩阵初始化所述深度网络的相应层之后，在所述深度网络中的输入所述建立用户信用模型的样本数据，并根据所述相应层的权值矩阵获取所述深度网络中的第N层的输出数据；所述计算子单元，用于计算所述第N层的输出数据和期望输出数据之间的误差值，如果所述误差值小于预设的误差阈值时，则所述相应层的权值矩阵为所述深度网络的最终权值矩阵；如果所述误差值大于所述预设的误差阈值时，则对所述相应层的权值矩阵进行调整，直到调整后的权值使得所述深度网络中的第N层的输出数据与期望输出数据之间的误差值小于所述预设的误差阈值时，则所述调整后的权值为所述深度网络的最终权值本文档来自技高网...

【技术保护点】
一种优化用户信用模型建模过程的方法，所述方法应用于深度网络，所述深度网络包括N层，其特征在于，该方法包括：获取用于建立用户信用模型的样本数据；将所述样本数据作为输入数据输入到所述深度网络，对所述深度网络的第i‑1层、第i层以及第i+1层进行如下操作：将第i‑1层的输出数据作为第i层的输入数据，利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，得到第i层与第i+1层之间的权值矩阵，所述i大于等于2，小于N；用所述权值矩阵初始化所述深度网络的相应层，以实现对用户信用模型建模过程的优化。

【技术特征摘要】
1.一种优化用户信用模型建模过程的方法，所述方法应用于深度网络，所述深度网络包括N层，其特征在于，该方法包括：获取用于建立用户信用模型的样本数据；将所述样本数据作为输入数据输入到所述深度网络，对所述深度网络的第i-1层、第i层以及第i+1层进行如下操作：将第i-1层的输出数据作为第i层的输入数据，利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，得到第i层与第i+1层之间的权值矩阵，所述i大于等于2，小于N；用所述权值矩阵初始化所述深度网络的相应层，以实现对用户信用模型建模过程的优化。2.根据权利要求1所述的方法，其特征在于，所述利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练具体包括：根据所述第i层的输入数据，计算获得第i+1层的输出数据；将所述第i+1层的输出数据作为输入数据，计算获得第i层的输出数据；将所述第i层的输出数据作为输入数据，计算获得第i+1层中输出数据为预设数据的概率；根据所述第i层的输入数据、第i+1层的输出数据、第i层的输出数据和第i+1层中输出数据为预设数据的概率，对第i层与第i+1层之间的权值矩阵进行训练。3.根据权利要求1所述的方法，其特征在于，所述根据所述第i层的输入数据获取第i+1层的输出数据具体包括：根据所述第i层的输入数据，计算获得第i+1层的输出数据为预设数据的概率，并将所述概率与预设的概率阈值比较，如果所述概率小于所述预设的概率阈值，则第i+1层的输出数据为所述预设数据。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据所述第i层的输入数据和第i层的输出数据，对第i层的偏置项进行训练，并根据所述第i+1层的输出数据和第i+1层中输出数据为预设数据的概率，对第i+1层的偏置项进行训练，所述对第i层的偏置项和第i+1层的偏置项进行训练用以实现对用户信用模型建模过程的优化。5.根据权利要求1所述的方法，其特征在于，将所述深度网络的第i-1层、第i层以及第i+1层作为受限玻尔兹曼机进行训练。6.根据权利要求1所述的方法，其特征在于，在所述用训练得到的相应层的权值矩阵初始化所述深度网络的相应层之后，该方法还包括：在所述深度网络中输入所述建立用户信用模型的样本数据，并根据所述相应层的权值矩阵获取所述深度网络中的第N层的输出数据；计算所述第N层的输出数据和期望输出数据之间的误差值，如果所述误差值小于预设的误差阈值时，则所述相应层的权值矩阵为所述深度网络的最终权值矩阵；如果所述误差值大于所述预设的误差阈值时，则对所述相应层的权值矩阵进行调整，直到调整后的权值使得所述深度网络...

【专利技术属性】
技术研发人员：席炎，杨强鹏，余舟华，姜晓燕，王晓光，褚崴，曾海峰，俞吴杰，杨军，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY