【技术实现步骤摘要】
本专利技术涉及互联网金融风险控制，具体涉及一种基于分布式的风控模型构建方法及系统。
技术介绍
1、随着互联网金融领域的迅猛发展，风险控制成为互联网金融机构必不可少的任务。然而，传统的风控模型在处理大规模数据、实时性要求和复杂性增加的挑战时，遇到了一系列问题：
2、1.互联网金融领域的数据规模庞大，传统的风控模型无法有效处理如此庞大的数据，导致处理速度慢、计算资源占用高。
3、2.互联网金融行业对实时性的要求非常高，需要实时监控和处理风险，及时识别和阻止潜在的风险事件。
4、3.随着互联网金融业务的发展，风险模型变得越来越复杂，需要考虑多个因素和特征进行综合评估，然而，传统的风控模型往往无法处理这种复杂性，无法充分挖掘特征和建立准确的模型。
5、4.传统的风控模型可能对用户体验产生不利影响，例如需要复杂的身份验证流程或过多的安全检查。
6、因此，亟需构建一种新的风控模型，用于有效应对互联网金融领域中的数据规模、实时性、复杂性和安全性等挑战。
技术实现思路
1、针对现有风控模型的不足以及实际应用的需求，第一方面，本专利技术提供了一种基于分布式的风控模型构建方法，旨在有效应对互联网金融领域中的大规模数据、实时性要求和复杂性增加的挑战，并为互联网金融机构提供准确、高效和安全的风控模型。
2、第一方面，本专利技术所提供的基于分布式的风控模型构建方法，包括如下步骤：将历史样本数据集和待评估样本数据集分别存储到存储节点中，并
3、本专利技术通过分布式存储框架和计算框架所构建的风控模型，能够有效地处理互联网金融领域中庞大的数据规模；本专利技术所构建的风控模型可以利用内部的分布式计算框架进行实时数据处理和模型训练，使得风险评估能够快速响应并实时更新，该分布式计算框架还可以提供更强大的计算能力和资源，使得可以处理更复杂的模型和更多的特征，从而提高模型的准确性和预测能力；同时，基于分布式存储框架的风控模型可以提供数据备份和冗余机制，增强数据的安全性和可靠性。
4、可选地，所述将历史样本数据集和待评估样本数据集分别存储到存储节点中，并通过所述存储节点搭建分布式存储框架，包括如下步骤：获取历史样本数据集和待评估样本数据集；分别划分所述历史样本数据集和所述待评估样本数据集，生成一个或者多个历史样本数据子集和一个或者多个待评估样本数据子集；分别将所述历史样本数据子集和所述待评估样本数据子集存储在对应的存储节点中；汇总所有历史样本数据子集对应的存储节点，生成历史样本分布式存储框架；汇总所有待评估样本数据子集对应的存储节点，生成待评估样本分布式存储框架。本专利技术通过将历史样本数据集和待评估样本数据集分别存储并构建分布式存储框架，能够提高数据的存取效率、并行处理能力和系统的可扩展性，从而增加系统的整体性能和处理能力，适应大规模数据和复杂模型构建的需求。
5、可选地，任一个所述样本数据子集包含的样本数据量小于或者等于q，其中，q表示样本数据子集中样本数据量阈值。本专利技术将样本数据子集的大小限制在一定阈值以下，可以提高数据的分布式处理效率和系统的可伸缩性，确保每个存储节点上的数据量合理，减少数据传输和计算的负担。
6、可选地，所述获取历史样本数据集和待评估样本数据集，包括如下步骤：设定风险特征，并根据所述风险特征获得对应的数据；对所述数据进行特征工程；对特征工程后的数据进行标注，获得带有标签的历史样本数据集；整理特征工程后的数据，获得待评估样本数据集。本专利技术通过设定风险特征、进行特征工程和标注，能够提高数据的质量和准确性，为构建风控模型提供更可靠的数据基础，并且整理后的待评估样本数据集能更好地适应模型构建需求。
7、可选地，所述基于所述分布式存储框架搭建分布式计算框架，并利用分布式存储框架中存储的历史样本数据训练对应的计算节点，包括如下步骤：搭建分布式计算框架，所述分布式计算框架包括两个或者两个以上计算节点；结合所述分布式计算框架和所述分布式存储框架，设置分布式计算环境，在所述分布式计算环境中，所述分布式计算框架内任一计算节点对应着所述分布式存储框架中一存储节点；在所述分布式计算环境中任一计算节点上搭建计算模型，并利用所述计算节点对应的存储节点上的样本数据训练所述计算模型。本专利技术利用分布式存储框架中的数据对分布式的计算框架中的计算节点进行训练，可以实现并行计算和分布式训练，提高计算效率和模型构建速度。同时，本专利技术所提供的分布式计算环境可以充分利用计算资源，提供更强大的计算能力，从而增强模型的准确性和预测能力。
8、可选地，所述结合所述分布式计算框架和所述分布式存储框架，设置分布式计算环境，包括如下步骤：将任一个历史样本数据子集的存储节点对应配置一个计算节点；将任一个待评估样本数据子集的存储节点与所有历史样本数据子集对应的存储节点全连接，使得相互连接的两个存储节点之间数据共享；通过数据共享加载待评估样本数据子集中的待评估样本数据；利用训练好的计算节点，初步评估待评估样本数据的风险。本专利技术通过配置相应的计算节点和存储节点的连接，以及节点间的数据共享，可以在分布式计算环境中更高效地加载待评估样本数据，并利用训练好的计算节点进行初步风险评估。这样可以提高整体计算和评估效率，加快对待评估样本数据的风险识别和决策能力。
9、可选地，所述在所述分布式计算环境中任一计算节点上搭建计算模型，包括如下步骤：基于历史样本数据集中的各项风险特征，分别设定对应的初始预测权重；利用所述风险特征与对应的初始预测权重，搭建初始预测模型；在所述历史样本数据集选取任一历史样本数据作为初始样本数据；利用所述初始样本数据结合初始预测模型，获得初始样本数据的预测标签值；结合所述初始样本数据的实际标签值和预测标签值，获得初始预测残差；利用所述初始预测残差结合初始预测模型，搭建二次预测模型；利用剩余历史样本数据持续迭代所述二次预测模型，获得最终预测模型。本专利技术通过在分布式计算环境中搭建计算模型，并利用迭代的方式优化模型，可以有效地提高模型的预测能力和准确性。通过初始预测和残差的迭代处理，可以逐步优化模型的预测效果，使得最终的预测模型更加准确和可靠。这样可以提升风险评估的精度和可靠性，为互联网金融机构提供更准确的风控决策支持。
10、可选地，所述最终预测模型，满足如下公式：，，其中，表示初始预测权重的定义域的一个子集，子集中任一组元素可使函数为最小值，表示历史样本数据集中历史样本数据总数量，表示任一组历史样本数据中的风险特征总数量，表示第j组历史样本数据的实际标签值，表示第组历史样本数据对应的预测权重，表示第j组历史样本数据中第i个样本数据，表示第组样本数据的预测标签值，表示第m组历史样本数据中第i个样本数据，表示第组历史样本数据的预本文档来自技高网...
【技术保护点】
1.一种基于分布式的风控模型构建方法，其特征在于，所述基于分布式的风控模型构建方法，包括如下步骤：
2.根据权利要求1所述的基于分布式的风控模型构建方法，其特征在于，所述将历史样本数据集和待评估样本数据集分别存储到存储节点中，并通过所述存储节点搭建分布式存储框架，包括如下步骤：
3.根据权利要求2所述的基于分布式的风控模型构建方法，其特征在于，任一个样本数据子集包含的样本数据量小于或者等于Q，其中，Q表示样本数据子集中样本数据量阈值。
4.根据权利要求2所述的基于分布式的风控模型构建方法，其特征在于，所述获取历史样本数据集和待评估样本数据集，包括如下步骤：
5.根据权利要求2所述的基于分布式的风控模型构建方法，其特征在于，所述基于所述分布式存储框架搭建分布式计算框架，并利用分布式存储框架中存储的历史样本数据训练对应的计算节点，包括如下步骤：
6.根据权利要求5所述的基于分布式的风控模型构建方法，其特征在于，所述结合所述分布式计算框架和所述分布式存储框架，设置分布式计算环境，包括如下步骤：
7.根据权利要求6所
8.根据权利要求7所述的基于分布式的风控模型构建方法，其特征在于，所述最终预测模型，满足如下公式：，，其中，表示初始预测权重的定义域的一个子集，子集中任一组元素可使函数为最小值，表示历史样本数据集中历史样本数据总数量，表示任一组历史样本数据中的风险特征总数量，表示第j组历史样本数据的实际标签值，表示第组历史样本数据对应的预测权重，表示第j组历史样本数据中第i个样本数据，表示第组样本数据的预测标签值，表示第m组历史样本数据中第i个样本数据，表示第组历史样本数据的预测残差。
9.根据权利要求8所述的基于分布式的风控模型构建方法，其特征在于，所述目标风控模型，满足如下公式：，，，其中，表示初始预测权重的定义域的一个子集，子集中任一组元素可使函数为最小值，表示待评估样本数据中第i个样本数据对应的预测权重，表示第j组历史样本数据中第i个样本数据，表示最终预测模型的数量，表示第个最终预测模型对待评估样本数据的预测标签值，表示待评估样本数据中第i个样本数据，表示训练第个最终预测模型过程中第组样本数据的预测残差，表示待评估样本数据的风险预测值，表示第个最终预测模型的风险权重。
10.一种基于分布式的风控模型构建系统，其特征在于，所述基于分布式的风控模型构建系统包括输入设备、处理器、存储器和输出设备，所述输入设备、所述处理器、所述存储器和所述输出设备相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1至9任一项所述的基于分布式的风控模型构建方法。
...【技术特征摘要】
1.一种基于分布式的风控模型构建方法，其特征在于，所述基于分布式的风控模型构建方法，包括如下步骤：
2.根据权利要求1所述的基于分布式的风控模型构建方法，其特征在于，所述将历史样本数据集和待评估样本数据集分别存储到存储节点中，并通过所述存储节点搭建分布式存储框架，包括如下步骤：
3.根据权利要求2所述的基于分布式的风控模型构建方法，其特征在于，任一个样本数据子集包含的样本数据量小于或者等于q，其中，q表示样本数据子集中样本数据量阈值。
4.根据权利要求2所述的基于分布式的风控模型构建方法，其特征在于，所述获取历史样本数据集和待评估样本数据集，包括如下步骤：
5.根据权利要求2所述的基于分布式的风控模型构建方法，其特征在于，所述基于所述分布式存储框架搭建分布式计算框架，并利用分布式存储框架中存储的历史样本数据训练对应的计算节点，包括如下步骤：
6.根据权利要求5所述的基于分布式的风控模型构建方法，其特征在于，所述结合所述分布式计算框架和所述分布式存储框架，设置分布式计算环境，包括如下步骤：
7.根据权利要求6所述的基于分布式的风控模型构建方法，其特征在于，所述在所述分布式计算环境中任一计算节点上搭建计算模型，包括如下步骤：
8.根据权利要求7所述的基于分布式的风控模型构建方法，其特征在于，所述最终预测模型，满足如下公式：，，其中，表示初...
【专利技术属性】
技术研发人员：王中健，
申请(专利权)人：药融云数字科技成都有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。