一种应用于海量P2P网贷金融数据智能预处理工具及方法技术

本发明专利技术公开了一种应用于海量P2P网贷金融数据智能预处理工具及方法，可以对海量P2P网贷金融数据在存储到标准金融业务数据库之前，进行准确、高效地预处理，确保数据的准确性及有效性，从而建立P2P网络借贷平台有效监测机制，有效加强对P2P网络借贷平台的监管。预处理包括建立有效性及完整性校验规则，实现入库前的数据校验；以及数据分类、数据去重、数据修正、数据转换、状态计算，实现入库前的数据处理；最终将数据加载入标准金融业务数据库。

【技术实现步骤摘要】
一种应用于海量P2P网贷金融数据智能预处理工具及方法
本专利技术涉及应用于海量P2P网贷金融数据智能预处理方法，属于海量数据预处理方法领域。
技术介绍
近年来，随着国内互联网金融的快速发展，P2P网络借贷类型的互联网金融平台层出不穷。据统计，全国范围内截止到2016年7月底，已经成立的P2P网络借贷平台已达5000余家，P2P网贷行业历史成交金额突破2万亿。然而，在快速发展的同时，P2P网络借贷不断引发坏账率高、跑路频发等风险事件，据估计，接近一半的平台存在相关问题。因此，亟待借助一个统一监控平台，掌握各个平台的具体投资和借贷情况，形成“信息流”与“资金流”的双向监管，进行平台交易数据的大数据分析，从而建立P2P网络借贷平台有效监测机制，有效加强对P2P网络借贷平台的监管。在单一监测平台上统一实现大规模平台实时交易数据的有效监测和精准分析，就需要具备企业数据完备性校验，实现错误、缺少等问题数据的自动识别。因此，准确、高效地进行预处理显得尤为重要。
技术实现思路
本专利技术的目的是为了解决上述问题，提出一种应用于海量P2P网贷金融数据智能预处理的工具及方法，本专利技术是针对海量P2P网贷金本文档来自技高网...

【技术保护点】
一种应用于海量P2P网贷金融数据智能预处理方法，其特征在于，数据接入消息队列系统，进行数据预处理，以消费者的角色，从消息队列中消费数据，进行完整性及有效性验证，如果验证未通过，转入异常数据处理子流程，并向网贷平台返回错误码，如果验证通过，转入处理子流程，进行入库前处理，进行数据分类、数据去重、数据修正、数据转换、状态计算、数据加载，最终将网贷金融数据加载进入互联网金融业务库。

【技术特征摘要】
1.一种应用于海量P2P网贷金融数据智能预处理方法，其特征在于，数据接入消息队列系统，进行数据预处理，以消费者的角色，从消息队列中消费数据，进行完整性及有效性验证，如果验证未通过，转入异常数据处理子流程，并向网贷平台返回错误码，如果验证通过，转入处理子流程，进行入库前处理，进行数据分类、数据去重、数据修正、数据转换、状态计算、数据加载，最终将网贷金融数据加载进入互联网金融业务库。2.权利要求1所述的完整性验证功能包括，空值检查和格式检查，空值检查是指检查字段是否为空，格式检查是指检查字段的格式是否合乎规范。3.权利要求1所述的有效性验证功能包括值阈检查、日期格式校验及自定义有效性校验，值阈检查是指检查字段取值是否超出范围，日期格式校验是指检查日期字段的格式是否满足规定的格式，自定义有效性校验是指自定义的有效性校验规则。4.权利要求1所述的入库前处理，具体包含如下关键步骤：(1)数据分类：按企业对数据分类筛选，输入到对应通道进行数据预处理流程；(2)数据去重：过滤掉重复数据；(3)数据修正：对缺失、格式不对、异常数据消息进行修正处理；(4)数据转换：不同平台数据类型或交易类型与中心标准不一致，...

【专利技术属性】
技术研发人员：马秀娟，毛洪亮，王秀文，苏沐冉，张露晨，吴震，李焱余，唐积强，徐小磊，李传海，苏志坚，谢铭，
申请(专利权)人：国家计算机网络与信息安全管理中心，北京赛思信安技术股份有限公司，
类型：发明
国别省市：北京,11