一种数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置、设备及存储介质，其中，数据处理方法包括：基于预设采集模式，采集待监管数据；根据预设数据格式校验规则，确定待监管数据是否符合预设数据格式；若待监管数据不符合预设数据格式，则将待监管数据转换成预设数据格式的数据文件。本发明专利技术实施例的技术方案能够克服监管分散、没有形成统一监管体系的不足，达到了以相同的数据格式统一监管各待监管数据的效果。

A data processing method, device, equipment and storage medium

【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质
本专利技术实施例涉及计算机
，尤其涉及一种数据处理方法、装置、终端及存储介质。
技术介绍
对于当前地方金融监管工作而言，由于各地监管局刚成立，各业态分属于不同的管理部门，各管理部门独立开发，系统风格和指标体系等差异较大。同时，各个业态有各自的一个或多个业务系统，业态数据格式多样，导致监管分散，无法形成统一的监管体系。
技术实现思路
本专利技术提供一种数据处理方法、装置、终端及存储介质，达到了以相同的数据格式统一监管各待监管数据的效果。第一方面，本专利技术实施例提供了一种数据处理方法，所述方法包括：基于预设采集模式，采集待监管数据；根据预设数据格式校验规则，确定所述待监管数据是否符合预设数据格式；若所述待监管数据不符合预设数据格式，则将所述待监管数据转换成预设数据格式的数据文件。第二方面，本专利技术实施例还提供了一种数据处理装置，所述装置包括：待监管数据采集模块，用于基于预设采集模式，采集待监管数据；预设数据格式确定模块，用于根据预设数据格式校验规则，确定所述待监管数据是否符合预设数据格式；预设数据格式转换模块，用于若所述待监管数据不符合预设数据格式，则将所述待监管数据转换成预设数据格式的数据文件。第三方面，本专利技术实施例还提供了一种计算机设备，所述计算机设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任一实施例所述的数据处理方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本专利技术任一实施例所述的数据处理方法。本专利技术实施例通过基于预设采集模式，采集待监管数据；根据预设数据格式校验规则，确定待监管数据是否符合预设数据格式；若待监管数据不符合预设数据格式，则将待监管数据转换成预设数据格式的数据文件，克服了监管分散、没有形成统一监管体系的不足，达到了以相同的数据格式统一监管各待监管数据的效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例一中的一种数据处理方法的流程图；图2是本专利技术实施例二中的一种数据处理方法的流程图；图3是本专利技术实施例三中的一种数据处理装置的结构示意图；图4是本专利技术实施例四中的计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种数据处理方法的流程图，本实施例可适用于需要对各数据系统中的数据进行统一监管的情况，该方法可以由数据处理装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于计算机设备中。如图1所示，本实施例的方法具体包括：S110、基于预设采集模式，采集待监管数据。优选的，待监管数据可以是与数据待监管部门开展的各项业务相关的数据，其可以存储于数据待监管系统，数据待监管系统优选属于与其对应的数据待监管部门。本实施例优选可以应用于数据监管系统，该数据监管系统优选属于数据监管部门。数据监管部门利用数据监管系统，通过数据监管系统和数据待监管系统之间的数据接口，采集相应数据待监管系统中的待监管数据，并对采集到的待监管数据进行处理并进行监督管理。示例性的，数据监管部门可以是地方金融监管局，相应的，数据监管系统可以是地方金融监管系统。数据待监管部门可以是小额贷款、融资担保、地方资产管理公司、商业保理、股权交易市场、典当和融资租赁等部门，相应的，数据待监管系统可以是小额贷款待监管系统、融资担保待监管系统、地方资产管理公司待监管系统、商业保理待监管系统、股权交易市场待监管系统、典当待监管系统和融资租赁待监管系统。待监管数据的数据结构单元可以包括主题域、表、数据项(列)和数据实例(行)。主题域可以用于划分监管关注领域大类，可以包括公共信息、会计记账信息、客户信息、公司信息、还款信息、交易流水信息、统计全科目、资金业务、合同信息等。表可以是关系型数据库表，一个主题域中可以包括一个或多个表。数据项(列)可以是表下的一个或多个数据项(列)，即数据的基本单位。优选的，每个数据项的数据内容可以由数据监管系统的具体采集要求确定。数据实例(行)可以包括一行所有数据项(列)定义的数据，是数据存储和报送的基本单位。数据实例遵循关系型数据库第二范式，即数据实例在同一表中不重复。每个数据项(列)优选可以对应相应的格式，格式可以表示数据项(列)的类型及长度。数据项的格式可以包括Cn、C..n、I、I..n、Dw.d和F中的至少一种。其中，Cn可以表示n个字节的固定长度，相应的字符长度由字符编码集确定。C..n可以表示最多为n个字节的可变长度，相应的字符长度由字符编码集确定。I可以表示整数可计算形式。I..n可以表示最多为n位的整数可计算形式。Dw.d可以表示十进制小数可计算形式，w表示包含小数点前后字符位在内的整个数据项最多字符位数，d表示小数点后的最多字符位数。F可以表示任意长度浮点数。优选的，预设采集模式可以包括全量采集模式、增量采集模块和变化量采集模式。相应的，基于预设采集模式，采集待监管数据可以包括：基于全量采集模式，采集所有待监管数据；或，基于增量采集模式，采集较上一次采集增加的待监管数据；或，基于变化量采集模式，采集较上一次采集状态发生变化的待监管数据。其中，全量采集模式可以是指采集在采集时间点之前以及采集时间段内产生的所有数据，即使存在较上一次采集没有发生任何变化的数据，仍然对该数据进行采集。示例性的，若数据监管系统为地方金融监管系统，则利用全量采集模式采集的数据为在采集截止时间点之前所有发生业务及存续的数据。全增采集模式可以是指采集较前一次采集所增加的数据，其不包括对前一次采集数据的更新以及删除等情况。示例性的，增加的流水属于增量数据，而机构名称变更则属于数据的更新。变化量采集模式优选可以是指采集较前一次采集有变更的数据，其可以包括新增、更新以及删除的数据。其中，删除数据可以是将原记录的状态数据项更新为无效或更新为同等含义内容的新记录，并通过例如采集日期等与原记录进行区分。数据监管部门优选可以根据实际情况确定或调整数据采集模式。一般的，当数据监管系统第一次从数据待监管系统中采集数据时，优选可以基于全量采集模式，从数据待监管系统中一次性采集所有待监管数据，不追溯采集时间点前已结清业务在采集截止时间点上的状态。当数据监管系本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n基于预设采集模式，采集待监管数据；/n根据预设数据格式校验规则，确定所述待监管数据是否符合预设数据格式；/n若所述待监管数据不符合预设数据格式，则将所述待监管数据转换成预设数据格式的数据文件。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
基于预设采集模式，采集待监管数据；
根据预设数据格式校验规则，确定所述待监管数据是否符合预设数据格式；
若所述待监管数据不符合预设数据格式，则将所述待监管数据转换成预设数据格式的数据文件。


2.根据权利要求1所述的方法，其特征在于，基于预设采集模式，采集待监管数据，包括：
基于全量采集模式，采集所有待监管数据；
或，基于增量采集模式，采集较上一次采集增加的待监管数据；
或，基于变化量采集模式，采集较上一次采集状态发生变化的待监管数据。


3.根据权利要求1所述的方法，其特征在于，基于预设采集模式，采集待监管数据，包括：
基于预设采集模式，采集符合预设约束条件的待监管数据。


4.根据权利要求3所述的方法，其特征在于，所述预设约束条件包括预设数据项说明、预设数据项备注和预设数据项关联条件中的至少一种。


5.根据权利要求1所述的方法，其特征在于，在根据预设数据格式校验规则，确定所述待监管数据是否符合预设数据格式之前，包括：
根据所述预设数据格式，确定与所述预设数据格式相匹配的预设数据格式校验规则。


6.根据权利要求1所述的方法，其特征在于，若所述待监管数据不符合预设数据格式，则将所述待监管数据转换成预设数据格式的数据文件，包括：
若所述待监管数据的文件格式不符合预设文件格式，则将所述待监管数据转换成预设文件格式的数据文件；
和/或，若所述待监管数据的文件命名格式不符合预设文件命名格式，则将所述待监管数据转换成预设文件命名格式的数据文件；
和/或，若...

【专利技术属性】
技术研发人员：陈铭新，李晓敦，张东凯，吴勇，陈亚君，蔡朴锐，卢世温，林莹，李宁，
申请(专利权)人：中国建设银行股份有限公司，建信金融科技有限责任公司，
类型：发明
国别省市：北京;11