一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:39315375 阅读:10 留言:0更新日期:2023-11-12 15:58
本申请公开了一种数据处理方法、装置、电子设备及存储介质。在本申请中,在获取到待处理的金融数据之后,根据多个监管报送应用执行数据报送任务的报送需求信息,对待处理的金融数据进行数据加工,得到衍生数据;然后,基于多个监管报送应用所对应的数据核验规则对衍生数据进行数据核验处理,得到核验数据;最后,根据多个监管报送应用所对应的报送需求信息,对核验数据进行分组处理,得到多个数据组,以使多个监管报送应用从对应的数据组中读取对应的报送数据,并将读取后的报送数据报送至数据监管平台。本申请所提供的方案避免了金融数据的重复加工和核验,提升了金融数据的管理效率。率。率。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质


[0001]本申请属于数据处理
,尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]在金融领域,通常需要根据不同的数据监管平台的数据监管需求来对金融行业的相关数据进行分析。其中,监管报送应用对金融机构的相关数据进行加工,并将加工后的数据报送至数据监管平台。
[0003]图1示出了相关技术中数据报送系统的架构图,由图1可知,现有的数据报送系统使用数据仓库、云化数仓、数据湖中的贴源数据与整合数据作为数据源。不同的监管报送应用在各自独立的计算集群中,分别引用各自执行数据报送任务所需的数据表,建设各自的明细层、衍生层、应用层,存储于各自的分布式数据库集群中,并各自计算集群的应用层数据,服务于各自的监管报送应用系统。
[0004]然而,当金融机构所对应的金融数据发生变化时,例如,客户信息系统中的数据发生变化时,各个监管报送应用需对各自数据表中的数据进行重新加工和分析。在数据加工的过程中,各个监管应用采用相同的数据加工方法对相同的数据进行数据加工,该方式造成了相同的数据重复加工,增加了数据管理成本,降低了数据的监管效率。

技术实现思路

[0005]本申请实施例提供一种数据处理方法、装置、电子设备及存储介质,能够避免金融数据的重复加工和核验,提升了金融数据的管理效率。
[0006]第一方面,本申请实施例提供一种数据处理方法,该方法包括:获取待处理的金融数据;根据多个监管报送应用执行数据报送任务的报送需求信息,对待处理的金融数据进行数据加工,得到衍生数据,其中,多个监管报送应用用于向数据监管平台上报与报送需求信息对应的报送数据;基于多个监管报送应用所对应的数据核验规则对衍生数据进行数据核验处理,得到核验数据;根据多个监管报送应用所对应的报送需求信息,对核验数据进行分组处理,得到多个数据组,以使多个监管报送应用从对应的数据组中读取对应的报送数据,并将读取后的报送数据报送至数据监管平台。
[0007]第二方面,本申请实施例提供了一种数据处理装置,该装置包括:数据获取模块,用于获取待处理的金融数据;数据加工模块,用于根据多个监管报送应用执行数据报送任务的报送需求信息,对待处理的金融数据进行数据加工,得到衍生数据,其中,多个监管报送应用用于向数据监管平台上报与报送需求信息对应的报送数据;数据核验模块,用于基于多个监管报送应用所对应的数据核验规则对衍生数据进行数据核验处理,得到核验数据;数据报送模块,用于根据多个监管报送应用所对应的报送需求信息,对核验数据进行分组处理,得到多个数据组,以使多个监管报送应用从对应的数据组中读取对应的报送数据,并将读取后的报送数据报送至数据监管平台。
[0008]第三方面,本申请实施例提供了一种电子设备,该电子设备包括:处理器以及存储有计算机程序指令的存储器;处理器执行计算机程序指令时实现如第一方面所述的数据处理方法。
[0009]第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面所述的数据处理方法。
[0010]第五方面,本申请实施例提供了一种计算机程序产品,计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备执行如第一方面所述的数据处理方法。
[0011]由上述内容可知,在本申请中,在执行数据报送任务的过程中,对待处理的金融数据进行统一的数据加工,之后,多个监管报送应用再进行数据报送,该过程无需多个监管报送应用独立进行数据加工,从而避免了相关技术中,多个监管报送应用采用相同的数据处理方式对相同的数据进行重复加工所导致的数据处理效率低的问题,提高了金融数据的管理效率。
[0012]而且,在本申请中,还对待处理的金融数据进行了统一核验,以提高数据质量,进而保证数据监管的质量。相较于相关技术中,由各个数据报送应用各自进行数据核验相比,本申请所提供的方案同样可以避免各个数据报送应用采用相同的核验规则对相同的数据进行重复核验所导致的数据核验效率低的问题,进一步提高了金融数据的管理效率。
附图说明
[0013]为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0014]图1是相关技术中数据报送系统的架构图;
[0015]图2是本申请一个实施例提供的数据处理方法的流程示意图;
[0016]图3是本申请一个实施例提供的数据处理方法的流程架构图;
[0017]图4是本申请另一个实施例提供的数据处理装置的结构示意图;
[0018]图5是本申请又一个实施例提供的电子设备的结构示意图。
具体实施方式
[0019]下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
[0020]需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备
所固有的要素。在没有更多限制的情况下,由语句“包括
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0021]需要说明的是,本申请实施例中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
[0022]为便于理解,在对本申请所提供的方案进行解释说明之前,首先对本申请所提供方案的背景进行解释说明。
[0023]图1示出了相关技术中数据报送系统的架构图,由图1可知,在相关技术中,各个监管报送应用独立进行数据加工,并将加工后的数据存储到对应的存储区域中,从而重复加工的数据存储在不同的存储区域中,而一份数据多地存储可能会带来口径指标的不一致,因此,在报送数据之前,需对各个监管报送应用的数据进行人工核验,该方式无疑增加了数据的管理成本(包括数据加工的时间成本和人力成本),降低了数据管理的效率。
[0024]此外,由图1可知,各个监管报送应用使用相同的数据源,因此,当某个监管报送应用对数据源中的部分数据进行修改时,可能会对其他监管报送应用的数据报送产生影响,例如,在客户信息系统中的数据发生变化时,各个监管报送应用的数据报送本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:获取待处理的金融数据;根据多个监管报送应用执行数据报送任务的报送需求信息,对所述待处理的金融数据进行数据加工,得到衍生数据,其中,所述多个监管报送应用用于向数据监管平台上报与所述报送需求信息对应的报送数据;基于所述多个监管报送应用所对应的数据核验规则对所述衍生数据进行数据核验处理,得到核验数据;根据所述多个监管报送应用所对应的报送需求信息,对所述核验数据进行分组处理,得到多个数据组,以使所述多个监管报送应用从对应的数据组中读取对应的报送数据,并将读取后的报送数据报送至所述数据监管平台。2.根据权利要求1所述的方法,其特征在于,获取待处理的金融数据,包括:响应于所述数据监管平台的数据报送指令,采集目标金融机构的多个金融业务所对应的金融数据;从所述多个金融业务所对应的金融数据中提取结构化的金融数据,得到所述待处理的金融数据。3.根据权利要求1所述的方法,其特征在于,根据多个监管报送应用执行数据报送任务的报送需求信息,对所述待处理的金融数据进行数据加工,得到衍生数据,包括:对所述多个监管报送应用执行数据报送任务的报送需求信息,得到所述多个监管报送应用的监管报送需求信息和公共报送需求信息,其中,所述公共报送需求信息用于表征所述多个监管报送应用执行数据报送任务时均需报送的数据,所述监管报送需求信息用于表征每个监管报送应用执行数据报送任务时需独立报送的数据,不同的监管报送应用对应不同的监管报送需求信息;从所述待处理的金融数据中提取与所述多个监管报送应用的监管报送需求信息相对应的金融数据,得到目标金融数据;根据所述多个监管报送应用的监管报送需求信息对所述目标金融数据进行数据加工,得到监管衍生数据;根据所述公共报送需求信息对所述待处理的金融数据进行数据加工,得到公共衍生数据;基于所述监管衍生数据和所述公共衍生数据生成所述衍生数据。4.根据权利要求1所述的方法,其特征在于,基于所述多个监管报送应用所对应的数据核验规则对所述衍生数据进行数据核验处理,得到核验数据,包括:基于所述衍生数据构建目标数据集合;对所述多个监管报送应用所对应的数据核验规则进行合并处理,得到核验规则集;从所述目标数据集合中获取满足所述核验规则集所包含的所有核验规则的数据,得到所述核验数据。5.根据权利要求4所述的方法,其特征在于,基于所述衍生数据构建目标数据集合,包括:存储所述衍生数据至目标数据库中;根据所述多个监管报送应用所对应的报送需求信息,确定每个监管报送应用访问所述
目标数据库的数据访问权限;根据所述多个监管报送应用所对应的数据访问权限从所述目标数据库中存储的衍生数据中进行数据提取,得到所述目标数据集合。6.根据权利要求4所述的方法,其特征在于,...

【专利技术属性】
技术研发人员:黄增燕
申请(专利权)人:建信金融科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1