一种银行数据处理系统技术方案

本申请提供一种银行数据处理系统，可以用于大数据领域。银行数据处理系统包括：数据采集集群、数据湖、公共功能层以及基础设施层；数据湖提供数据处理算子，以及，数据存储；基础设施层提供存储引擎、计算引擎、以及计算资源及任务管理引擎；数据采集集群与银行业务数据系统连接；公共功能层，用于：接收数据批处理任务；根据数据批处理任务，利用数据采集集群获取来自银行业务数据系统的数据；通过计算引擎调用与数据存储策略对应的数据处理算子对数据处理；通过存储引擎将处理后的数据后存储至数据湖中。通过数据采集集群接收各银行业务数据系统中的历史数据和实时数据，可以提升数据的共享程度；提升了数据统计分析的效率。提升了数据统计分析的效率。提升了数据统计分析的效率。

【技术实现步骤摘要】
一种银行数据处理系统


[0001]本申请涉及大数据领域，尤其涉及一种银行数据处理系统。

技术介绍

[0002]目前，银行都具有多个数据存储以及管理平台，各平台之间互相独立运行，数据单向流动，数据共享程度低。
[0003]各数据存储以及管理平台的数据存储与处理策略的标准存在差异，若需要进行数据统计分析时，数据处理步骤繁多，且存在重复数据，数据统计分析效率低下。

技术实现思路

[0004]本申请提供一种银行数据处理系统，用以解决现有的各平台之间数据共享程度低，数据统计分析效率低下的问题。
[0005]第一方面，本申请提供一种银行数据处理系统，所述银行数据处理系统包括：数据采集集群、数据湖、公共功能层以及基础设施层；所述数据湖提供数据处理算子，以及，数据存储；其中，不同的数据处理算子用于执行不同的数据处理操作；所述基础设施层提供用于实现存储功能的存储引擎、计算功能的计算引擎、以及分配资源和任务管理的计算资源及任务管理引擎；所述数据采集集群与银行业务数据系统连接；
[0006]所述公共功能层，用于：
[0007]接收数据批处理任务；
[0008]根据所述数据批处理任务，利用所述数据采集集群获取来自银行业务数据系统的数据；所述银行业务数据系统至少包括：大数据平台、基础数据平台；
[0009]通过所述计算引擎调用与数据存储策略对应的数据处理算子对所述数据处理；
[0010]通过所述存储引擎将处理后的数据后存储至所述数据湖中。
[0011]可选的，所述公共功能层，具体用于根据所述数据批处理任务，向所述数据采集集群发送数据采集任务；
[0012]所述数据采集集群，用于根据所述数据采集任务，接收来自所述银行业务数据系统的原始数据，并对所述原始数据进行预处理后，得到所述数据并存储至所述数据湖的原始数据区；所述预处理至少包括：解压和/或转码；
[0013]所述公共功能层，具体用于从所述原始数据区读取所述数据。
[0014]可选的，所述银行业务数据系统的原始数据数据包括历史数据；
[0015]所述数据采集集群，还用于获取产生所述历史数据的模块对应的代码数据，并将所述模块的代码数据存储至所述数据湖中。
[0016]可选的，所述数据处理算子包括如下至少一种：
[0017]数据存储算子，用于根据所述数据存储策略中的存储子策略，对结构化数据和/或半结构化数据进行存储；所述存储子策略包括：以原始数据同构的方式存储数据；
[0018]数据清洗算子，用于根据所述数据存储策略中的清洗子策略对结构化数据进行清
洗，并将半结构化数据进行结构化处理后根据预设清洗方式进行清洗；
[0019]数据质量检核算子，用于根据所述数据存储策略中的数据质量检核子策略，对所述数据进行质量核验；
[0020]历史数据归档处理算子，用于根据所述数据存储策略中的历史数据的子存储策略，对所述历史数据进行归档存储；
[0021]历史数据恢复算子，用于根据所述数据存储策略中的数据生命周期管理子策略，对超出生命周期的历史数据进行恢复；
[0022]数据快照算子，用于按照所述数据的业务特征对应的所述数据存储策略中的快照处理子策略，对所述数据进行处理快照；
[0023]数据漂移校正算子，用于根据所述数据存储策略中的漂移修正子策略，对跨交易时间周期的数据进行时间漂移修正。
[0024]可选的，所述公共功能层，还用于从银行数据字典平台获取数据存储策略。
[0025]可选的，所述公共功能层，还用于对质量核验失败的错误数据进行修正处理，并将修正后的数据存储至所述数据湖中。
[0026]可选的，所述公共功能层，还用于：
[0027]以日志分级的方式记录所述银行数据处理系统各部分的运行情况；
[0028]和/或，对访问所述银行数据处理系统的客户端进行身份鉴权。
[0029]可选的，所述银行数据处理系统，还包括：运营层；
[0030]所述运营层，用于监控所述数据批处理任务的执行情况，并在所述执行情况表征所述数据批处理任务执行异常时，输出告警信息。
[0031]可选的，所述数据采集集群通过FTP的方式与第三方数据平台连接；
[0032]所述数据采集集群，还用于根据所述铺底数据采集任务，从所述第三方数据平台获取铺底数据；所述铺底数据用于验证所述银行数据处理系统的各部分功能是否正常；
[0033]所述公共功能层，还用于通过所述计算引擎调用与数据存储策略对应的数据处理算子对所述铺底数据处理；
[0034]所述运营层，还用于监控所述铺底数据的执行情况。
[0035]可选的，所述数据采集集群，用于根据所述数据采集任务，采用各银行业务数据系统对应的数据传输带宽，接收来自各银行业务数据系统的原始数据。
[0036]本申请提供的银行数据处理系统，通过数据采集集群统一接收各银行业务数据系统中的历史数据和实时数据，可以提升数据的共享程度；通过相同的数据处理以及存储策略对数据进行处理和存储，使得数据以相同的标准进行处理和存储，可以提升数据的质量；在进行分析时，可以从银行数据处理系统中获取对应的数据，减少了获取数据以及处理数据的步骤，从而提升了数据统计分析的效率。
附图说明
[0037]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0038]图1为本申请实施例提供的银行数据处理系的结构示意图一；
[0039]图2为本申请实施例提供的银行数据处理系的结构示意图二；
[0040]图3为本申请实施例提供的银行数据处理系的结构示意图三。
[0041]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0042]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0043]在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
[0044]本申请实施例中，“示例性的”或者“例如”等词用于表示例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种银行数据处理系统，其特征在于，所述银行数据处理系统包括：数据采集集群、数据湖、公共功能层以及基础设施层；所述数据湖提供数据处理算子，以及，数据存储；其中，不同的数据处理算子用于执行不同的数据处理操作；所述基础设施层提供用于实现存储功能的存储引擎、计算功能的计算引擎、以及分配资源和任务管理的计算资源及任务管理引擎；所述数据采集集群与银行业务数据系统连接；所述公共功能层，用于：接收数据批处理任务；根据所述数据批处理任务，利用所述数据采集集群获取来自银行业务数据系统的数据；所述银行业务数据系统至少包括：大数据平台、基础数据平台；通过所述计算引擎调用与数据存储策略对应的数据处理算子对所述数据处理；通过所述存储引擎将处理后的数据后存储至所述数据湖中。2.根据权利要求1所述的银行数据处理系统，其特征在于：所述公共功能层，具体用于根据所述数据批处理任务，向所述数据采集集群发送数据采集任务；所述数据采集集群，用于根据所述数据采集任务，接收来自所述银行业务数据系统的原始数据，并对所述原始数据进行预处理后，得到所述数据并存储至所述数据湖的原始数据区；所述预处理至少包括：解压和/或转码；所述公共功能层，具体用于从所述原始数据区读取所述数据。3.根据权利要求2所述的银行数据处理系统，其特征在于，所述银行业务数据系统的原始数据数据包括历史数据；所述数据采集集群，还用于获取产生所述历史数据的模块对应的代码数据，并将所述模块的代码数据存储至所述数据湖中。4.根据权利要求1所述的银行数据处理系统，其特征在于，所述数据处理算子包括如下至少一种：数据存储算子，用于根据所述数据存储策略中的存储子策略，对结构化数据和/或半结构化数据进行存储；所述存储子策略包括：以原始数据同构的方式存储数据；数据清洗算子，用于根据所述数据存储策略中的清洗子策略对结构化数据进行清洗，并将半结构化数据进行结构化处理后根据预设清洗方式进行清洗；数据质量检核算子，用于根据所述数据存储策略中的数据质量检核子策略，对所述...

【专利技术属性】
技术研发人员：郭赫，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：