批量数据整合方法、装置、存储介质及设备制造方法及图纸

本发明专利技术提供了一种批量数据整合方法、装置、存储设备及介质。该方法包括：利用调度组件接收来自上游系统的数据文件，并将数据文件分发给监控组件；利用监控组件对数据文件开启内存锁，并转发给执行组件；利用执行组件对数据文件进行包括解压缩、改名、备份及删除中的一种或多种处理，并转发给业务组件；利用业务组件对数据文件进行业务逻辑处理，并关闭内存锁；其中，调度组件、监控组件、执行组件及业务组件是根据数据文件的业务类型预先定义；多个不同业务类型的数据文件利用其各自的调度组件、监控组件、执行组件及业务组件并行进行数据整合。本发明专利技术能够满足时效性、可维护性、文件兼容性等方面要求。

【技术实现步骤摘要】
批量数据整合方法、装置、存储介质及设备
本专利技术涉及数据处理
，尤其涉及一种批量数据整合方法、装置、存储介质及设备。
技术介绍
目前，若客户通过网银查询个人相关信息，通常会有很多批量文件从源系统传输到DCDS(文件分发中转系统)，再从DCDS传输至网银系统，最终由前端显示相关信息。该类批量文件的数据量巨大，且对时效性要求很高。所以，网银需要批量处理工具，进行高效的数据加载，以保证前端应用运行正常。然而，目前采用sh批量处理工具加载数据，只是脚本程序在处理文件，基本上是几个脚本解决一切，从时效性、可维护性、文件兼容性等方面都无法满足要求。
技术实现思路
本专利技术提供一种批量数据整合方法、装置、存储介质及设备，以满足时效性、可维护性、文件兼容性等方面要求。本专利技术实施例提供一种批量数据整合方法，包括：利用调度组件接收来自上游系统的数据文件，并将数据文件分发给监控组件；利用监控组件对数据文件开启内存锁，并转发给执行组件；利用执行组件对数据文件进行包括解压缩、改名、备份及删除中的一种或多种处理，并转发给业务组件；利用业务组件对数据文件进行业务逻辑处理，并关闭内存锁；其中，调度组件、监本文档来自技高网...

【技术保护点】
一种批量数据整合方法，其特征在于，包括：利用调度组件接收来自上游系统的数据文件，并将数据文件分发给监控组件；利用监控组件对数据文件开启内存锁，并转发给执行组件；利用执行组件对数据文件进行包括解压缩、改名、备份及删除中的一种或多种处理，并转发给业务组件；利用业务组件对数据文件进行业务逻辑处理，并关闭内存锁；其中，调度组件、监控组件、执行组件及业务组件是根据数据文件的业务类型预先定义；多个不同业务类型的数据文件利用其各自的调度组件、监控组件、执行组件及业务组件并行进行数据整合。

【技术特征摘要】
1.一种批量数据整合方法，其特征在于，包括：利用调度组件接收来自上游系统的数据文件，并将数据文件分发给监控组件；利用监控组件对数据文件开启内存锁，并转发给执行组件；利用执行组件对数据文件进行包括解压缩、改名、备份及删除中的一种或多种处理，并转发给业务组件；利用业务组件对数据文件进行业务逻辑处理，并关闭内存锁；其中，调度组件、监控组件、执行组件及业务组件是根据数据文件的业务类型预先定义；多个不同业务类型的数据文件利用其各自的调度组件、监控组件、执行组件及业务组件并行进行数据整合。2.如权利要求1所述的批量数据整合方法，其特征在于，利用执行组件对数据文件进行包括解压缩、改名、备份及删除中的一种或多种处理，并转发给业务组件之前，还包括：利用监控组件对数据文件进行容错处理。3.如权利要求1所述的批量数据整合方法，其特征在于，调度组件、监控组件、执行组件及业务组件是以Java语言为基础，同时使用Sh语言预先定义。4.如权利要求1所述的批量数据整合方法，其特征在于，调度组件、监控组件、执行组件及业务组件中的多个文件是根据业务类型的信息命名。5.一种批量数据整合装置，其特征在于，包括：调度单元，用于：利用调度组件接收来自上游系统的数据文件，并将数据文件分发给监控组件；监控单元，用于：利用监控组件对数据文件开启内...

【专利技术属性】
技术研发人员：胡蒂，商利国，曹克，魏东升，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京,11