一种监管数据自动化采集的方法技术

本发明专利技术公开一种监管数据自动化采集的方法，该方法首先通过在ETL组件中定义标准数据模型，用于将采集到的数据转换成数据网关的API接口定义的标准数据；然后设定数据源；接着基于SQL设定数据内容创建采集计划，设定采集周期制定定时任务，从数据源定时采集数据，并通过标准数据模型转换成标准数据；再根据设置的分片大小自动切分成数据分片，推送至数据网关；最后数据网关存储推送的数据分片，生成数据镜像，并对数据镜像分片后转发至监管系统。本发明专利技术实现自动化的数据采集并且将数据格式映射到标准数据模型，可应用于多数据库多系统的监管数据自动化采集，为监管数据自动化采集提供了一种新思路。

【技术实现步骤摘要】
一种监管数据自动化采集的方法
本专利技术属于计算机数据处理领域，尤其涉及一种监管数据自动化采集方法。
技术介绍
在监管系统中需要从资金系统、财务系统采集相关数据进行报表的分析与计算，现有技术大致为采用手动的方式逐一从所需要的企业资金系统，财务系统中获取相应的数据，然而该方法比较繁琐，费时费力，且准确率低，因此需要一种自动的数据采集技术，从企业的资金系统，财务系统进行数据采集、转化并将标准化数据推送至网关。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种监管数据自动化采集方法。本专利技术的目的是通过以下技术方案来实现的：一种监管数据自动化采集的方法，该方法通过ETL组件定时采集数据，数据网关存储并转发数据到监管系统，形成单向数据流转心跳链路。进一步地，包括以下步骤：(1)在ETL组件中定义标准数据模型，用于将采集到的数据转换成数据网关的API接口定义的标准数据；(2)配置需采集的数据库，设定数据源；(3)ETL组件基于SQL设定数据内容创建采集计划，设定采集周期制定定时任务，从步骤(2)中的数据源定时采集数据，并通过步骤(1)定义的标准数据模型转换成标准数据；再根据设置的分片大小自动切分成数据分片，推送至数据网关；(4)数据网关存储步骤(3)推送的数据分片，生成数据镜像，再对数据镜像分片并转发至监管系统。进一步地，该方法使用HTTPS协议。进一步地，所述数据网关的API接口为RESTfulJSONAPI接口。进一步地，所述ETL组件支持Oracle、SQLServer和MySQL。进一步地，所述数据网关的API接口使用AES对称加密数据。进一步地，所述定时任务在Windows系统中基于系统自带的服务计划运行。进一步地，所述定时任务在linux系统基于crontab运行。本专利技术的有益效果是：本专利技术首先在企业内网中部署ETL组件，该组件负责从企业的资金系统、财务系统自动进行数据采集、转化并将标准化数据推送至网关，实现自动化的数据采集并且将数据格式映射到标准数据模型，可应用于多数据库多系统的监管数据自动化采集，为监管数据自动化采集提供了一种新思路。附图说明图1为本专利技术的监管数据自动化采集方法的流程示意图；图2为ETL组件中的临时数据示意图；图3为监管系统自动化获取的监管数据示意图；图4为监管系统从数据中分析的得到的部分日记账数据示意图；图5为监管系统根据数据获得的统计表示意图；图6为监管系统根据数据获得的综合统计表示意图。具体实施方式下面根据附图和优选实施例详细描述本专利技术，本专利技术的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，一种监管数据自动化采集的方法，通过ETL组件抽取数据，数据网关转储并转发数据，监管系统获得数据，构建一条由ETL工具、数据网关到监管系统的单向数据流转心跳链路；其中，ETL组件处于企业内网的环境中与外界网络隔离，企业内网单向访问前置机，数据网关位于前置机中作为企业内网与监管系统的中间层设备；监管系统中的抓取模块可实时展示来自各个监管企业的数据抓取信息情况。本专利技术使用HTTPS协议防止数据在传输过程中被窃取、改变，确保数据的完整性。本专利技术基于Java平台、Oracle、SQLServer等主流数据库及MySQL等开源数据库、Linux和Windows系统。本专利技术方法包括以下步骤：S1：配置网关接口：在ETL组件中定义标准数据模型，所述标准数据模型将采集到的数据转换成数据网关的RESTfulJSONAPI(ApplicationProgrammingInterface,应用程序编程接口)定义的标准数据；所述ETL组件支持多种数据库方言，包括Oracle、SQLServer主流数据库及MySQL开源数据库；所述RESTfulJSONAPI接口使用AES(AdvancedEncryptionStandard，高级加密标准)对称加密数据，发送方ETL组件使用密钥AppSecret(应用密钥)将明文数据加密成密文发送，接收方数据网关收到密文后，使用同一密钥将密文解密成明文读取。S2：配置需采集的数据库，设定数据源；S3：ETL组件基于SQL(StructuredQueryLanguage，结构化查询语言)设定数据内容创建采集计划，设定采集周期制定定时任务，从步骤S2中的数据源进行周期性的定时数据采集得到所有企业上报资金和财务数据，并通过步骤S1定义的标准数据模型转换成标准数据；再根据设置的分片大小自动切分该标准数据得到数据分片，并推送至数据网关；所述定时任务在Windows系统中基于系统自带的服务计划运行；在linux系统基于crontab运行。S4：数据网关自动存储推送的数据分片，生成数据镜像，再对数据镜像分片并转发至监管系统。图2-6为本专利技术方法的一个实施例应用示意图；其中，图2为ETL组件中的临时数据，图3为监管系统自动化获取的监管数据，图4为监管系统从数据中分析的得到的部分日记账数据，图5为监管系统根据数据获得的统计表，图6为监管系统根据数据获得的综合统计表。对于本领域的技术人员来说，可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在专利技术的精神和原则之内，所做的修改、等同替换等均应包含在专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种监管数据自动化采集的方法，其特征在于，该方法通过ETL组件定时采集数据，数据网关存储并转发数据到监管系统，形成单向数据流转心跳链路，包括以下步骤：/n(1)在ETL组件中定义标准数据模型，用于将采集到的数据转换成数据网关的API接口定义的标准数据。/n(2)配置需采集的数据库，设定数据源。/n(3)ETL组件基于SQL设定数据内容创建采集计划，设定采集周期制定定时任务，从步骤(2)中的数据源定时采集数据，并通过步骤(1)定义的标准数据模型转换成标准数据；再根据设置的分片大小自动切分成数据分片，推送至数据网关。/n(4)数据网关存储步骤(3)推送的数据分片，生成数据镜像，再对数据镜像分片并转发至监管系统。/n

【技术特征摘要】
1.一种监管数据自动化采集的方法，其特征在于，该方法通过ETL组件定时采集数据，数据网关存储并转发数据到监管系统，形成单向数据流转心跳链路，包括以下步骤：
(1)在ETL组件中定义标准数据模型，用于将采集到的数据转换成数据网关的API接口定义的标准数据。
(2)配置需采集的数据库，设定数据源。
(3)ETL组件基于SQL设定数据内容创建采集计划，设定采集周期制定定时任务，从步骤(2)中的数据源定时采集数据，并通过步骤(1)定义的标准数据模型转换成标准数据；再根据设置的分片大小自动切分成数据分片，推送至数据网关。
(4)数据网关存储步骤(3)推送的数据分片，生成数据镜像，再对数据镜像分片并转发至监管系统。


2.根据权利要求1所述监管数据自动化采集的方法，其特征在于，该方法使...

【专利技术属性】
技术研发人员：韩志科，程钦男，邓水光，杜兴宇，邢浩，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33