一种异构数据交换与清洗系统及方法技术方案

本发明专利技术公开了一种异构数据交换与清洗系统及方法，系统包括：ETL系统，ETL系统由下向上依次包括：数据源层、数据采集层、数据处理层、数据存储层、数据分析应用层和展示层。本发明专利技术的有益效果是：采用集群化的方式，有效提升效率，实现了传统关系数据库与非结构化数据的统一接入，数据交换作业的可视化配置，无需开发人员开发代码，并且与大数据技术相结合，进行数据建仓并提供数据分析功能。

【技术实现步骤摘要】
一种异构数据交换与清洗系统及方法
本专利技术涉及数据处理领域，特别涉及一种异构数据交换与清洗系统及方法。
技术介绍
传统方法大都采用现有ETL工具进行开发或者根据需求直接编写代码实现数据交换过程。前者需要进行客户端部署并且配置也绑定在客户端上，后者更是需要耗费时间进行开发而且复用性极差。现有技术仅针对传统关系数据库以及少数固定类型文件进行数据清洗和交换。不仅数据接入方式单一，而且不支持数据的分析应用。
技术实现思路
本专利技术提供了一种异构数据交换与清洗系统及方法，解决了现有技术的技术问题。本专利技术解决上述技术问题的技术方案如下：一种异构数据交换与清洗系统，包括：ETL系统，所述ETL系统由下向上依次包括：数据源层、数据采集层、数据处理层、数据存储层、数据分析应用层和展示层；所述数据源层用于提供连接关系型数据库、文件型数据库和本地数据库的地址信息；所述数据采集层包括数据收集端和数据拉取端，所述数据收集端用于以全量或增量的方式根据所述数据源层提供的地址信息从所述关系型数据库获取结构化数据文件，从所述文件型数据库获取非结构化数据文件，所述数据拉取端用于向所述数据收集端发送请求以拉取所述结构化数据文件和所述非结构化数据文件；所述数据处理层用于将所述结构化数据文件和所述非结构化数据文件中的待共享数据推送到数据共享平台，对所述非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对所述结构化数据文件和所述本地数据库中的数据进行数据清洗和存储；所述数据存储层包括根据所述结构化数据文件创建的多个数据仓库、由所述数据仓库划拨得到多个数据集市和元数据规则引擎；所述数据分析应用层包括OLAP引擎，用于面向数据仓库进行查询分析；所述展示层用于展示所述OLAP引擎和所述ETL集群的操作界面，以及所述数据采集层进行数据采集的展示界面。本专利技术的有益效果是：采用集群化的方式，有效提升效率，实现了传统关系数据库与非结构化数据的统一接入，数据交换作业的可视化配置，无需开发人员开发代码，并且与大数据技术相结合，进行数据建仓并提供数据分析功能。在上述技术方案的基础上，本专利技术还可以做如下改进。优选地，所述数据收集端还用于将获取到的所述结构化数据文件和所述非结构化数据文件写到ftp服务器的预定文件夹中。优选地，所述数据拉取端具体用于：通过shell脚本从所述ftp服务器定时获取所述结构化数据文件和所述非结构化数据文件，获取之后从所述ftp服务器中删除；实时显示所述结构化数据文件的属性和数据源，以及所述非结构化数据文件的文件名称、数据源和文件类型，并进行预览；将所述结构化数据文件中的数据发送至所述ETL集群，将所述非结构化数据文件中的数据通过flume存入Hadoop平台。优选地，对所述非结构化数据文件进行数据归档存储时，所述数据处理层具体用于：调用元数据规则引擎，获取所述非结构化数据文件中数据的元数据，进行元数据存储；将进行数据清洗之后的所述结构化数据文件和所述本地数据库中的数据存入所述数据仓库时，所述数据处理层还用于调用元数据规则引擎，获取所述结构化数据文件和所述本地数据库中的数据的元数据，进行元数据存储。优选地，对待存入自身的数据进行存储时，所述数据集市具体用于：调用元数据规则引擎，获取所述待存入自身的数据的元数据，进行元数据存储。优选地，还包括：任务调度系统，连接所述数据拉取端和所述ETL集群，用于进行数据拉取任务调度和ETL作业调度。优选地，所述OLAP引擎用于对待查询分析的数据进行钻取、上卷、切片、切块以及旋转处理。上述技术方案的有益效果是：1、通过统一模块进行数据接入，包括传统的关系数据库以及非结构化数据。并且提供定时数据拉取、全量和增量数据获取、数据重新获取功能。2、对文件进行分流，需要数据清洗的由ETL集群清洗整合后归档；需要进行数据共享的数据推送给相应组件。数据分流过程中，调用元数据规则引擎，获取数据元数据，最后存储归档数据的元数据。3、数据仓库存储技术和大数据存储计算技术结合，充分利用数据仓库数据质量可靠可信的特点，让数据分析挖掘结果有效可用；同时结合大数据平台巨大的存储计算能力，提供更大的数据存储空间，提供更全的数据挖掘分析手段。二者结合，更加利于数据应用，为企业提升生产效率。一种异构数据交换与清洗方法，包括：S1、数据收集端以全量或增量的方式根据数据源层提供的地址信息从关系型数据库获取结构化数据文件，从文件型数据库获取非结构化数据文件；S2、数据拉取端向所述数据收集端发送请求以拉取所述结构化数据文件和所述非结构化数据文件；S3、将所述结构化数据文件和所述非结构化数据文件中的待共享数据推送到数据共享平台，对所述非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对所述结构化数据文件中的数据和本地数据库中的数据进行数据清洗；S4、根据所述结构化数据文件中的数据和所述本地数据库中的数据创建多个数据仓库，将所述结构化数据文件中的数据和所述本地数据库中的数据分别存入所述多个数据仓库。附图说明图1为本专利技术实施例提供的一种异构数据交换与清洗系统的结构图；图2为本专利技术另一实施例提供的一种异构数据交换与清洗系统的架构图；图3为本专利技术另一实施例提供的一种异构数据交换与清洗方法的流程图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示，一种异构数据交换与清洗系统，包括：ETL系统，ETL系统由下向上依次包括：数据源层1、数据采集层2、数据处理层3、数据存储层4、数据分析应用层5和展示层6；数据源层1用于提供连接关系型数据库、文件型数据库和本地数据库的地址信息；数据采集层2包括数据收集端和数据拉取端，数据收集端用于以全量或增量的方式根据数据源层提供的地址信息从关系型数据库获取结构化数据文件，从文件型数据库获取非结构化数据文件，数据拉取端用于向数据收集端发送请求以拉取结构化数据文件和非结构化数据文件；数据处理层3用于将结构化数据文件和非结构化数据文件中的待共享数据推送到数据共享平台，对非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对结构化数据文件和本地数据库中的数据进行数据清洗和存储；数据存储层4包括根据结构化数据文件创建的多个数据仓库、由数据仓库划拨得到多个数据集市和元数据规则引擎；数据分析应用层5包括OLAP引擎，用于面向数据仓库进行查询分析；展示层6用于展示OLAP引擎和ETL集群的操作界面，以及数据采集层进行数据采集的展示界面。采用集群化的方式，有效提升效率，实现了传统关系数据库与非结构化数据的统一接入，数据交换作业的可视化配置，无需开发人员开发代码，并且与大数据技术相结合，进行数据建仓并提供数据分析功能。优选地，数据收集端还用于将获取到的结构化数据文件和非结构化数据文件写到ftp服务器的预定文件夹中。优选地，数据拉取端具体用于：通过shell脚本从ftp服务器定时获取结构化数据文件和非结构化数据文件，获取之后从ftp服务器中删除；实时显示结构化数据文件的属性和数据源，以及非结构化数据文件的文件名称、数据源和文件类型，并进行预览；将结构化数据文件中的数据发送至ETL集群，将非结构化数据文件中的数据通过flume存入Hadoop平台。数据本文档来自技高网...

【技术保护点】
一种异构数据交换与清洗系统，其特征在于，包括：ETL系统，所述ETL系统由下向上依次包括：数据源层、数据采集层、数据处理层、数据存储层、数据分析应用层和展示层；所述数据源层用于提供连接关系型数据库、文件型数据库和本地数据库的地址信息；所述数据采集层包括数据收集端和数据拉取端，所述数据收集端用于以全量或增量的方式根据所述数据源层提供的地址信息从所述关系型数据库获取结构化数据文件，从所述文件型数据库获取非结构化数据文件，所述数据拉取端用于向所述数据收集端发送请求以拉取所述结构化数据文件和所述非结构化数据文件；所述数据处理层用于将所述结构化数据文件和所述非结构化数据文件中的待共享数据推送到数据共享平台，对所述非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对所述结构化数据文件和所述本地数据库中的数据进行数据清洗和存储；所述数据存储层包括根据所述结构化数据文件创建的多个数据仓库、由所述数据仓库划拨得到多个数据集市和元数据规则引擎；所述数据分析应用层包括OLAP引擎，用于面向数据仓库进行查询分析；所述展示层用于展示所述OLAP引擎和所述ETL集群的操作界面，以及所述数据采集层进行数据采集的展示界面。...

【技术特征摘要】
1.一种异构数据交换与清洗系统，其特征在于，包括：ETL系统，所述ETL系统由下向上依次包括：数据源层、数据采集层、数据处理层、数据存储层、数据分析应用层和展示层；所述数据源层用于提供连接关系型数据库、文件型数据库和本地数据库的地址信息；所述数据采集层包括数据收集端和数据拉取端，所述数据收集端用于以全量或增量的方式根据所述数据源层提供的地址信息从所述关系型数据库获取结构化数据文件，从所述文件型数据库获取非结构化数据文件，所述数据拉取端用于向所述数据收集端发送请求以拉取所述结构化数据文件和所述非结构化数据文件；所述数据处理层用于将所述结构化数据文件和所述非结构化数据文件中的待共享数据推送到数据共享平台，对所述非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对所述结构化数据文件和所述本地数据库中的数据进行数据清洗和存储；所述数据存储层包括根据所述结构化数据文件创建的多个数据仓库、由所述数据仓库划拨得到多个数据集市和元数据规则引擎；所述数据分析应用层包括OLAP引擎，用于面向数据仓库进行查询分析；所述展示层用于展示所述OLAP引擎和所述ETL集群的操作界面，以及所述数据采集层进行数据采集的展示界面。2.根据权利要求1所述的一种异构数据交换与清洗系统，其特征在于，所述数据收集端还用于将获取到的所述结构化数据文件和所述非结构化数据文件写到ftp服务器的预定文件夹中。3.根据权利要求2所述的一种异构数据交换与清洗系统，其特征在于，所述数据拉取端具体用于：通过shell脚本从所述ftp服务器定时获取所述结构化数据文件和所述非结构化数据文件，获取之后从所述ftp服务器中删除；实时显示所述结构化数据文件的属性和数据源，以及所述非结构化数据文件的文件名称、数据源和文件类型，并进行预览；将所述结构化数据文件中的数据发送至所述ETL集群，将所述非结构化数据文件中的数据...

【专利技术属性】
技术研发人员：刘益铭，刘浩，陈园园，沈巧敏，
申请(专利权)人：浙江航天恒嘉数据科技有限公司，
类型：发明
国别省市：浙江,33