一种基于多数据源的ETL处理方法及装置制造方法及图纸

本发明专利技术实施例公开了一种基于多数据源的ETL处理方法及装置，该方法包括：将不同类型的数据源添加到一个操作平台，当需要进行ETL处理时，从已添加的数据源中选取进行ETL处理所需的第一目标数据源和第二目标数据源，接收用户依据预设的大数据处理标准，设置ETL处理规则；依据ETL处理规则，执行ETL处理的步骤。通过本实施例的方法，对于多源ETL工具来说，方便开发者将所有数据源信息保存在本发明专利技术所属的平台上，而无需各自业务保存在各自的内部文档中，当有数据源加入时，也只需将该新的数据源添加进去即可，因此，数据开发时，无需在多个数据源的不同接口类型中进行切换，不仅减小了开发人员的工作量，而且提高了开发的效率。

A ETL processing method and device based on multiple data sources

The embodiment of the invention discloses a ETL processing method and device based on multiple data sources, the method comprises the following steps: adding different types of data sources to a platform, when the need for ETL treatment, selection of ETL required the first target data source and the second target data source from the data has been added the source, receiving large data users according to a preset standard, set the ETL rules; according to the ETL rules, the implementation of ETL processing steps. Through the method of the embodiment, the multi ETL tools, developers will be convenient for all data source information stored in the invention belongs to the platform, without their respective internal documents stored in the business, when the data source is added, only the new data source added. Therefore, the development of data, without the need to switch in a plurality of data sources of different interface types, not only reduces the workload, but also improve the efficiency of the development.

【技术实现步骤摘要】
一种基于多数据源的ETL处理方法及装置
本专利技术涉及大数据处理领域，尤其涉及一种基于多数据源的ETL处理方法及装置。
技术介绍
随着大数据业务的发展，对数据进行ETL(英文全称：Extract-Transform-Load，中文全称：数据仓库技术)处理非常的普遍。ETL处理的过程大致为从一个数据源中提取数据，将提取的数据转换为一个标准的格式，并加载到另外一个目标数据源的过程。目前，存在多种不同类型的数据源，例如：关系型Mysql、非关系型HBase、数据仓库有Hive、文件存储HDFS、具有存储功能的文件索引服务Elasticsearch；而不同的数据类型的数据源可能会具有不同的接口类型。现有技术中，针对不同的接口类型的数据源技术人员需要开发不同的ETL处理工具进行ETL处理，这样不仅增加了技术开发人员的工作量，而且开发效率低。
技术实现思路
有鉴于此，本专利技术实施例提供了一种基于多数据源的ETL处理方法，解决了现有技术中，针对不同的接口类型的数据源技术人员需要开发不同的ETL处理工具进行ETL处理，不仅增加了技术开发人员的工作量，而且开发效率低的问题。本专利技术实施例提供了一种基于本文档来自技高网...

【技术保护点】
一种基于多数据源的ETL处理方法，其特征在于，所述方法包括：选取对待处理数据进行ETL处理所需的第一目标数据源和第二目标数据源；其中，所述第一目标数据源为所述待处理数据的来源端，所述第二目标数据源为将所述待处理数据进行ETL处理后进行存储的目的端；接收用户设置的ETL处理规则；依据所述ETL处理规则，从所述第一目标数据源中提取待处理数据，对所述待处理数据进行相应的ETL处理，得到所述待处理数据的处理结果，并将所述处理结果加载到所述第二目标数据源。

【技术特征摘要】
1.一种基于多数据源的ETL处理方法，其特征在于，所述方法包括：选取对待处理数据进行ETL处理所需的第一目标数据源和第二目标数据源；其中，所述第一目标数据源为所述待处理数据的来源端，所述第二目标数据源为将所述待处理数据进行ETL处理后进行存储的目的端；接收用户设置的ETL处理规则；依据所述ETL处理规则，从所述第一目标数据源中提取待处理数据，对所述待处理数据进行相应的ETL处理，得到所述待处理数据的处理结果，并将所述处理结果加载到所述第二目标数据源。2.根据权利要求1所述的方法，其特征在于，还包括：依据数据源的类型，添加所述数据源；其中，所述第一目标数据源和第二目标数据源是从添加的所述数据源中选取的。3.根据权利要求2所述的方法，其特征在于，所述依据数据源的类型，添加所述数据源，包括：从预设的目的地址导入所述数据源；设置所述数据源的相关信息；所述相关信息包括：数据源名称、数据源类型和数据源中数据表的访问方式；将设置的所述数据源的相关信息进行保存、以及将所述数据源依据预设的规则进行保存。4.根据权利要求1所述的方法，其特征在于，所述接收用户设置的ETL处理规则，包括：接收用户依据预设的结构化查询语言SQL的处理标准设置的处理规则。5.根据权利要求1所述的方法，其特征在于，将所述处理结果加载到所述第二目标数据源后，还包括：展示对所述待处理数据进行ETL处理的结果。6.一种基于多数据源的E...

【专利技术属性】
技术研发人员：陈越晨，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11