多元数据源集成组件制造技术

本申请提供一种多元数据源集成组件。包括：输入组件和输出组件；输入组件用于接入多个第三方数据库；并针对接入的第三方数据库，基于该第三方数据库的特性，从该第三方数据库中查询对应的数据集，将从该第三方数据库中查询到的数据集作为第一数据集；采用数据仓库技术工具将第一数据集中的数据类型转换为数据仓库技术工具的系统通用数据类型；输出组件用于将第一数据集的数据类型由系统通用数据类型转换为本地数据库的专用数据类型；并将经过数据类型转换后的第一数据集存入本地数据库。本申请操作简便，能够提高不同类型的第三方数据库之间的集成整合效率，更具通用性和适用性。性。性。

【技术实现步骤摘要】
多元数据源集成组件


[0001]本申请涉及计算机
，尤其涉及一种多元数据源集成组件。

技术介绍

[0002]为了实现企业全局数据的系统化运作管理(信息孤岛、数据统计、数据分析、数据挖掘)，为DSS(决策支持系统)、BI(商务智能)、经营分析系统等深度开发应用奠定基础，挖掘数据价值，企业会开始着手建立数据仓库、数据中台。将相互分离的业务系统的数据源整合在一起，建立一个统一的数据采集、处理、存储、分发、共享中心，从而使公司的成员能够从不同业务部门查看综合数据。并且，随着“互联网+”时代的不断推进，数据库技术发展日新月异，国内外数据库种类百花齐放，其特性也各具特色，其数据类型、数据存储方式都无法直接兼容，并且目前现有的开源工具对这些特殊的数据库兼容性较差，如果购买定制化开源产品又会产生额外的高额费用，因此，如何在数据库种类、特性如此繁杂的环境下，可以同时适配各种不同类型的数据库，并且能完全适配其特性成为难题之一。

技术实现思路

[0003]本申请提供了一种多元数据源集成组件，以解决在数据库种类、特性繁杂的情况下，不同类型的数据库在实现集成整合时操作复杂的问题。
[0004]第一方面，本申请提供了一种多元数据源集成组件，包括：
[0005]输入组件和输出组件；
[0006]所述输入组件用于接入多个第三方数据库；并针对每个接入的第三方数据库，基于该第三方数据库的特性，从该第三方数据库中查询对应的数据集，将从该第三方数据库中查询到的数据集作为第一数据集；采用数据仓库技术工具将所述第一数据集中的数据类型转换为所述数据仓库技术工具的系统通用数据类型；
[0007]所述输出组件用于将所述第一数据集的数据类型由系统通用数据类型转换为本地数据库的专用数据类型；并将经过数据类型转换后的第一数据集存入所述本地数据库。
[0008]在一种可能的实现方式中，所述输入组件包括自定义获取模块；
[0009]所述自定义获取模块用于针对每个接入的第三方数据库，判断该第三方数据库是否首次接入所述自定义获取模块；若该第三方数据库是首次接入所述自定义获取模块，则通过该第三方数据库的预设的查询方式以及预设的查询条件，查询该第三方数据库对应的数据集，并将查询到的该第三方数据库对应的数据集作为所述第一数据集。
[0010]在一种可能的实现方式中，所述数据仓库技术工具包括kettle工具；所述输入组件包括数据处理模块；
[0011]所述数据处理模块用于基于行处理方式得到所述第一数据集中的所有行数据；
[0012]针对所述第一数据集中的每一行数据，根据该行数据中每个数据的数据类型确定对应的映射方式，将该行数据中每个数据的数据类型采用相应的映射方式转换为所述kettle工具的系统通用数据类型，所述映射方式包括数据类型映射方式、字段映射方式和
字段顺序映射方式。
[0013]在一种可能的实现方式中，所述输入组件包括数据存储模块；
[0014]所述数据存储模块用于将所述第一数据集按照所述第一数据集对应的数据库类型保存至对应的结果集中，其中，所述数据库类型包括用于存储数据库结果集的通用关系型数据库和用于存储自定义结果集的特殊类型数据库。
[0015]在一种可能的实现方式中，所述输入组件包括一输入多输出的数据分发模块；
[0016]所述数据分发模块用于将转化为所述数据仓库技术工具的系统通用数据类型的数据发送给所述输出组件。
[0017]在一种可能的实现方式中，所述输出组件包括数据类型转换处理模块；
[0018]所述数据类型转换处理模块用于获取所述输入组件分发的所述第一数据集，并将所述第一数据集的数据类型由所述系统通用数据类型转换为本地数据库对应的专用数据类型。
[0019]在一种可能的实现方式中，所述输出组件包括数据入库处理模块；
[0020]所述数据入库处理模块用于根据所述本地数据库的入库方式，将经过数据类型转换后的第一数据集存入所述本地数据库。
[0021]在一种可能的实现方式中，所述多元数据源集成组件还包括数据量统计模块；
[0022]所述数据量统计模块用于实时记录在所述输入组件中流转时存在的数据，以及在所述输出组件中流转时存在的数据，并对数据量进行统计，所述数据包括该数据对应的存储位置信息，所述输入组件中记录的数据的存储位置信息与所述输出组件中记录的数据的存储位置信息一致。
[0023]在一种可能的实现方式中，所述多元数据源集成组件还包括初始化管理模块；
[0024]所述初始化管理模块用于将所述输入组件和所述输出组件进行连接初始化；
[0025]所述初始化管理模块还用于针对所述输入组件接入的任一第三方数据库，根据该第三方数据库的特性，对该第三方数据库进行连接初始化，并将初始化后的第三方数据库保存至所述初始化管理模块。
[0026]在一种可能的实现方式中，所述多元数据源集成组件还包括第三方数据库关闭模块；
[0027]所述第三方数据库关闭模块用于在所述输入组件的所述第一数据集通过所述输出组件存入所述本地数据库后断开对应第三方数据库的接入或者在所述输入组件或者所述输出组件接入的任一第三方数据库出现异常时断开对应的第三方数据库。
[0028]本申请提供一种多元数据源集成组件，包括输入组件和输出组件，通过对多个不同类型的第三方数据库实现集成整合，提高了不同类型的第三方数据库之间的集成效率；本申请仅仅通过输入组件和输出组件实现多个第三方数据库的集成整合，操作更加简便；本申请可以使得多个不同类型的第三方数据库之间实现集成整合，更具通用性和适用性。
附图说明
[0029]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些
附图获得其他的附图。
[0030]图1是本申请实施例提供的多元数据源集成组件的结构示意图；
[0031]图2是本申请实施例提供的输入组件的组成示意图；
[0032]图3是本申请实施例提供的输出组件的组成示意图。
具体实施方式
[0033]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0034]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
[0035]如图1所示，本申请实施例提高的多元数据源集成组件的结构示意图，详述如下：
[0036]本申请实施例提供一种多元数据源集成组件1，包括：
[0037]输入组件11和输出组件12；...

【技术保护点】

【技术特征摘要】
1.一种多元数据源集成组件，其特征在于，包括：输入组件和输出组件；所述输入组件用于接入多个第三方数据库；并针对每个接入的第三方数据库，基于该第三方数据库的特性，从该第三方数据库中查询对应的数据集，将从该第三方数据库中查询到的数据集作为第一数据集；采用数据仓库技术工具将所述第一数据集中的数据类型转换为所述数据仓库技术工具的系统通用数据类型；所述输出组件用于将所述第一数据集的数据类型由系统通用数据类型转换为本地数据库的专用数据类型；并将经过数据类型转换后的第一数据集存入所述本地数据库。2.根据权利要求1所述的多元数据源集成组件，其特征在于，所述输入组件包括自定义获取模块；所述自定义获取模块用于针对每个接入的第三方数据库，判断该第三方数据库是否首次接入所述自定义获取模块；若该第三方数据库是首次接入所述自定义获取模块，则通过该第三方数据库的预设的查询方式以及预设的查询条件，查询该第三方数据库对应的数据集，并将查询到的该第三方数据库对应的数据集作为所述第一数据集。3.根据权利要求1所述的多元数据源集成组件，其特征在于，所述数据仓库技术工具包括kettle工具；所述输入组件包括数据处理模块；所述数据处理模块用于基于行处理方式得到所述第一数据集中的所有行数据；针对所述第一数据集中的每一行数据，根据该行数据中每个数据的数据类型确定对应的映射方式，将该行数据中每个数据的数据类型采用相应的映射方式转换为所述kettle工具的系统通用数据类型，所述映射方式包括数据类型映射方式、字段映射方式和字段顺序映射方式。4.根据权利要求1所述的多元数据源集成组件，其特征在于，所述输入组件包括数据存储模块；所述数据存储模块用于将所述第一数据集按照所述第一数据集对应的数据库类型保存至对应的结果集中，其中，所述数据库类型包括用于存储数据库结果集的通用关系型数据库和用于存储自定义结果集的特殊类型数据库。5.根据权利要求1所述的多元数据源集成...

【专利技术属性】
技术研发人员：高江龙，肖剑锋，刘昱，王磊，魏中来，梁慧敏，张丛灿，张雨婷，程浩然，
申请(专利权)人：河钢数字技术股份有限公司，
类型：发明
国别省市：