多元数据源集成组件制造技术

本申请提供一种多元数据源集成组件。包括：输入组件和输出组件；输入组件用于接入多个第三方数据库；并针对接入的第三方数据库，基于该第三方数据库的特性，从该第三方数据库中查询对应的数据集，将从该第三方数据库中查询到的数据集作为第一数据集；采用数据仓库技术工具将第一数据集中的数据类型转换为数据仓库技术工具的系统通用数据类型；输出组件用于将第一数据集的数据类型由系统通用数据类型转换为本地数据库的专用数据类型；并将经过数据类型转换后的第一数据集存入本地数据库。本申请操作简便，能够提高不同类型的第三方数据库之间的集成整合效率，更具通用性和适用性。性。性。

【技术实现步骤摘要】
多元数据源集成组件


[0001]本申请涉及计算机
，尤其涉及一种多元数据源集成组件。

技术介绍

[0002]为了实现企业全局数据的系统化运作管理(信息孤岛、数据统计、数据分析、数据挖掘)，为DSS(决策支持系统)、BI(商务智能)、经营分析系统等深度开发应用奠定基础，挖掘数据价值，企业会开始着手建立数据仓库、数据中台。将相互分离的业务系统的数据源整合在一起，建立一个统一的数据采集、处理、存储、分发、共享中心，从而使公司的成员能够从不同业务部门查看综合数据。并且，随着“互联网+”时代的不断推进，数据库技术发展日新月异，国内外数据库种类百花齐放，其特性也各具特色，其数据类型、数据存储方式都无法直接兼容，并且目前现有的开源工具对这些特殊的数据库兼容性较差，如果购买定制化开源产品又会产生额外的高额费用，因此，如何在数据库种类、特性如此繁杂的环境下，可以同时适配各种不同类型的数据库，并且能完全适配其特性成为难题之一。

技术实现思路

[0003]本申请提供了一种多元数据源集成组件，以解决在数据库种类、特性繁杂的情况下，不同类型的数据库本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多元数据源集成组件，其特征在于，包括：输入组件和输出组件；所述输入组件用于接入多个第三方数据库；并针对每个接入的第三方数据库，基于该第三方数据库的特性，从该第三方数据库中查询对应的数据集，将从该第三方数据库中查询到的数据集作为第一数据集；采用数据仓库技术工具将所述第一数据集中的数据类型转换为所述数据仓库技术工具的系统通用数据类型；所述输出组件用于将所述第一数据集的数据类型由系统通用数据类型转换为本地数据库的专用数据类型；并将经过数据类型转换后的第一数据集存入所述本地数据库。2.根据权利要求1所述的多元数据源集成组件，其特征在于，所述输入组件包括自定义获取模块；所述自定义获取模块用于针对每个接入的第三方数据库，判断该第三方数据库是否首次接入所述自定义获取模块；若该第三方数据库是首次接入所述自定义获取模块，则通过该第三方数据库的预设的查询方式以及预设的查询条件，查询该第三方数据库对应的数据集，并将查询到的该第三方数据库对应的数据集作为所述第一数据集。3.根据权利要求1所述的多元数据源集成组件，其特征在于，所述数据仓库技术工具包括kettle工具；所述输入组件包括数据处理模块；所述数据处理模块用于基于行处理方式得到所述第一数据集中的所有行数据；针对所述第一数据集中的每一行数据，根据该行数据中每个数据的数据类型确定对应的映射方式，将该行数据中每个数据的数据类型采用相应的映射方式转换为所述kettle工具的系统通用数据类型，所述映射方式包括数据类型映射方式、字段映射方式和字段顺序映射方式。4.根据权利要求1所述的多元数据源集成组件，其特征在于，所述输入组件包括数据存储模块；所述数据存储模块用于将所述第一数据集按照所述第一数据集对应的数据库类型保存至对应的结果集中，其中，所述数据库类型包括用于存储数据库结果集的通用关系型数据库和用于存储自定义结果集的特殊类型数据库。5.根据权利要求1所述的多元数据源集成...

【专利技术属性】
技术研发人员：高江龙，肖剑锋，刘昱，王磊，魏中来，梁慧敏，张丛灿，张雨婷，程浩然，
申请(专利权)人：河钢数字技术股份有限公司，
类型：发明
国别省市：