支持多种数据源的集群数据库数据加载工具及方法技术

本发明专利技术涉及一种支持多种数据源的集群数据库数据加载工具及方法。其目的是为了提供一种认证快捷、认证方式多样的集群数据库数据加载工具及方。本发明专利技术包括加载工具使用接口、加载任务管理模块、加载任务执行模块、读数据模块、数据源访问模块、写数据模块和数据库访问模块。加载工具使用接口用于启动加载任务，并将各个任务的参数传递给加载任务管理模块；加载任务管理模块用于保存、维护和调度所有接收到的加载任务；加载任务执行模块用于负责具体加载任务的执行；读数据模块用于提供统一的读取数据接口；数据源访问模块用于从具体的数据源上读取数据；写数据模块用于提供统一的写数据接口；数据库访问模块用于将接收到的数据加载进集群数据库。

【技术实现步骤摘要】

本专利技术涉及集群数据库领域，特别是涉及一种支持多种数据源的集群数据库数据加载工具及方法。
技术介绍
集群数据库是使用多台普通服务器协同提供高性能的数据库服务，适用于海量数据的保存、查询和分析。因为其适用于大数据场合，因此需要配合高性能的数据加载工具，负责从各种数据源读取数据，加载到集群数据库之中。在现实的应用中，出于信息安全方面的考虑，数据源往往带有安全认证机制，并且有多种安全机制可以选择，而加载工具必须支持对应的认证机制，才能成功地从数据源读取数据文件。例如，HDFS数据源支持三种不同的认证机制：简单认证(Simple)、代理认证(Delegation)和协商认证(Negotiate)，如果换成另一种数据源，如FTP数据源或者HTTP数据源，就会有与之相应的其他认证种类。使用加载工具从要求进行安全认证的数据源读取数据，必须知道对应的认证方式，正确地配置加载工具，否则在读取数据时会缺少足够权限，造成加载失败。另一方面，在同一个数据源中，可能存在多种认证方式并存，同时发挥作用的情况，如果加载工具不能处理这种组合的认证方式，也会因为权限不够而造成读取数据失败。
技术实现思路
本专利技术要解决的技术问题是提供一种认证快捷、认证方式多样的支持多种数据源的集群数据库数据加载工具及方法。本专利技术支持多种数据源的集群数据库数据加载工具，其中，包括加载工具使用接口、加载任务管理模块和加载任务执行模块，加载工具使用接口的信号输出端与加载任务管理模块的信号接收端连接，加载任务管理模块的信号输出端与加载任务执行模块的信号接收端连接，加载任务执行模块包括认证策略管理模块和多个不同的认证模块，认证策略管理模块的控制信号输出端分别与各认证模块的控制端连接，加载任务执行模块的数据接收端与读数据模块的数据输出端连接，读数据模块的数据接收端与数据源访问模块的数据输出端连接，加载任务执行模块的数据输出端与写数据模块的数据接收端连接，写数据模块的数据输出端与数据库访问模块的数据接收端连接，加载工具使用接口用于启动加载任务，并将各个任务的参数传递给加载任务管理模块；加载任务管理模块用于保存、维护和调度所有接收到的加载任务；加载任务执行模块用于负责具体加载任务的执行；读数据模块用于提供统一的读取数据接口；数据源访问模块用于从具体的数据源上读取数据；写数据模块用于提供统一的写数据接口；数据库访问模块用于将接收到的数据加载进集群数据库；认证策略管理模块用于根据任务的参数确定使用哪种或者哪几种认证方式，对认证模块列表进行初始化，并根据认证模块列表选择相应的认证模块进行认证。本专利技术支持多种数据源的集群数据库数据加载方法，其中，如下步骤：步骤S1，将加载参数通过加载工具使用接口输入，并输出给加载任务管理模块；步骤S2，加载任务管理模块根据接收到的参数，创建加载任务列表；步骤S3，判断是否还存在未执行的加载任务，如果不存在未执行的加载任务，则结束；如果存在未执行的加载任务，将未执行的加载任务传输给加载任务执行模块，执行加载任务，执行加载任务后回传给步骤S2进行重新判定。本专利技术支持多种数据源的集群数据库数据加载方法，其中所述步骤S3中加载任务又包括如下步骤：步骤S1’，认证策略管理模块根据接收到的参数在各认证模块中选择相应的认证模块，并创建认证模块列表；步骤S2’，读数据模块根据认证模块列表，并使用数据源访问模块进行读取数据；步骤S3’，写数据模块使用数据库访问模块进行加载数据。本专利技术支持多种数据源的集群数据库数据加载工具及方法与现有技术不同之处在于：本专利技术设置有读数据模块和数据源访问模块，能够支持多种数据源，如果数据源发生改变，只需要更换对应的数据源访问模块，方便快捷。加载任务执行模块每部设置有多种不同的认证模块，满足多种认证方式，如果认证方式发生改变，只需要创建对应的认证模块列表即可，而且还支持多种认证方式之间的任意组合，认证功能大大增强。设置有认证策略管理模块，根据认证需要创建认证模块列表，降低了各认证模块之间的耦合几率，当增加新的认证方式或者修改已有的认证模块时，无需更改加载工具的其他模块，实现了“插件式”的动态功能替换，降低了工作成本。下面结合附图对本专利技术支持多种数据源的集群数据库数据加载工具及方法作进一步说明。附图说明图1为本专利技术支持多种数据源的集群数据库数据加载工具的结构示意图；图2为本专利技术支持多种数据源的集群数据库数据加载方法的流程图；图3为本专利技术支持多种数据源的集群数据库数据加载方法中一个加载任务的工作流程图。具体实施方式如图1所示，为本专利技术支持多种数据源的集群数据库数据加载工具的结构示意图，包括加载工具使用接口1、加载任务管理模块2和加载任务执行模块3。加载工具使用接口1的信号输出端与加载任务管理模块2的信号接收端连接，加载工具使用接口1用于启动加载任务，并将各个任务的参数传递给加载任务管理模块2，加载任务管理模块2用于保存、维护和调度所有接收到的加载任务。加载任务管理模块2的信号输出端与加载任务执行模块3的信号接收端连接，加载任务执行模块3内部又包括认证策略管理模块8和多个不同的认证模块，认证策略管理模块8的控制信号输出端分别与各认证模块的控制端连接，加载任务执行模块3用于负责一个具体加载任务的执行，而认证策略管理模块8用于根据任务的参数确定使用哪种或者哪几种认证方式，对认证模块列表进行初始化，认证策略管理模块8根据认证模块列表选择相应的认证模块进行认证。加载任务执行模块3的数据接收端与读数据模块4的数据输出端连接，读数据模块4的数据接收端与数据源访问模块6的数据输出端连接，加载任务执行模块3的数据输出端与写数据模块5的数据接收端连接，写数据模块5的数据输出端与数据库访问模块7的数据接收端连接，读数据模块4用于提供统一的读取数据接口；数据源访问模块6用于从具体的数据源上读取数据；写数据模块5用于提供统一的写数据接口；数据库访问模块7用于将接收到的数据加载进集群数据库。如图2所示，为本专利技术支持多种数据源的集群数据库数据加载方法的流程图，包括如下步骤：步骤S1，将加载参数通过加载工具使用接口1输入，并输出给加载任务管理模块2；步骤S2，加载任务管理模块2根据接收到的参数，创建加载任务列表；步骤S3，判断是否还存在未执行的加载任务，如果不存在未执行的加载任务，则结束；如果存在未执行的加载任务，将未执行的加载任务传输给加载任务执行模块3，执行加载任务，执行加载任务后回传给步骤S2进行重新判定。如图3所示，为本专利技术支持多种数据源的集群数据库数据加载方法中一个加载任务的工作流程图，包括如下步骤：步骤S1’，认证策略管理模块8根据接收到的参数在各认证模块中选择相应的认证模块，并创建认证模块列表；步骤S2’，读数据模块4根据认证模块列表，并使用数据源访问模块6进行读取数据；步骤S3’，写数据模块5使用数据库访问模块7进行加载数据；步骤L4，完成加载任务。实施例：本专利技术的一个实施例是包括三个加载任务的数据加载过程，包括了不同的数据源和认证方式：任务一、HDFS文件+简单认证；任务二、本地文件+不需要认证；任务三、HDFS文件+简单认证+HTTP代理认证。加载运行过程如下：1.启动加载工具。2.处理输入参数。3.根据参数，加载工具知道有3个任务，分别本文档来自技高网...

【技术保护点】
一种支持多种数据源的集群数据库数据加载工具，其特征在于：包括加载工具使用接口(1)、加载任务管理模块(2)和加载任务执行模块(3)，加载工具使用接口(1)的信号输出端与加载任务管理模块(2)的信号接收端连接，加载任务管理模块(2)的信号输出端与加载任务执行模块(3)的信号接收端连接，加载任务执行模块(3)包括认证策略管理模块(8)和多个不同的认证模块，认证策略管理模块(8)的控制信号输出端分别与各认证模块的控制端连接，加载任务执行模块(3)的数据接收端与读数据模块(4)的数据输出端连接，读数据模块(4)的数据接收端与数据源访问模块(6)的数据输出端连接，加载任务执行模块(3)的数据输出端与写数据模块(5)的数据接收端连接，写数据模块(5)的数据输出端与数据库访问模块(7)的数据接收端连接，加载工具使用接口(1)用于启动加载任务，并将各个任务的参数传递给加载任务管理模块(2)；加载任务管理模块(2)用于保存、维护和调度所有接收到的加载任务；加载任务执行模块(3)用于负责具体加载任务的执行；读数据模块(4)用于提供统一的读取数据接口；数据源访问模块(6)用于从具体的数据源上读取数据；写数据模块(5)用于提供统一的写数据接口；数据库访问模块(7)用于将接收到的数据加载进集群数据库；认证策略管理模块(8)用于根据任务的参数确定使用哪种或者哪几种认证方式，对认证模块列表进行初始化，并根据认证模块列表选择相应的认证模块进行认证。...

【技术特征摘要】
1.一种支持多种数据源的集群数据库数据加载工具，其特征在于：包括加载工具使用接口(1)、加载任务管理模块(2)和加载任务执行模块(3)，加载工具使用接口(1)的信号输出端与加载任务管理模块(2)的信号接收端连接，加载任务管理模块(2)的信号输出端与加载任务执行模块(3)的信号接收端连接，加载任务执行模块(3)包括认证策略管理模块(8)和多个不同的认证模块，认证策略管理模块(8)的控制信号输出端分别与各认证模块的控制端连接，加载任务执行模块(3)的数据接收端与读数据模块(4)的数据输出端连接，读数据模块(4)的数据接收端与数据源访问模块(6)的数据输出端连接，加载任务执行模块(3)的数据输出端与写数据模块(5)的数据接收端连接，写数据模块(5)的数据输出端与数据库访问模块(7)的数据接收端连接，加载工具使用接口(1)用于启动加载任务，并将各个任务的参数传递给加载任务管理模块(2)；加载任务管理模块(2)用于保存、维护和调度所有接收到的加载任务；加载任务执行模块(3)用于负责具体加载任务的执行；读数据模块(4)用于提供统一的读取数据接口；数据源访问模块(6)用于从具体的数据源上读取数据；写数据模块(5)用于提供统一的写数...

【专利技术属性】
技术研发人员：赵伟，武新，杨丽莹，
申请(专利权)人：天津南大通用数据技术股份有限公司，
类型：发明
国别省市：天津;12