一种基于Flume的关系数据库存储数据的方法和装置制造方法及图纸

本发明专利技术提供了一种基于Flume的关系数据库存储数据的方法，包括：预先设置可变配置项、与关系数据库类型相对应的关系数据库驱动；根据所述可变配置项和与关系数据库类型相对应的关系数据库驱动，确定目标关系数据库驱动；根据所述目标关系数据库驱动和所述可变配置项，创建数据库连接；还包括：从Flume获取待存储数据；根据所述数据库连接和所述可变配置项，将所述待存储数据存储至目标关系数据库。本发明专利技术提供的方案能够将Flume采集的数据存储至关系数据库。

【技术实现步骤摘要】
一种基于Flume的关系数据库存储数据的方法和装置
本专利技术涉及计算机
，特别涉及一种基于Flume的关系数据库存储数据的方法和装置。
技术介绍
Flume可以提供文件数据、日志数据等的采集、聚合和写入Kafka、HDFS、Hive等的功能。现有技术中，可使用Flume已提供的文件数据、日志数据的采集能力采集数据并存储，但无法将Flume采集的数据存储至关系数据库。
技术实现思路
本专利技术实施例提供了一种基于Flume的关系数据库存储数据的方法和装置，能够将Flume采集的数据存储至关系数据库。第一方面，本专利技术实施例提供了一种基于Flume的关系数据库存储数据的方法，包括：预先设置可变配置项、与关系数据库类型相对应的关系数据库驱动；根据所述可变配置项和与关系数据库类型相对应的关系数据库驱动，确定目标关系数据库驱动；根据所述目标关系数据库驱动和所述可变配置项，创建数据库连接；还包括：从Flume获取待存储数据；根据所述数据库连接和所述可变配置项，将所述待存储数据存储至目标关系数据库。优选地，所述可变配置项，包括：所述目标关系数据库的驱动类；所述根据所述可变配置项和与关系数据库类型相对应的关系数据库驱动，确定目标关系数据库驱动，包括：根据所述目标关系数据库的驱动类，确定目标关系数据库类型；根据与关系数据库类型相对应的关系数据库驱动，确定所述目标关系数据库类型对应的目标关系数据库驱动。优选地，所述可变配置项，包括：数据库地址、用户名和用户密码；所述根据所述目标关系数据库驱动和所述可变配置项，创建数据库连接，包括：根据所述目标关系数据库驱动、所述数据库地址、所述用户名和所述用户密码，创建数据库连接。优选地，所述可变配置项，包括：单次批量、分隔符、字段列表、数据库表；所述根据所述数据库连接和所述可变配置项，将所述待存储数据存储至目标关系数据库，包括：根据所述单次批量，对所述待存储数据进行分批处理，生成至少一批第一待存储数据，其中，每一批所述第一待存储数据中包括至少一条数据；针对每一批所述第一待存储数据，均执行：根据所述分隔符，对当前第一待存储数据中的每一条所述数据进行分割处理，生成与各条所述数据对应的至少一个数据项；根据所述字段列表、所述数据库表，将各个所述数据项拼接为数据库表达式；利用所述数据库连接，将所述数据库表达式提交至目标关系数据库。第二方面，本专利技术实施例提供了一种基于Flume的关系数据库存储数据的装置，包括：设置单元，用于设置可变配置项、与关系数据库类型相对应的关系数据库驱动；创建单元，用于根据所述设置单元设置的所述可变配置项和与关系数据库类型相对应的关系数据库驱动，确定目标关系数据库驱动；根据所述目标关系数据库驱动和所述可变配置项，创建数据库连接；获取单元，用于从Flume获取待存储数据；存储单元，用于根据所述创建单元创建的所述数据库连接和所述可变配置项，将所述获取单元获取的所述待存储数据存储至目标关系数据库。优选地，所述可变配置项，包括：所述目标关系数据库的驱动类；所述创建单元，用于根据所述目标关系数据库的驱动类，确定目标关系数据库类型；根据与关系数据库类型相对应的关系数据库驱动，确定所述目标关系数据库类型对应的目标关系数据库驱动。优选地，所述可变配置项，包括：数据库地址、用户名和用户密码；所述创建单元，用于根据所述目标关系数据库驱动、所述数据库地址、所述用户名和所述用户密码，创建数据库连接。优选地，所述可变配置项，包括：单次批量、分隔符、字段列表、数据库表；所述存储单元，用于根据所述单次批量，对所述待存储数据进行分批处理，生成至少一批第一待存储数据，其中，每一批所述第一待存储数据中包括至少一条数据；针对每一批所述第一待存储数据，均执行：根据所述分隔符，对当前第一待存储数据中的每一条所述数据进行分割处理，生成与各条所述数据对应的至少一个数据项；根据所述字段列表、所述数据库表，将各个所述数据项拼接为数据库表达式；利用所述数据库连接，将所述数据库表达式提交至所述目标关系数据库。第三方面，本专利技术实施例提供了一种可读介质，包括执行指令，当存储控制器的处理器执行所述执行指令时，所述存储控制器执行上述任一实施例所述的方法。第四方面，本专利技术实施例提供了一种存储控制器，包括：处理器、存储器和总线；所述存储器用于存储执行指令，所述处理器与所述存储器通过所述总线连接，当所述存储控制器运行时，所述处理器执行所述存储器存储的所述执行指令，以使所述存储控制器执行上述任一实施例所述的方法。本专利技术实施例提供了一种基于Flume的关系数据库存储数据的方法和装置，其中，该方法利用预先设置的可变配置项和关系数据库驱动，创建数据库连接，并利用数据库连接将从Flume获取的待存储数据存储至目标关系数据库。该方案能够将Flume组件采集的数据存储至关系数据库。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例提供的一种基于Flume的关系数据库存储数据的方法的流程图；图2是本专利技术另一个实施例提供的一种基于Flume的关系数据库存储数据的方法的流程图；图3是本专利技术一个实施例提供的一种基于Flume的关系数据库存储数据的装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术实施例提供了一种基于Flume的关系数据库存储数据的方法，该方法可以包括以下步骤：步骤101：预先设置可变配置项、与关系数据库类型相对应的关系数据库驱动；步骤102：根据可变配置项和与关系数据库类型相对应的关系数据库驱动，确定目标关系数据库驱动；步骤103：根据目标关系数据库驱动和可变配置项，创建数据库连接；步骤104：从Flume获取待存储数据；步骤105：根据数据库连接和可变配置项，将待存储数据存储至目标关系数据库。该方法利用预先设置的可变配置项和关系数据库驱动，创建数据库连接，并利用数据库连接将从Flume获取的待存储数据存储至目标关系数据库。该方案能够将Flume组件采集的数据存储至关系数据库。在本专利技术的一个实施例中，为了加载关系数据库驱动，可变配置项，包括：目标关系数据库的驱动类；根据可变配置项和与关系数据库类型相对应的关系数据库驱动，确定目标关系数据库驱动，包括：根据目标关系数据库的驱动类，确定目标关系数据库类型；根据与关系数据库类型相对应的关系数据库驱动，确定目标关系数据库类型对应的目标关系数据库驱动。关系数据库包括不同的类型，例如，一类是桌面数据库，例如Access、FoxPro和dBase等，另一类是客户/服务器数据库，例如SQLServer、Oracle和Sybase等。不同类型的关系数据库对应不同的关系数据库驱动，在本文档来自技高网...

【技术保护点】
一种基于Flume的关系数据库存储数据的方法，其特征在于，包括：预先设置可变配置项、与关系数据库类型相对应的关系数据库驱动；根据所述可变配置项和与关系数据库类型相对应的关系数据库驱动，确定目标关系数据库驱动；根据所述目标关系数据库驱动和所述可变配置项，创建数据库连接；还包括：从Flume获取待存储数据；根据所述数据库连接和所述可变配置项，将所述待存储数据存储至目标关系数据库。

【技术特征摘要】
1.一种基于Flume的关系数据库存储数据的方法，其特征在于，包括：预先设置可变配置项、与关系数据库类型相对应的关系数据库驱动；根据所述可变配置项和与关系数据库类型相对应的关系数据库驱动，确定目标关系数据库驱动；根据所述目标关系数据库驱动和所述可变配置项，创建数据库连接；还包括：从Flume获取待存储数据；根据所述数据库连接和所述可变配置项，将所述待存储数据存储至目标关系数据库。2.根据权利要求1所述的基于Flume的关系数据库存储数据的方法，其特征在于，所述可变配置项，包括：所述目标关系数据库的驱动类；所述根据所述可变配置项和与关系数据库类型相对应的关系数据库驱动，确定目标关系数据库驱动，包括：根据所述目标关系数据库的驱动类，确定目标关系数据库类型；根据与关系数据库类型相对应的关系数据库驱动，确定所述目标关系数据库类型对应的目标关系数据库驱动。3.根据权利要求1所述的基于Flume的关系数据库存储数据的方法，其特征在于，所述可变配置项，包括：数据库地址、用户名和用户密码；所述根据所述目标关系数据库驱动和所述可变配置项，创建数据库连接，包括：根据所述目标关系数据库驱动、所述数据库地址、所述用户名和所述用户密码，创建数据库连接。4.根据权利要求1-3中任一所述的基于Flume的关系数据库存储数据的方法，其特征在于，所述可变配置项，包括：单次批量、分隔符、字段列表、数据库表；所述根据所述数据库连接和所述可变配置项，将所述待存储数据存储至目标关系数据库，包括：根据所述单次批量，对所述待存储数据进行分批处理，生成至少一批第一待存储数据，其中，每一批所述第一待存储数据中包括至少一条数据；针对每一批所述第一待存储数据，均执行：根据所述分隔符，对当前第一待存储数据中的每一条所述数据进行分割处理，生成与各条所述数据对应的至少一个数据项；根据所述字段列表、所述数据库表，将各个所述数据项拼接为数据库表达式；利用所述数据库连接，将所述数据库表达式提交至目标关系数据库。5.一种基于Flume的关系数据库存储数据的装置，其特征在于，包括：设置单元，用于设置可变配置项、与关系数据库类型相对应的关系数据库驱动；创建单元...

【专利技术属性】
技术研发人员：陈娟妮，胡清，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：山东,37