一种数据文件的导入方法及装置制造方法及图纸

本发明专利技术提供了一种数据文件的导入方法及装置，其中，方法包括将待入库的数据文件拆分为数据文件分片，将该数据文件分片并发导入数据库，可以解决相关技术中数据库的数据导入效率较低的问题，达到提高数据导入效率的效果。达到提高数据导入效率的效果。达到提高数据导入效率的效果。

【技术实现步骤摘要】
一种数据文件的导入方法及装置


[0001]本专利技术涉及通信领域，具体而言，涉及一种数据文件的导入方法及装置。

技术介绍

[0002]信息业务的发展带来了数据量的与日俱增，数据库在信息系统中承担着不可或缺的数据桥梁作用。分布式数据库是用计算机网络将物理上分散的多个数据库单元连接起来组成的一个逻辑上统一的数据库，有着存储量大、业务并发量高、可扩展性好的特点，其应用日益广泛。在分布式数据库的应用场景中，数据的备份、恢复和迁移等是常见操作，这就要求数据库系统提供完备可靠的数据导入功能。
[0003]目前数据库的导入功能基本是由业务插入的方式实现，也就是连接分布式存储节点上层的数据库代理节点执行插入语句队列。该技术成熟但性能低，在大数据量导入的情况下会对代理节点造成比较大的压力。该方法采用的串行执行业务的模式，往往耗时过长，严重影响了分布式数据库的数据导入服务性能。
[0004]针对相关技术中数据库的数据导入效率较低的问题，尚不存在解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种数据文件的导入方法及装置，以至少解决相关技术中数据库的数据导入效率较低的问题。
[0006]根据本专利技术的一个实施例，提供了一种数据文件的导入方法，包括：
[0007]将待入库的数据文件拆分为数据文件分片；
[0008]将所述数据文件分片并发导入数据库。
[0009]根据本专利技术的另一个实施例，提供了一种数据文件的导入装置，包括：
[0010]拆分模块，用于将待入库的数据文件拆分为数据文件分片；
[0011]导入模块，用于将所述数据文件分片并发导入数据库。
[0012]根据本专利技术的又一个实施例，还提供了一种计算机可读的存储介质，所述计算机可读的存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0013]根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
[0014]通过本专利技术实施例，由于将待入库的数据文件拆分为数据文件分片，将所述数据文件分片并发导入数据库，因此，可以解决相关技术中数据库的数据导入效率较低的问题，达到提高数据导入效率的效果。
附图说明
[0015]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本发
明的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0016]图1是根据本专利技术实施例的数据文件的导入方法的流程图；
[0017]图2是根据本专利技术实施例的数据文件的导入装置的结构框图；
[0018]图3是根据本专利技术可选实施例的分布式数据库并发数据导入系统架构图；
[0019]图4是根据本专利技术可选实施例的并发数据导入业务流程图；
[0020]图5是根据本专利技术可选实施例的数据文件拆分原理示意图；
[0021]图6是根据本专利技术可选实施例的分布式数据库并发导入数据流方向图；
[0022]图7是根据本专利技术可选实施例的存储节点管理监控模块业务及反馈模式示意图；
[0023]图8是根据本专利技术可选实施例的数据导入服务平台业务失败处理流程图；
[0024]图9是根据本专利技术可选实施例的应用于大数据平台的并发导入系统模块组网图；
[0025]图10是根据本专利技术可选实施例的应用于大数据平台的并发导入业务处理流程图。
具体实施方式
[0026]下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0027]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0028]在本实施例中提供了一种可以运行于数据导入服务平台的数据文件的导入方法，图1是根据本专利技术实施例的数据文件的导入方法的流程图，如图1所示，该流程包括如下步骤：
[0029]步骤S101，将待入库的数据文件拆分为数据文件分片；
[0030]步骤S103，将数据文件分片并发导入数据库。
[0031]通过上述步骤，由于将待入库的数据文件拆分为数据文件分片，再将数据文件分片并发导入数据库，解决了相关技术中数据库的数据导入效率较低的问题，提高了数据导入效率。
[0032]可选地，上述步骤的执行主体可以为与分布式数据库能够进行交互的数据导入服务平台等，但不限于此。
[0033]在一个可选的实施方式中，将待入库的数据文件拆分为数据文件分片，包括：获取数据字典信息；根据数据字典信息将待入库的数据文件拆分为数据文件分片，其中，所示数据字典信息中包括数据文件分发策略。
[0034]需要说明的是，数据字典是元数据服务器的存储表信息的方式，数据字典中包含了建表语句(也就是表定义)，表定义里面可以包含有数据文件分发策略。
[0035]在一个可选的实施方式中，根据数据字典信息将待入库的数据文件拆分为数据文件分片，还包括：根据数据字典信息对待入库的数据文件进行校验，得到校验正确的数据文件。
[0036]需要说明的是，可以对按顺序对数据文件逐列校验。还需要说明的是，如有校验失败的数据，则可以进行失败数据的反馈，以便进一步处理。
[0037]在一个可选的实施方式中，根据数据字典信息将待入库的数据文件拆分为数据文件分片，还包括：对数据文件进行改造，得到改造后的数据文件。
[0038]需要说明的是，还可以对校验正确的数据文件进行改造，以对数据文件进行进一步的修饰。
[0039]需要说明的是，在一个可选的实施方式中，可以对经校验、改造之后的数据进行拆分；例如，在整个数据文件全部校验、改造完成之后，对数据文件进行拆分，或者，以列为单位，对每一列数据进行校验、改造、拆分，直至完成对整个数据文件的拆分。
[0040]在一个可选的实施方式中，将数据文件分片并发导入数据库，包括：根据数据文件分片的分发信息将数据文件分片发送至对应的目的存储节点，其中，分发信息是根据数据文件分发策略确定的，分发信息中包括数据文件分片的目的存储节点信息。
[0041]在一个可选的实施方式中，根据数据文件分片的分发信息将数据文件分片发送至对应的目的存储节点，包括：向目的存储节点的管理模块发送下载指令，其中，下载指令用于指示管理模块下载对应的数据文件分片；接收管理模块反馈的数据文件分片的下载状态。
[0042]需要说明的是，在一个可选的实施方式中，还可以对下载失败的分片进行失败分析，以便于进一步下载。
[0043]在一个可选的实施方式中，根据数据文件分片的分发信息将数据文件分片发送至对应的目的存储节点，还包括：向目的存储节点的管理模块发送导入命令，其中，导入命令用于指示管理模块向存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据文件的导入方法，其特征在于，包括：将待入库的数据文件拆分为数据文件分片；将所述数据文件分片并发导入数据库。2.根据权利要求1所述的方法，其特征在于，将待入库的所述数据文件拆分为所述数据文件分片，包括：获取数据字典信息；根据所述数据字典信息将待入库的所述数据文件拆分为所述数据文件分片，其中，所示数据字典信息中包括数据文件分发策略。3.根据权利要求2所述的方法，其特征在于，根据所述数据字典信息将待入库的所述数据文件拆分为所述数据文件分片，包括：根据所述数据字典信息对待入库的所述数据文件进行校验，得到校验正确的所述数据文件。4.根据权利要求2所述的方法，其特征在于，根据所述数据字典信息将待入库的数据文件拆分为数据文件分片，还包括：对所述数据文件进行改造，得到改造后的所述数据文件。5.根据权利要求1至4中的任一项所述的方法，其特征在于，将所述数据文件分片并发导入数据库，包括：根据所述数据文件分片的分发信息将所述数据文件分片发送至对应的目的存储节点，其中，所述分发信息是根据数据文件分发策略确定的，所述分发信息中包括所述数据文件分片的目的存储节点信息。6.根据权利要求5所述的方法，其特征在于，根据所述数据文件分片的分发信息将所述数据文件分片发送至对应的目的存储节点，包括：向所述目的存储节点的管理模块发送下载指令，其中，所述下载指令用于指示所述管理模块下载对应的所述数据文件分片；接收所述管理模块反馈的所述数据文件分片的下载状态。7.根据权利要求5所述的方法，其特征在于，根据所述数据文件分片的分发信息将所述数据文件分片发送至对应的目的存储节点，还包括：向所述目的存储节点的管理模块发送导入命令，其中，所述导入命令用于指示所述管理模块向所述存储节点导入所述数据文件分片；接收所述管理模块反馈的所述数据文件分片的的导入状态。8.一种数据文件的导入装置，其特征在于，包括：拆分模块，用于将待入库的数据文件拆分为数据文件分片；导入模块，用于将所述数据文件分片并发导入数据...

【专利技术属性】
技术研发人员：陆平，刘志文，郭啸，孙洪玲，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：