本申请涉及一种数据批量导入方法、装置及电子设备，其中方法包括：获取待导入数据以及参照数据库。待导入数据是待导入目标数据库的数据，参照数据库包含多个第一位置，参照数据库中与已存储数据对应的第一位置保存有指定标记，已存储数据是目标数据库中存储的数据，第一位置和已存储数据之间的对应关系是采用指定方式确定出的；针对每个待导入数据，采用指定方式，确定参照数据库中与之对应的第一位置；在待导入数据对应的第一位置中未保存有指定标记的情况下，将待导入数据导入目标数据库。通过本说明书中的过程，能够有效的解决相关技术中存在的针对批量的待导入数据执行数据导入时，在查找重复时间的过程中耗费的时间较多的问题。较多的问题。较多的问题。
【技术实现步骤摘要】
一种数据批量导入方法、装置及电子设备
[0001]本申请涉及数据处理领域，尤其涉及一种数据批量导入方法、装置及电子设备。
技术介绍
[0002]相关技术中，将批量的数据导入目标数据库的做法通常是：获取一个待导入的数据，遍历目标数据库中的已存储数据，以查找目标数据库中是否已存储有与待导入数据相同的已存储数据，若是，表明该待存储数据相对于目标数据库中的数据是重复数据，则不对其执行导入操作。如果目标数据库中已存储的数据较多，则在判断待导入数据是否是重复数据的过程中执行查找所耗费的时间较多。在待导入数据也较多的情况下，由查找造成的数据导入效率低下的现象将更加明显。
技术实现思路
[0003]本申请提供了一种数据批量导入方法、装置及电子设备，以解决现有技术中存在的针对批量的待导入数据进行数据导入时耗费的时间较多的问题。
[0004]第一方面，本申请提供了一种数据批量导入方法，该方法包括：获取待导入数据和参照数据库，其中，待导入数据是待导入目标数据库的数据，参照数据库包含多个第一位置，参照数据库中与已存储数据对应的第一位置保存有指定标记，已存储数据是目标数据库中存储的数据，第一位置和已存储数据之间的对应关系是采用指定方式确定出的；针对每个待导入数据，采用指定方式，确定参照数据库中与之对应的第一位置；在待导入数据对应的第一位置中未保存有指定标记的情况下，将待导入数据导入目标数据库。
[0005]在本说明书一个可选的实施例中，获取参照数据库之后，该方法还包括：针对每个待导入数据，若待导入数据在参照数据库中对应的第一位置中保存有指定标记，则对目标数据库中的各已存储数据进行查找；若未查找到与待导入数据相同的已存储数据，则将待导入数据导入目标数据库。
[0006]在本说明书一个可选的实施例中，参照数据库还包括多个第二位置，每个第一位置至少对应一个第二位置，第二位置中保存的已存储数据是与第二位置对应的第一位置在目标数据中对应的已存储数据，其中，获取参照数据库之后，该方法还包括：针对每个待导入数据，若待导入数据在参照数据库中对应的第一位置中保存有指定标记，则将待导入数据在参照数据库中对应的第一位置确定为指定位置；在指定位置对应的第二位置中的已存储数据与待导入数据不同的情况下，将待导入数据导入目标数据库。
[0007]在本说明书一个可选的实施例中，将待导入数据导入目标数据库，包括：将指定标记保存至待导入数据在参照数据库中对应的第一位置中，并将待导入数据导入目标数据库。
[0008]在本说明书一个可选的实施例中，目标数据库建立于存储设备的磁盘中，存储设备还包括内存，其中，获取参照数据库，包括：在内存中，确定出指定区域；将数据库模板存储至指定区域；将指定标记保存至数据库模板中对应有已存储数据的第一位置中，得到参
照数据库。
[0009]在本说明书一个可选的实施例中，获取参照数据库，包括：针对每个已存储数据进行哈希计算，根据哈希计算得到的第一结果确定第一目标角标，将数据块模板中对应于第一目标角标的第一位置，作为已存储数据对应的第一位置，将指定标记保存至已存储数据对应的第一位置中，得到参照数据库；针对每个待导入数据，采用指定方式，确定参照数据库中与之对应的第一位置，包括：针对每个待导入数据进行哈希计算，根据哈希计算得到的第二结果确定第二目标角标，将数据块模板中对应于第二目标角标的第一位置，作为参照数据库中与之对应的第一位置。
[0010]在本说明书一个可选的实施例中，获取参照数据库之前，该方法还包括：确定本次数据批量导入时采用的主键；获取参照数据库，包括：根据已存储数据对应于主键的字段，生成参照数据库；采用指定方式，确定参照数据库中与之对应的第一位置，包括：采用指定方式，对待导入数据对应于主键的字段进行处理，以确定参照数据库中与之对应的第一位置。
[0011]在本说明书一个可选的实施例中，针对每个已存储数据进行哈希计算，包括：针对每个已存储数据对应于主键的字段进行哈希计算；针对每个待导入数据进行哈希计算，包括：针对每个待导入数据对应于主键的字段进行哈希计算。
[0012]第二方面，本申请提供了一种数据批量导入装置，该装置包括：待导入数据获取模块，配置为：获取待导入数据，待导入数据是待导入目标数据库的数据；待导入数据获取模块，配置为：获取待导入数据，其中，待导入数据是待导入目标数据库的数据；参照数据库获取模块，配置为：获取参照数据库，其中，参照数据库包含多个第一位置，参照数据库中与已存储数据对应的第一位置保存有指定标记，已存储数据是目标数据库中存储的数据，第一位置和已存储数据之间的对应关系是采用指定方式确定出的；第一位置确定模块，配置为：针对每个待导入数据，采用指定方式，确定参照数据库中与之对应的第一位置；第一导入模块，配置为：在待导入数据对应的第一位置中未保存有指定标记的情况下，将待导入数据导入目标数据库。
[0013]第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
[0014]存储器，用于存放计算机程序；
[0015]处理器，用于执行存储器上所存放的程序时，实现前述第一方面中任一种数据处理方法的步骤。
[0016]第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述第一方面中任一种数据处理方法的步骤。
[0017]本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
[0018]本申请实施例提供的方法，在对待导入数据执行导入之前获取参照数据库。参照数据库中的第一位置能表示出该第一位置在目标数据库中是否对应有已存储数据。在目标数据库中对应有已存储数据的第一位置中保存有指定标记，而在目标数据库中未对应有已存储数据的第一位置中未保存有指定标记。则可以通过待导入数据在参照数据库中对应的第一位置是否保存有指定标记，判断出该待导入数据是否是重复数据。本说明书中的方法，通过在目标数据库的已存储数据和参照数据库的第一位置之间建立对应关系、在待导入数
据和参照数据库的第一位置之间建立对应关系的方式，根据对应关系判断以及第一位置中保存指定标记与否，判断出待导入数据是否是重复数据，针对非重复的待导入数据执行导入，而无需在针对待导入数据是否是重复数据的判断过程中以遍历的方式对目标数据库中的已存储数据进行查询，能够有效的解决现有技术中存在的针对批量的待导入数据执行数据导入时，在查找重复时间的过程中耗费的时间较多的问题。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[002本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据批量导入方法，其特征在于，所述方法包括：获取待导入数据和参照数据库，其中，所述待导入数据是待导入目标数据库的数据，所述参照数据库包含多个第一位置，所述参照数据库中与已存储数据对应的所述第一位置保存有指定标记，所述已存储数据是所述目标数据库中存储的数据，所述第一位置和所述已存储数据之间的对应关系是采用指定方式确定出的；针对每个待导入数据，采用所述指定方式，确定所述参照数据库中与之对应的第一位置；在所述待导入数据对应的第一位置中未保存有指定标记的情况下，将所述待导入数据导入所述目标数据库。2.根据权利要求1所述的方法，其特征在于，获取参照数据库之后，所述方法还包括：针对每个所述待导入数据，若所述待导入数据在所述参照数据库中对应的第一位置中保存有指定标记，则对所述目标数据库中的各已存储数据进行查找；若未查找到与所述待导入数据相同的已存储数据，则将所述待导入数据导入所述目标数据库。3.根据权利要求1所述的方法，其特征在于，所述参照数据库还包括多个第二位置，每个所述第一位置至少对应一个第二位置，所述第二位置中保存的已存储数据是与所述第二位置对应的第一位置在所述目标数据中对应的已存储数据，其中，获取参照数据库之后，所述方法还包括：针对每个所述待导入数据，若所述待导入数据在所述参照数据库中对应的第一位置中保存有指定标记，则将所述待导入数据在所述参照数据库中对应的第一位置确定为指定位置；在所述指定位置对应的第二位置中的已存储数据与所述待导入数据不同的情况下，将所述待导入数据导入所述目标数据库。4.根据权利要求1所述的方法，其特征在于，将所述待导入数据导入所述目标数据库，包括：将所述指定标记保存至所述待导入数据在所述参照数据库中对应的第一位置中，并将所述待导入数据导入所述目标数据库。5.根据权利要求1所述的方法，其特征在于，所述目标数据库建立于存储设备的磁盘中，所述存储设备还包括内存，其中，获取参照数据库，包括：在所述内存中，确定出指定区域；将数据库模板存储至所述指定区域；将指定标记保存至数据库模板中对应有所述已存储数据的第一位置中，得到参照数据库。6.根据权利要求1所述的方法，其特征在于，获取参照数据库，包括：针对每个已存储数据进行哈希计算，...
【专利技术属性】
技术研发人员：邱海港，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。