一种数据迁移方法及装置制造方法及图纸

本发明专利技术提供了一种数据迁移方法及装置，方法包括：获取查询参数；并通过查询包封装器封装查询参数；获取源数据库配置信息；基于源数据库配置信息与源数据库建立连接；基于查询包封装器封装的查询参数查询源数据库获取源数据；将源数据去重后，得到数据结果集；将数据结果集转换成目标格式字符串；获取目标搜索引擎的连接配置信息；基于连接配置信息与目标搜索引擎建立连接；对目标格式字符串进行预存储；并对预存储后的目标格式字符串进行数据重复性校验；将完成数据重复性校验后的目标格式字符串存储至目标搜索引擎。应用本发明专利技术实施例，提高了数据响应效率。提高了数据响应效率。提高了数据响应效率。

【技术实现步骤摘要】
一种数据迁移方法及装置


[0001]本专利技术涉及数据处理
，尤其涉及一种数据迁移方法及装置。

技术介绍

[0002]在数据量较大、查询逻辑复杂的情况下，数据库往往会出现性能降低，查询性能出现瓶颈，从而影响数据库响应速度，拉低用户的好感度，为了提高大批量数据的操作响应速度，更高效快捷地提供查询服务，亟需一种数据迁移方法，能够将数据库中的数据进行迁移，以实现快速响应。

技术实现思路

[0003]本专利技术的目的在于克服现有技术之缺陷，提供了一种数据迁移方法及装置，以提高查询数据的响应速度。
[0004]本专利技术是这样实现的：
[0005]第一方面，一种数据迁移方法，所述方法包括：
[0006]获取查询参数；并将所述查询参数封装到查询包封装器；
[0007]获取源数据库配置信息；基于所述源数据库配置信息与源数据库建立连接；
[0008]基于所述查询包封装器封装的查询参数查询所述源数据库获取源数据；将所述源数据去重后，得到数据结果集；将所述数据结果集转换成目标格式字符串；
[0009]获取目标搜索引擎的连接配置信息；基于所述连接配置信息与所述目标搜索引擎建立连接；对所述目标格式字符串进行预存储；并对预存储后的目标格式字符串进行数据重复性校验；将完成数据重复性校验后的目标格式字符串存储至所述目标搜索引擎。
[0010]可选的，所述查询包封装器为QueryWrapper。
[0011]可选的，所述获取查询参数，包括：
[0012]判断是否检测到用户手动抽取指令；
[0013]若检测到，则响应所述用户手动抽取指令，获取用户输入的查询参数；
[0014]若未检测到，则获取预设的查询参数。
[0015]可选的，所述连接配置信息至少包括：所述目标搜索引擎的IP地址、端口号、索引和表名类型。
[0016]可选的，所述对预存储后的目标格式字符串进行数据重复性校验，包括：
[0017]针对所述目标格式字符串中的每一数据，判断该数据的唯一标识是否已存在于所述目标搜索引擎；若已存在，将该数据与所述唯一标识在目标搜索引擎中所关联的数据中更新时间更早的一者删除；若不存在，保留该数据。
[0018]第二方面，本专利技术提供一种数据迁移装置，所述装置包括：
[0019]第一获取单元，用于获取查询参数；并将所述查询参数封装到查询包封装器；
[0020]第二获取单元，用于获取源数据库配置信息；基于所述源数据库配置信息与源数据库建立连接；
[0021]数据转换单元，用于基于所述查询包封装器封装的查询参数查询所述源数据库获取源数据；将所述源数据去重后，得到数据结果集；将所述数据结果集转换成目标格式字符串；
[0022]数据迁移单元，用于获取目标搜索引擎的连接配置信息；基于所述连接配置信息与所述目标搜索引擎建立连接；对所述目标格式字符串进行预存储；并对预存储后的目标格式字符串进行数据重复性校验；将完成数据重复性校验后的目标格式字符串存储至所述目标搜索引擎。
[0023]可选的，所述查询包封装器为QueryWrapper。
[0024]可选的，所述第一获取单元获取查询参数，具体为：
[0025]判断是否检测到用户手动抽取指令；
[0026]若检测到，则响应所述用户手动抽取指令，获取用户输入的查询参数；
[0027]若未检测到，则获取预设的查询参数。
[0028]第三方面，本专利技术提供一种电子设备，包括：
[0029]存储有可执行程序代码的存储器；
[0030]与所述存储器耦合的处理器；
[0031]所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行上述任一项所述的数据迁移方法。
[0032]第四方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行上述任一项所述的数据迁移方法。
[0033]本专利技术具有以下有益效果：应用本专利技术实施例，可以将存储于数据库中的数据迁移至搜索引擎中，由于搜索引擎相较于数据库，能够更高效快捷地提供查询服务，故提高了查询数据的响应速度。并且在数据迁移的过程中，既进行了源数据去重，又在数据预存储后增加数据重复性校验，以保证同步到目标搜索引擎中数据的准确性，实现了高效地、精确地、大批量地将源数据库中的数据迁移目标搜索引擎。
附图说明
[0034]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0035]图1为本专利技术实施例提供的数据迁移方法的一种流程示意图；
[0036]图2为本专利技术实施例提供的数据迁移装置的一种结构示意图；
[0037]图3为本专利技术实施例提供的电子设备的一种结构示意图。
具体实施方式
[0038]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0039]针对数据库领域，为了能够实现快速响应数据查询操作，本案专利技术人进行了研究，在研究过程中发现，现有技术中，关系型数据库(如MySQL)内的数据在数据量较大、查询逻辑复杂的情况下，往往性能会有所降低，出现查询性能出现瓶颈，从而影响查询数据响应速度，拉低用户的好感度。
[0040]本专利技术提供的数据迁移方法可以应用于任何需要对数据进行迁移场景。例如，可以应用于关系型数据库中的数据像搜索引擎迁移的场景等等。
[0041]本案专利技术人发现，可以通过搜索引擎解决关系型数据库的查询缺陷，且搜索引擎支持分布式部署，能进一步提供数据响应速度，查询性能较关系型数据库有非常大的提升，因此，将存储于关系型数据库中的数据迁移至ElasticSearch中，能够更高效快捷地提供查询服务。
[0042]经过本案专利技术人通过不断研究，最终提供了一种数据迁移方法，该方案的基本构思是：获取查询参数；并将查询参数封装到查询包封装器；获取源数据库配置信息；基于所述数据库配置信息连接源数据库；通过所述源数据库基于所述查询包封装器封装的查询参数获取源数据；将所述源数据去重后，得到数据结果集；将所述数据结果集转换成目标格式字符串；获取目标搜索引擎的连接配置信息；基于所述连接配置信息与所述目标搜索引擎建立连接；对所述目标格式字符串进行预存储；并对预存储后的目标格式字符串进行数据重复性校验；将完成数据重复性校验后的目标格式字符串存储至所述目标搜索引擎。
[0043]应用本专利技术实施例，可以将存储于数据库中的数据迁移至目标搜索引擎中，由于目标搜索引擎相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，其特征在于，所述方法包括：获取查询参数；并将所述查询参数封装到查询包封装器；获取源数据库配置信息；基于所述源数据库配置信息与源数据库建立连接；基于所述查询包封装器封装的查询参数查询所述源数据库获取源数据；将所述源数据去重后，得到数据结果集；将所述数据结果集转换成目标格式字符串；获取目标搜索引擎的连接配置信息；基于所述连接配置信息与所述目标搜索引擎建立连接；对所述目标格式字符串进行预存储；并对预存储后的目标格式字符串进行数据重复性校验；将完成数据重复性校验后的目标格式字符串存储至所述目标搜索引擎。2.根据权利要求1所述的方法，其特征在于，所述查询包封装器为QueryWrapper。3.根据权利要求1所述的方法，其特征在于，所述获取查询参数，包括：判断是否检测到用户手动抽取指令；若检测到，则响应所述用户手动抽取指令，获取用户输入的查询参数；若未检测到，则获取预设的查询参数。4.根据权利要求1所述的方法，其特征在于，所述连接配置信息至少包括：所述目标搜索引擎的IP地址、端口号、索引和表名类型。5.根据权利要求1所述的方法，其特征在于，所述对预存储后的目标格式字符串进行数据重复性校验，包括：针对所述目标格式字符串中的每一数据，判断该数据的唯一标识是否已存在于所述目标搜索引擎；若已存在，将该数据与所述唯一标识在目标搜索引擎中所关联的数据中更新时间更早的一者删除；若不存在，保留该数据。6.一种数据迁移装置，其...

【专利技术属性】
技术研发人员：左小林，
申请(专利权)人：重庆中信科信息技术有限公司，
类型：发明
国别省市：