数据迁移方法、装置、电子设备及存储介质制造方法及图纸

本申请公开一种数据迁移方法、装置、电子设备及存储介质，涉及大数据资源调度技术领域，该方法包括：处理源数据库中的待迁移数据中的行末分隔符，得到处理后数据，根据源数据库和目标数据库，确定关键字标识信息和分隔符定义信息，其中，关键字标识信息用于对源数据库和目标数据库中的关键字进行标识，分隔符定义信息用于确定目标数据库中数据的字段分隔符，根据关键字标识信息和分隔符定义信息处理处理后数据，得到目标数据，将目标数据写入目标数据库中。通过本公开，能够对源数据中的待迁移数据进行分隔符兼容处理和数据清洗以迁移至目标数据库，有效保证了数据迁移过程中的兼容性和数据正确性，实现正确可靠的数据迁移。移。移。

【技术实现步骤摘要】
数据迁移方法、装置、电子设备及存储介质


[0001]本公开涉及大数据资源调度
，尤其涉及一种数据迁移方法、装置、电子设备及存储介质。

技术介绍

[0002]当前，随着分布式数据库的发展和广泛应用，越来越多的企业考虑进行数据库转型，从使用传统数据库转向使用分布式数据库。
[0003]相关技术中，在进行数据库转型时，通常是使用传统的数据库一体化解决方案，直接连接源数据库读取数据，将数据加载至待迁移至的数据库中，建表存储数据。
[0004]这种方式下，不同数据库之间可能存在换行符的兼容问题和数据错行问题等数据库间的数据不兼容问题，影响数据采集迁移的正确性。

技术实现思路

[0005]本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006]为此，本公开的目的在于提出一种数据迁移方法、装置、电子设备、存储介质及计算机程序产品，能够对源数据中的待迁移数据进行分隔符兼容处理和数据清洗以迁移至目标数据库，有效保证了数据迁移过程中的兼容性和数据正确性，实现正确可靠的数据迁移。
[0007]本公开第一方面实施例提出的数据迁移方法，包括：处理源数据库中的待迁移数据中的行末分隔符，得到处理后数据；根据源数据库和目标数据库，确定关键字标识信息和分隔符定义信息，其中，关键字标识信息用于对源数据库和目标数据库中的关键字进行标识，分隔符定义信息用于确定目标数据库中数据的字段分隔符；根据关键字标识信息和分隔符定义信息处理处理后数据，得到目标数据；将目标数据写入目标数据库中。
[0008]本公开第一方面实施例提出的数据迁移方法，通过处理源数据库中的待迁移数据中的行末分隔符，得到处理后数据，根据源数据库和目标数据库，确定关键字标识信息和分隔符定义信息，其中，关键字标识信息用于对源数据库和目标数据库中的关键字进行标识，分隔符定义信息用于确定目标数据库中数据的字段分隔符，根据关键字标识信息和分隔符定义信息处理处理后数据，得到目标数据，将目标数据写入目标数据库中，能够对源数据中的待迁移数据进行分隔符兼容处理和数据清洗以迁移至目标数据库，有效保证了数据迁移过程中的兼容性和数据正确性，实现正确可靠的数据迁移。
[0009]本公开第二方面实施例提出的数据迁移装置，包括：第一处理模块，用于处理源数据库中的待迁移数据中的行末分隔符，得到处理后数据；确定模块，用于根据源数据库和目标数据库，确定关键字标识信息和分隔符定义信息，其中，关键字标识信息用于对源数据库和目标数据库中的关键字进行标识，分隔符定义信息用于确定目标数据库中数据的字段分隔符；第二处理模块，用于根据关键字标识信息和分隔符定义信息处理处理后数据，得到目标数据；第三处理模块，用于将目标数据写入目标数据库中。
[0010]本公开第二方面实施例提出的数据迁移装置，通过处理源数据库中的待迁移数据
中的行末分隔符，得到处理后数据，根据源数据库和目标数据库，确定关键字标识信息和分隔符定义信息，其中，关键字标识信息用于对源数据库和目标数据库中的关键字进行标识，分隔符定义信息用于确定目标数据库中数据的字段分隔符，根据关键字标识信息和分隔符定义信息处理处理后数据，得到目标数据，将目标数据写入目标数据库中，能够对源数据中的待迁移数据进行分隔符兼容处理和数据清洗以迁移至目标数据库，有效保证了数据迁移过程中的兼容性和数据正确性，实现正确可靠的数据迁移。
[0011]本公开第三方面实施例提出的电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如本公开第一方面实施例提出的数据迁移方法。
[0012]本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的数据迁移方法。
[0013]本公开第五方面实施例提出了一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行如本公开第一方面实施例提出的数据迁移方法。
[0014]本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
[0015]本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0016]图1是本公开一实施例提出的方法的数据迁移流程示意图；
[0017]图2是本公开实施例中的数据迁移示意图；
[0018]图3是本公开另一实施例提出的数据迁移方法的流程示意图；
[0019]图4是本公开另一实施例提出的数据迁移方法的流程示意图；
[0020]图5是本公开一实施例提出的数据迁移装置的结构示意图；
[0021]图6是本公开另一实施例提出的数据迁移装置的结构示意图；
[0022]图7示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
[0023]下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
[0024]需要说明的是，本公开技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定，且不违背公序良俗。
[0025]图1是本公开一实施例提出的数据迁移方法的流程示意图。
[0026]其中，需要说明的是，本实施例的数据迁移方法的执行主体为数据迁移装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器等。
[0027]如图1所示，该数据迁移方法，包括：
[0028]S101：处理源数据库中的待迁移数据中的行末分隔符，得到处理后数据。
[0029]其中，源数据库，是指待对其进行数据迁移的数据库，该源数据库可以为关系型数据库，例如，Oracle数据库，或者还可以为其他待对其进行数据迁移的数据库，对此不做限制。
[0030]其中，待迁移数据，是指待对其进行迁移的数据，待迁移数据库来自源数据库。
[0031]其中，行末分隔符，是指用于对数据库中的每一行数据进行分隔的特殊字符，该行末分隔符例如可以为“/n”和“/r”等。
[0032]其中，处理后数据，是指对来自源数据库中的待迁移数据中的行末分隔符进行处理之后得到的数据。
[0033]本公开实施例中，在处理源数据库中的待迁移数据中的行末分隔符时，可以从源数据库中逐行读取待迁移数据，利用行末分隔符分别对每一行待迁移数据的行末分隔符“/n”和“/r”进行去除处理，或者可以对每一行数据中的行末分隔符进行替换处理，将原分隔符替换为新的字符组成的分隔符，得到处理后数据，可以将处理后数据以每执行一条追加的方式写入数据落地文件中。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：处理源数据库中的待迁移数据中的行末分隔符，得到处理后数据；根据所述源数据库和目标数据库，确定关键字标识信息和分隔符定义信息，其中，所述关键字标识信息用于对所述源数据库和所述目标数据库中的关键字进行标识，所述分隔符定义信息用于确定所述目标数据库中数据的字段分隔符；根据所述关键字标识信息和所述分隔符定义信息处理所述处理后数据，得到目标数据；将所述目标数据写入所述目标数据库中。2.如权利要求1所述的方法，其特征在于，所述处理源数据库中的待迁移数据中的行末分隔符，得到处理后数据，包括：分别对多行所述待迁移数据中的所述行末分隔符进行去除处理，得到所述处理后数据。3.如权利要求1所述的方法，其特征在于，所述根据所述源数据库和目标数据库，确定关键字标识信息和分隔符定义信息，包括：根据所述源数据库和所述目标数据库的数据库属性信息，确定所述源数据库和所述目标数据库的关键字标识信息；解析所述目标数据库的分隔符定义脚本，得到所述目标数据库的分隔符定义信息。4.如权利要求3所述的方法，其特征在于，所述根据所述关键字标识信息和所述分隔符定义信息处理所述处理后数据，得到目标数据，包括：根据所述关键字标识信息对所述源数据库和所述目标数据库的所述关键字进行标识；根据所述分隔符定义信息，确定所述目标数据库的所述字段分隔符；根据所述字段分隔符对所述处理后数据进行分隔处理，得到所述目标数据。5.如权利要求4所述的方法，其特征在于，所述根据所述关键字标识信息对所述源数据库和所述目标数据库的所述关键字进行标识，包括：在所述源数据库的所述关键字中加入第一标识符；在所述目标数据库的所述关键字中加入第二标识符。6.如权利要求4所述的方法，其特征在于，所述分隔符定义信息包括：分隔符类型信息和分隔符数量信息；其中，所述根据所述分隔符定义信息，确定所述目标数据库的所述数据分隔符，包括：根据所述分隔符类型信息和所述分隔符数量信息，确定所述目标数据库的所述字段分隔符。7.如权利要求1所述的方法，其特征在于，所述将所述目标数据写入所述目标数据库中，包括：确定所述目标数据的数据格式信息；根据所述格式信息在所述目标数据库中建立对应格式的目标数据表，将所述目标数据写入所述目标数据表中。8.一种数据迁移装置，其特征在于，包括：第一处理模块，用于处理源数据库中的待迁移数据中的行末分隔符，得到处理后数据；确定模块，用于根据所述源数据库和目标数据库，确定关键字标识信息和分隔符定义
信息，其中，所述关键字标识信息用于对所述...

【专利技术属性】
技术研发人员：唐豪鸿，覃鹏，吴秦明，黎洪达，陈大平，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：