数据复制方法、装置、系统及存储介质制造方法及图纸

本申请提供一种数据复制方法、装置、系统及存储介质，属于大数据和数据处理技术领域。其中，该方法包括：生成复制配置参数和节点开通指令，确定源数据的源表数据，确定源表元数据，建立源集群端的每个节点与目标集群端的每个节点之间的数据传输通道，确定源集群端的节点与目标集群端的节点之间的复制映射关系，将源表数据拆分，根据源表元数据，生成目标表元数据，并根据目标表元数据，生成初始表数据；将拆分后的源表数据通过数据传输通道从源集群端的多个节点发送至目标集群端的多个节点，以使目标集群端根据目标表元数据，将源表数据导入初始表数据，生成目标表数据。本申请能提高数据复制的效率。数据复制的效率。数据复制的效率。

【技术实现步骤摘要】
数据复制方法、装置、系统及存储介质


[0001]本申请实施例涉及大数据和数据处理
，尤其涉及一种数据复制方法、装置、系统及存储介质。

技术介绍

[0002]随着企业级大数据的数据量日益增长，MPP(Massively Parallel Processing，大规模并行处理)数据库集群被广泛应用于云端数据仓库中。为了满足用户批量查询的需求和实现数据库集群之间的主备高可用，往往需要对集群间的数据进行复制。
[0003]目前，现有技术中，对集群间的数据进行复制时，源数据端对工作人员在源集群端输入配置文件进行解析，得到含筛选条件的解析结果，再利用数据库查询指令根据筛选条件的解析结果从源集群端的数据库中读取目标数据，再将目标数据复制到目标集群端的目标数据库中。
[0004]然而，专利技术人发现现有技术至少存在以下技术问题：当需要进行大量级数据库的库表全量复制或整库级别间的数据复制或迁移时，仍存在复制效率低的问题。

技术实现思路

[0005]本申请提供一种数据复制方法、装置、系统及存储介质，在集群之间进行大量级数据库的库表全量复制或整库级别间的数据复制或迁移时，能提高数据复制效率。
[0006]第一方面，本申请提供一种数据复制方法，包括：
[0007]响应于数据复制请求，生成复制配置参数和节点开通指令；
[0008]根据所述复制配置参数信息，确定源数据的源表数据；根据源数据库系统表，确定源表元数据；
[0009]根据所述节点开通指令，建立所述源集群端的每个节点与目标集群端的每个节点之间的数据传输通道；
[0010]接收所述目标集群端发送的目标数据库系统表；
[0011]根据所述目标数据库系统表和所述源数据库系统表，确定所述源集群端的节点与所述目标集群端的节点之间的复制映射关系；
[0012]根据所述复制映射关系，将所述源表数据拆分；
[0013]将所述源表元数据发送至所述目标集群端，以使所述目标集群端根据所述源表元数据，生成目标表元数据，并根据所述目标表元数据，生成初始表数据；
[0014]将拆分后的源表数据通过所述数据传输通道从所述源集群端的多个节点发送至所述目标集群端的多个节点，以使所述目标集群端根据所述目标表元数据，将源表数据导入初始表数据，生成目标表数据。
[0015]在一种可能的实现方式中，所述根据所述节点开通指令，建立所述源集群端的每个节点与目标集群端的每个节点之间的数据传输通道，包括：根据所述节点开通指令，开放所述源集群端的每个节点；将所述节点开通指令发送至所述目标集群端，以使所述目标集
群端根据所述节点开通指令开放与源集群端的所有节点对应的每个节点；根据所述节点开通指令，确定数据库超级用户白名单信息；将所述数据库超级用户白名单信息发送至所述目标集群端，以使所述目标集群端根据所述数据库超级用户白名单信息，确定网络访问对应关系；接收所述目标集群端发送的所述网络访问对应关系，并根据所述网络访问对应关系建立所述源集群端的每个节点与所述目标集群端的每个节点之间的数据传输通道。
[0016]在一种可能的实现方式中，所述源表元数据包括元数据数据库模式定义语言DDL信息；相应地，所述将所述源表元数据发送至所述目标集群端，以使所述目标集群端根据所述源表元数据，生成目标表元数据，并根据所述目标表元数据，生成初始表数据，包括：将所述元数据DDL信息发送至所述目标集群端，以使所述目标集群端根据所述数据库超级用户白名单信息执行预存同步执行工具，将所述源表元数据从所述源集群端同步到所述目标集群端，并根据所述元数据DDL信息，生成目标表元数据，以及根据所述目标表元数据，生成初始表数据。
[0017]在一种可能的实现方式中，所述根据所述目标数据库系统表和源数据库系统表，确定所述源集群端的节点与所述目标集群端的节点之间的复制映射关系，包括：根据所述源数据库系统表，确定所述源集群端的每个节点的互联网协议信息；根据所述目标数据库系统表，确定所述目标集群端的每个节点的互联网协议信息；根据所述源集群端的每个节点的互联网协议信息和所述目标集群端的每个节点的互联网协议信息，确定所述源集群端的每个节点与所述目标集群端的每个节点之间的复制映射关系。
[0018]在一种可能的实现方式中，所述响应于数据复制请求之后，还包括：生成所述源数据的统计信息。
[0019]在一种可能的实现方式中，所述源数据的统计信息包括源表记录数；相应地，所述将拆分后的源表数据通过所述数据传输通道从所述源集群端的多个节点发送至所述目标集群端的多个节点，以使所述目标集群端根据所述目标表元数据，将源表数据导入初始表数据，生成目标表数据之后，还包括：接收所述目标集群端发送的目标记录数，所述目标记录数为所述目标集群端将源表数据导入初始表数据时生成的；将所述目标记录数和所述源表记录数进行数据比对处理，生成记录数比对结果；若判定所述记录数比对结果满足预设报错条件，则返回到所述响应于数据复制请求，生成复制配置参数和节点开通指令的步骤；若判定所述记录数比对结果满足预设成功条件，则返回数据复制成功结果。
[0020]在一种可能的实现方式中，所述源数据的统计信息包括源表记录数；相应地，所述将所述源表元数据发送至所述目标集群端，以使所述目标集群端根据所述源表元数据，生成目标表元数据，并根据所述目标表元数据，生成初始表数据之后，还包括：若判定所述源表记录数满足预设阈值条件，则根据所述复制映射关系，将所述源表数据通过所述数据传输通道从所述源集群端的其中一个节点发送至所述目标集群端，以使所述目标集群端根据所述目标表元数据，将源表数据导入初始表数据，生成目标表数据。
[0021]在一种可能的实现方式中，所述将所述源表元数据发送至所述目标集群端，以使所述目标集群端根据所述源表元数据，生成目标表元数据，并根据所述目标表元数据，生成初始表数据之后，还包括：将同表查询指令发送至所述目标集群端，以使所述目标集群端根据所述同表查询指令，确定所述源表元数据相同的目标端数据表，并删除所述目标端数据表。
[0022]在一种可能的实现方式中，所述根据所述复制映射关系，将所述源表数据拆分之前，还包括：若判定所述源集群端的节点数量与所述目标集群端的节点数量不相等，则将所述源表数据进行重分布处理，生成重分布后的源表数据。
[0023]在一种可能的实现方式中，所述将拆分后的源表数据通过所述数据传输通道从所述源集群端的多个节点发送至所述目标集群端的多个节点，以使所述目标集群端根据所述目标表元数据，将源表数据导入初始表数据，生成目标表数据之后，还包括：将统计信息收集指令发送至所述目标集群端，以使所述目标集群端根据所述统计信息收集指令，收集所述目标表数据的统计信息。
[0024]第二方面，本申请还提供了一种数据复制方法，应用于目标集群端，包括：
[0025]接收源集群端发送的节点开通指令，其中所述节点开通指令为所述源集群端响应于数据复制请求，生成复制配置参数和节点开通指令的；其中所述复制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据复制方法，其特征在于，应用于源集群端，包括：响应于数据复制请求，生成复制配置参数和节点开通指令；根据所述复制配置参数信息，确定源数据的源表数据；根据源数据库系统表，确定源表元数据；根据所述节点开通指令，建立所述源集群端的每个节点与目标集群端的每个节点之间的数据传输通道；接收所述目标集群端发送的目标数据库系统表；根据所述目标数据库系统表和所述源数据库系统表，确定所述源集群端的节点与所述目标集群端的节点之间的复制映射关系；根据所述复制映射关系，将所述源表数据拆分；将所述源表元数据发送至所述目标集群端，以使所述目标集群端根据所述源表元数据，生成目标表元数据，并根据所述目标表元数据，生成初始表数据；将拆分后的源表数据通过所述数据传输通道从所述源集群端的多个节点发送至所述目标集群端的多个节点，以使所述目标集群端根据所述目标表元数据，将源表数据导入初始表数据，生成目标表数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述节点开通指令，建立所述源集群端的每个节点与目标集群端的每个节点之间的数据传输通道，包括：根据所述节点开通指令，开放所述源集群端的每个节点；将所述节点开通指令发送至所述目标集群端，以使所述目标集群端根据所述节点开通指令开放与源集群端的所有节点对应的每个节点；根据所述节点开通指令，确定数据库超级用户白名单信息；将所述数据库超级用户白名单信息发送至所述目标集群端，以使所述目标集群端根据所述数据库超级用户白名单信息，确定网络访问对应关系；接收所述目标集群端发送的所述网络访问对应关系，并根据所述网络访问对应关系建立所述源集群端的每个节点与所述目标集群端的每个节点之间的数据传输通道。3.根据权利要求2所述的方法，其特征在于，所述源表元数据包括元数据数据库模式定义语言DDL信息；相应地，所述将所述源表元数据发送至所述目标集群端，以使所述目标集群端根据所述源表元数据，生成目标表元数据，并根据所述目标表元数据，生成初始表数据，包括：将所述元数据DDL信息发送至所述目标集群端，以使所述目标集群端根据所述数据库超级用户白名单信息执行预存同步执行工具，将所述源表元数据从所述源集群端同步到所述目标集群端，并根据所述元数据DDL信息，生成目标表元数据，以及根据所述目标表元数据，生成初始表数据。4.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据库系统表和源数据库系统表，确定所述源集群端的节点与所述目标集群端的节点之间的复制映射关系，包括：根据所述源数据库系统表，确定所述源集群端的每个节点的互联网协议信息；根据所述目标数据库系统表，确定所述目标集群端的每个节点的互联网协议信息；根据所述源集群端的每个节点的互联网协议信息和所述目标集群端的每个节点的互联网协议信息，确定所述源集群端的每个节点与所述目标集群端的每个节点之间的复制映射关系。
5.根据权利要求1所述的方法，其特征在于，所述响应于数据复制请求之后，还包括：生成所述源数据的统计信息。6.根据权利要求5所述的方法，其特征在于，所述源数据的统计信息包括源表记录数；相应地，所述将拆分后的源表数据通过所述数据传输通道从所述源集群端的多个节点发送至所述目标集群端的多个节点，以使所述目标集群端根据所述目标表元数据，将源表数据导入初始表数据，生成目标表数据之后，还包括：接收所述目标集群端发送的目标记录数，所述目标记录数为所述目标集群端将源表数据导入初始表数据时生成的；将所述目标记录数和所述源表记录数进行数据比对处理，生成记录数比对结果；若判定所述记录数比对结果满足预设报错条件，则返回到所述响应于数据复制请求，生成复制配置参数和节点开通指令的步骤；若判定所述记录数比对结果满足预设成功条件，则返回数据复制成功结果。7.根据权利要求5所述的方法，其特征在于，所述源数据的统计信息包括源表记录数；相应地，所述将所述源表元数据发送至所述目标集群端，以使所述目标集群端根据所述源表元数据，生成目标表元数据，并根据所述目标表元数据，生成初始表数据之后，还包括：若判定所述源表记录数满足预设阈值条件，则根据所述复制映射关系，将所述源表数据通过所述数据传输通道从所述源集群端的其中一个节点发送至所述目标集群端，以使所述目标集群端根据所述目标表元数据，将源表数据导入初始表数据，生成目标表数据。8.根据权利要求1所述的方法，其特征在于，所述将所述源表元数据发送至所述目标集群端，以使所述目标集群端根据所述源表元数据，生成目标表元数据，并根据所述目标表元数据，生成初始表数据之后，还包括：将同表查询指令发送至所述目标集群端，以使所述目标集群端根据所述同表查询指令，确定所述源表元数据相同的目标端数据表，并删除所述目标端数据表。9.根据权利要求1所述的方法，其特征在于，所述根据所述复制映射关系，将所述源表数据拆分之前，还包括：若判定所述源集群端的节点数量与所述目标集群端的节点数量不相等，则将所述源表数据进行重分布处理，生成重分布后的源表数据。10.根据权利要求1至9任一项所述的方法，其特征在于，所述将拆分后的源表数据通过所述数据传输通道从所述源集群端的多个节点发送至所述目标集群端的多个节点，以使所述目标集群端根据所述目标表元数据，将源表数据导入初始表数据，生成目标表数据之后，还包括：将统计信息收集指令发送至所述目标集群端，以使所述目标集群端根据所述统计信息收集指令，收集所述目标表数据的统计信息。11.一种数据复制方法，其特征在于，应用于目标集群端，包括：接收源集群端发送的节点开通指令，其中所述节点开通指令为所述源集群端响应于数据复制请求，生成复制配置参数和节点开通指令的；其中所述复制配置参数用于指示所述源集群端根据所述复制配置参数信息，确定源数据的源表数据；根据所述源数据库系统表，确定源表元数据；
根据所述节点开通指令，建立所述源集群端的每个节点与目标集群端的每个节点之间的数据传输通道；将目标数据库系统表发送至所述源集群端，以使所述源集群端根据所述目标数据库系统表和源数据库系统表，确定所述源集群端的节点与所述目标集群端的节点之间的复制映射关系，根据所述复制映射关系，将所述源表数据拆分；接收所述源集群端发送的源表元数据，并根据所述源表元数据，生成目标表元数据，以及根据所述目标表元数据，生成初始表数据；接收所述源集群端通过所述数据传...

【专利技术属性】
技术研发人员：蔡雅琼，吕文栋，陈晓新，邓宇，陈冰涛，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：