批量数据同步方法、装置、电子设备和存储介质制造方法及图纸

本申请提供一种批量数据同步方法、装置、电子设备和存储介质，可用于分布式架构领域。该方法包括：接收针对第一数据表的批量写入请求，所述批量写入请求包括：第一分片键值和目标字段在所述第一分片键值的目标数值；基于所述第一分片键值和所述目标数值，生成所述目标字段对应的数据同步文件；接收键值对输入请求，所述键值对输入请求包括：所述第一分片键值和第二分片键值；基于所述第一分片键值和所述第二分片键值对应的键值对，生成映射关系文件；根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值。本申请的方法，实现准确而高效的数据表中的字段取值的同步。准确而高效的数据表中的字段取值的同步。准确而高效的数据表中的字段取值的同步。

【技术实现步骤摘要】
批量数据同步方法、装置、电子设备和存储介质


[0001]本申请涉及分布式架构领域，尤其涉及一种批量数据同步方法、装置、电子设备和存储介质。

技术介绍

[0002]在分布式架构存储数据表时，一般需要将数据文件进行分片。为了对数据表的分片进行有效管理，一般需要在数据表中设置一列数据标识。在分布式架构中的数据表一般使用分片的方式进行存储，也即一个数据表可以被划分在不同的数据分片中，不同数据分片的使用需要相应的数据库实例。也即，即便是一个数据表中的目标字段的数据，也可能存在于不同的数据分片。
[0003]因而，将一个数据表中的数据同步到另一个数据表时，对于目标字段的数据，需要通过不同数据库实例查询各自的数据分片中的数据，存在跨实例查询，而在数据表的同步过程中，这种跨实例查询较为困难，导致字段在不同表之间同步较为困难，不能实现不同表的同步。

技术实现思路

[0004]本申请提供一种批量数据同步方法、装置、电子设备和存储介质，用以解决在数据表的同步过程中，这种跨实例查询较为困难，不能实现不同表的同步问题。
[0005]第一方面，本申请提供一种批量数据同步方法，包括：
[0006]接收针对第一数据表的批量写入请求，所述批量写入请求包括：第一分片键值和目标字段在所述第一分片键值的目标数值；
[0007]基于所述第一分片键值和所述目标数值，生成所述目标字段对应的数据同步文件；
[0008]接收键值对输入请求，所述键值对输入请求包括：所述第一分片键值和第二分片键值；
[0009]基于所述第一分片键值和所述第二分片键值对应的键值对，生成映射关系文件；
[0010]根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值。
[0011]第二方面，本申请提供一种批量数据同步装置，包括：
[0012]第一接收单元，用于接收针对第一数据表的批量写入请求，所述批量写入请求包括：第一分片键值和目标字段在所述第一分片键值的目标数值；
[0013]第一生成单元，用于基于所述第一分片键值和所述数值，生成所述目标字段对应的数据同步文件；
[0014]第二接收单元，用于接收键值对输入请求，所述键值对输入请求包括：所述第一分片键值和第二分片键值；
[0015]第二生成单元，用于基于所述第一分片键值和所述第二分片键值对应的键值对，
生成映射关系文件；
[0016]数值更新单元，用于根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值。
[0017]第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
[0018]所述存储器存储计算机执行指令；
[0019]所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面以及第一方面各种可能所述的方法。
[0020]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面以及第一方面各种可能所述的方法。
[0021]第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面以及第一方面各种可能涉及的方法的步骤。
[0022]本申请提供的技术方案，可以接收针对第一数据表的批量写入请求，该批量写入请求可以包括第一分片键值和目标字段在第一分片键值的目标数值。通过第一分片键值和目标数值，可以生成目标字段对应的数据同步文件，实现分片键值和目标数值的记录。通过接收键值输入请求，可以实时获取第一分片键值和第二分片键值，进而利用第一分片键值和第二分片键值对应的键值对，可以生成映射关系文件，实现两个数据表中分片键值的映射关系文件的建立。根据数据同步文件和映射关系文件，可以更新第二数据表中第二分片键值在目标字段的目标数值。通过两个文件中分片键值的映射处理，可以实现数据表中目标数值的映射，完成第二数据表在目标字段的不同分片键值的数值同步，实现准确而高效的数据表中的字段取值的同步。
附图说明
[0023]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0024]图1为本申请实施例提供的一种用于实现批量数据同步方法的系统架构图；
[0025]图2为本申请实施例提供的一种批量数据同步方法的一个实施例的流程图；
[0026]图3为本申请实施例提供的一种批量数据同步方法的又一个实施例的流程图；
[0027]图4为本申请实施例提供的一种批量数据同步方法的应用示例图；
[0028]图5为本申请实施例提供的一种批量数据同步装置的一个实施例的结构示意图；
[0029]图6为本申请实施例提供的一种用于实现批量数据同步方法的电子设备的框图。
[0030]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0031]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例
中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0032]需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
[0033]需要说明的是，本申请提供的批量数据同步方法、装置、电子设备和存储介质，可用于分布式架构领域，也可用于除分布式架构领域之外的任意领域，本申请实施例对批量数据同步方法、装置、电子设备和存储介质的应用领域不做限定。
[0034]相关技术中，数据表可以是指存储于数据库中包含大量数据的表格，数据表中的数据可以是指一行数据，一行数据对应的写入栏可以关联不同的字段。数据表的数据量通常较大，因此为了解决大容量的数据表的存储问题，一般可以采用分布式架构系统存储数据表。为了实现数据表的分布式存储，一般需要在数据表中设置一列分片键，分片键的取值可以用于确定该行数据所在的数据分片，不同数据分片可以存储于分布式架构系统的不同节点中。通常，为了正常查询数据表的数据并利用查询结果执行相应的应用，可以为数据分片设置相应的数据库实例，而不同数据分片可以对应不同的数据库实例。对于数据表的同步场景而言，需要将某个数据表中某个字段的取值同步到另一个数据表中同一字段中。在分布式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种批量数据同步方法，其特征在于，包括：接收针对第一数据表的批量写入请求，所述批量写入请求包括：第一分片键值和目标字段在所述第一分片键值的目标数值；基于所述第一分片键值和所述目标数值，生成所述目标字段对应的数据同步文件；接收键值对输入请求，所述键值对输入请求包括：所述第一分片键值和第二分片键值；基于所述第一分片键值和所述第二分片键值对应的键值对，生成映射关系文件；根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值。2.根据权利要求1所述的方法，其特征在于，所述根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值，包括：根据所述数据同步文件和所述映射关系文件进行文件组合，获得待更新文件，所述待更新文件包括所述键值对和所述键值对中第一分片键值的目标数值对应的数值映射信息；根据所述待更新文件中所述数值映射信息，将所述第二数据表中所述目标字段在所述第二分片键值设置为所述目标数值。3.根据权利要求2所述的方法，其特征在于，所述根据所述数据同步文件和所述映射关系文件进行文件组合，获得待更新文件，包括：根据所述数据同步文件中第一分片键值对应的目标数值，结合所述映射关系文件中键值对的第一分片键值和第二分片键值，建立所述第一分片键值、所述第二分片键值和所述目标数值的数值映射信息；基于所述第一分片键值、所述第二分片键值和所述目标数值的数值映射信息，生成所述待更新文件。4.根据权利要求2所述的方法，其特征在于，所述根据所述数据同步文件和所述映射关系文件进行文件组合，获得待更新文件，包括：在第一时刻，根据所述数据同步文件和所述映射关系文件进行文件组合，获得待更新文件；所述方法还包括：确定所述第一时刻为所述待更新文件的时间戳。5.根据权利要求4所述的方法，其特征在于，所述根据所述待更新文件中所述数值映射信息，将所述第二数据表中所述目标字段在所述第二分片键值设置为所述目标数值包括：获取所述第二数据表前一次更新时使用的历史待更新文件；若所述历史待更新文件的时间戳早于所述待更新文件的时间戳，则对所述历史待更新文件与所述待更新文件进行差分计算，获得增量文件；根据所述增量文件中所述数值映射信息，将所述第二数据表中所述第二分片键值设置为所述第二分片键值所在键值对的目标数值。6.根据权利要求4或5所述的方法，其特征在于，所述在第一时刻，根据所述数据同步文件和所述映射关系文件进行文件组合，获得待更新文件，包括：获取所述第二数据表前一次更新时使用的历史待更新文件；在所述...

【专利技术属性】
技术研发人员：王见广，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：