本申请公开了一种数据同步方法、装置、电子设备及计算机可读介质，涉及数据处理技术领域，一具体实施方式包括响应于数据同步请求，获取对应的用户标识；基于用户标识执行查询进程以获取对应的待同步明细数据并执行下档操作，以得到目标文件；对目标文件中的记录执行分片操作，以生成各个分片文件；执行并发事务，以分别对各个分片文件执行数据同步操作，以得到同步数据；响应于检测到分片文件终止标识，结束数据同步进程。使用了以空间换时间的思路，通过先将待更新的所有的用户明细数据下档到文件中，在使用并发更新的操作，使用廉价的存储空间换取了可并发更新的优势，大大缩短数据同步操作所需的时间，提高数据同步效率和准确率。
【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种数据同步方法、装置、电子设备及计算机可读介质。
技术介绍
1、目前，大型银行核心系统中存储了海量的用户数据，比如用户的交易明细，收费明细等。此类数据具有结构化，同一用户数据近似性高，数据量大的特点。同一用户数据相似性高，导致在分布式集群中该类数据容易聚集存放，而此类用户明细数据通常也是以用户维度进行查询，因此即使使用索引技术，也依然无法较好的对数据进行区分；而数据量大，导致更新时会产生性能问题，数据同步效率低、准确率低。
技术实现思路
1、有鉴于此，本申请实施例提供一种数据同步方法、装置、电子设备及计算机可读介质，能够解决现有的数据同步效率低、准确率低的问题。
2、为实现上述目的，根据本申请实施例的一个方面，提供了一种数据同步方法，包括：
3、响应于数据同步请求，获取对应的用户标识；
4、基于用户标识执行查询进程以获取对应的待同步明细数据并执行下档操作，以得到目标文件；
5、对目标文件中的记录执行分片操作，以生成各个分片文件；
6、执行并发事务，以分别对各个分片文件执行数据同步操作，以得到同步数据；
7、响应于检测到分片文件终止标识，结束数据同步进程。
8、可选地，对目标文件中的记录执行分片操作，以生成各个分片文件，包括：
9、实时获取执行机器数量、服务器性能数据和系统冗余数据，进而基于执行机器数量、服务器性能数据和系统冗余数据，确定分片数量；
>10、基于分片数量，对目标文件中的记录进行分片，以得到对应的各个分片文件。11、可选地，执行并发事务，以分别对各个分片文件执行数据同步操作，以得到同步数据，包括：
12、基于执行机器的数量，确定并发事务的数量；
13、基于数量，调用对应的事务并发执行对各个分片文件的数据同步，以得到同步数据。
14、可选地，在获取对应的用户标识之前，方法还包括：
15、响应于检测到用户类型变更并且对应的用户数据数量超过预设阈值，触发生成数据同步请求。
16、可选地，执行并发事务，以分别对各个分片文件执行数据同步操作，包括：
17、响应于数据同步操作的耗时超过预设时长，确定对应的事务标识；
18、基于事务标识，生成超时提示信息。
19、可选地，执行并发事务，以分别对各个分片文件执行数据同步操作，包括：
20、对于并发执行的每一个事务，在对应的事务执行过程中锁定对应的分片文件，以拒绝其他事务对锁定的对应的分片文件的操作。
21、另外，本申请还提供了一种数据同步装置，包括：
22、获取单元，被配置成响应于数据同步请求，获取对应的用户标识；
23、下档单元，被配置成基于用户标识执行查询进程以获取对应的待同步明细数据并执行下档操作，以得到目标文件；
24、分片单元，被配置成对目标文件中的记录执行分片操作，以生成各个分片文件；
25、数据同步单元，被配置成执行并发事务，以分别对各个分片文件执行数据同步操作，以得到同步数据；
26、检测单元，被配置成响应于检测到分片文件终止标识，结束数据同步进程。
27、可选地，分片单元进一步被配置成：
28、实时获取执行机器数量、服务器性能数据和系统冗余数据，进而基于执行机器数量、服务器性能数据和系统冗余数据，确定分片数量；
29、基于分片数量，对目标文件中的记录进行分片，以得到对应的各个分片文件。
30、可选地，数据同步单元进一步被配置成：
31、基于执行机器的数量，确定并发事务的数量；
32、基于数量，调用对应的事务并发执行对各个分片文件的数据同步，以得到同步数据。
33、可选地，装置还包括请求生成单元，被配置成：
34、响应于检测到用户类型变更并且对应的用户数据数量超过预设阈值，触发生成数据同步请求。
35、可选地，数据同步单元进一步被配置成：
36、响应于数据同步操作的耗时超过预设时长，确定对应的事务标识；
37、基于事务标识，生成超时提示信息。
38、可选地，数据同步单元进一步被配置成：
39、对于并发执行的每一个事务，在对应的事务执行过程中锁定对应的分片文件，以拒绝其他事务对锁定的对应的分片文件的操作。
40、另外，本申请还提供了一种数据同步电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述的数据同步方法。
41、另外，本申请还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述的数据同步方法。
42、为实现上述目的，根据本申请实施例的又一个方面，提供了一种计算机程序产品。
43、本申请实施例的一种计算机程序产品，包括计算机程序，程序被处理器执行时实现本申请实施例提供的数据同步方法。
44、上述专利技术中的一个实施例具有如下优点或有益效果：本申请通过响应于数据同步请求，获取对应的用户标识；基于用户标识执行查询进程以获取对应的待同步明细数据并执行下档操作，以得到目标文件；对目标文件中的记录执行分片操作，以生成各个分片文件；执行并发事务，以分别对各个分片文件执行数据同步操作，以得到同步数据；响应于检测到分片文件终止标识，结束数据同步进程。使用了以空间换时间的思路，通过先将待更新的所有的用户明细数据下档到文件中，在使用并发更新的操作，使用廉价的存储空间换取了可并发更新的优势，大大缩短数据同步操作所需的时间，提高数据同步效率和准确率。
45、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
本文档来自技高网...
【技术保护点】
1.一种数据同步方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述目标文件中的记录执行分片操作，以生成各个分片文件，包括：
3.根据权利要求1所述的方法，其特征在于，所述执行并发事务，以分别对所述各个分片文件执行数据同步操作，以得到同步数据，包括：
4.根据权利要求1所述的方法，其特征在于，在所述获取对应的用户标识之前，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述执行并发事务，以分别对所述各个分片文件执行数据同步操作，包括：
6.根据权利要求1所述的方法，其特征在于，所述执行并发事务，以分别对所述各个分片文件执行数据同步操作，包括：
7.一种数据同步装置，其特征在于，包括：
8.根据权利要求7所述的装置，其特征在于，所述分片单元进一步被配置成：
9.根据权利要求7所述的装置，其特征在于，所述数据同步单元进一步被配置成：
10.根据权利要求7所述的装置，其特征在于，所述装置还包括请求生成单元，被配置成：
11.根据权利要求7所述的装置，其特征在于，所述数据同步单元进一步被配置成：
12.根据权利要求7所述的装置，其特征在于，所述数据同步单元进一步被配置成：
13.一种数据同步电子设备，其特征在于，包括：
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
...
【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述目标文件中的记录执行分片操作，以生成各个分片文件，包括：
3.根据权利要求1所述的方法，其特征在于，所述执行并发事务，以分别对所述各个分片文件执行数据同步操作，以得到同步数据，包括：
4.根据权利要求1所述的方法，其特征在于，在所述获取对应的用户标识之前，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述执行并发事务，以分别对所述各个分片文件执行数据同步操作，包括：
6.根据权利要求1所述的方法，其特征在于，所述执行并发事务，以分别对所述各个分片文件执行数据同步操作，包括：
7.一种数据同步装置，其特征在于，包括：
8.根据权利要求7所述的装...
【专利技术属性】
技术研发人员：阳搏华，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。