数据同步的方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种数据同步的方法、装置、电子设备及存储介质，属于计算机技术领域。该方法包括：获取待处理文件的数据总量及ID字段；根据所述数据总量确定初始拆分数量；根据ID字段和所述初始拆分数量确定初始拆分表；根据所述初始拆分表中的表格的数据量进行合并或拆分得到最终拆分表；分别对所述最终拆分表中的所有表格进行同步；当所述最终拆分表中存在一个或多个表格同步失败时，则对该失败的表格进行处理，然后再进行同步，直至同步成功；当所述所有表格均同步成功，则合并所有表格。该方法大大提升了数据同步的性能。

【技术实现步骤摘要】

本专利技术涉及计算机，具体地涉及一种数据同步的方法、装置、电子设备及存储介质。

技术介绍

1、现有的数据同步的过程中，当数据出现异常，则同步中断，下一次运行时会从头重新运行整个数据，当数据量很大的时候，比如有1亿条数据，已经采集完成了9000万条数据，只剩下1000万条了，传统方式会从头采集，这大大的降低了采集的性能，并且重复的采集数据会占用源端数据库的带宽，并且占用网络带宽，大大影响数据同步的性能。

技术实现思路

1、本专利技术实施例的目的是提供一种数据同步的方法、装置、电子设备及存储介质，该方法大大提升了数据同步的性能。

2、为了实现上述目的，本专利技术实施例提供一种数据同步的方法，该方法包括：获取待处理文件的数据总量及id字段；根据所述数据总量确定初始拆分数量；根据id字段和所述初始拆分数量确定初始拆分表；根据所述初始拆分表中的表格的数据量进行合并或拆分得到最终拆分表；分别对所述最终拆分表中的所有表格进行同步；当所述最终拆分表中存在一个或多个表格同步失败时，则对该失败的表格进行处理，然后再进本文档来自技高网...

【技术保护点】

1.一种数据同步的方法，其特征在于，该方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据总量确定初始拆分数量，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据ID字段和所述初始拆分数量确定初始拆分表，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述初始拆分表中的表格的数据量进行合并或拆分得到最终拆分表，包括：

5.根据权利要求1所述的方法，其特征在于，

6.一种数据同步的装置，其特征在于，该装置包括：

7.根据权利要求6所述的装置，其特征在于，所述根据ID字段和所述初始拆分...

【技术特征摘要】

1.一种数据同步的方法，其特征在于，该方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据总量确定初始拆分数量，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据id字段和所述初始拆分数量确定初始拆分表，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述初始拆分表中的表格的数据量进行合并或拆分得到最终拆分表，包括：

5.根据权利要求1所述的方法，其特征在于，

6.一种数据同步的装置，其特征在于，该装置包括：

7.根据权利要求6所述的装置，其特征在于，所述根据id字段和所述初...

【专利技术属性】
技术研发人员：王博，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：