一种多数据源的数据同步方法、设备及介质技术

本发明专利技术公开了一种多数据源的数据同步方法、设备及介质，属于多源数据同步技术领域，用于解决多源数据同步过程中出现的同步不均匀、节点资源浪费、数据失真的技术问题。方法包括：确定待同步数据对应的多个数据源，以根据所述多个数据源的数量确定时间轮长度；在所述时间轮上，为每个数据源划分相等的时间步长Δt；基于所述时间轮对所述多个数据源依次进行数据同步；根据所述时间步长Δt内的数据同步时间和未处理数据量，预估所述多个数据源在下一时间轮上分别对应的时间步长Δt<subgt;1</subgt;，并将Δt更新为Δt<subgt;1</subgt;；根据所述下一时间轮继续对所述多个数据源依次进行数据同步，直至完成所述待同步数据的数据同步过程。

【技术实现步骤摘要】

本专利技术涉及多源数据同步，尤其涉及一种多数据源的数据同步方法、设备及介质。

技术介绍

1、在信息化系统中，经常出现需要同步多数据源的数据到业务系统中。

2、在多源同步过程中，多数据源常出现多源并发，数据单位时间变化大，数据分布不均匀的情况。传统信息系统通常都是采用多节点的方式，将多数据源均分到每个节点，每个节点通过多线程等技术统一对数据源进行处理。但是多节点的数据处理方式，通常节点上只有数据同步服务不会存在其他业务服务，这就会出现在数据同步空闲的时候，节点也会空闲，造成资源浪费。而且多节点的采样，通常不能真实的反馈现实数据的情况，在一定情况下造成数据失真。

技术实现思路

1、本专利技术提供了一种多数据源的数据同步方法、设备及介质，用于解决多源数据同步过程中出现的同步不均匀、节点资源浪费、数据失真的技术问题。

2、本专利技术采用下述技术方案：

3、第一方面，本专利技术提供了一种多数据源的数据同步方法，所述方法包括：确定待同步数据对应的多个数据源，以根据所述多个数据源的数量确本文档来自技高网...

【技术保护点】

1.一种多数据源的数据同步方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种多数据源的数据同步方法，其特征在于，所述时间轮长度根据所述多个数据源的数量和所述时间步长Δt之间的乘积确定，包括：

3.根据权利要求2所述的一种多数据源的数据同步方法，其特征在于，所述时间轮的长度不大于1分钟。

4.根据权利要求1所述的一种多数据源的数据同步方法，其特征在于，预估所述多个数据源在下一时间轮上分别对应的时间步长Δt1，包括：

5.根据权利要求1所述的一种多数据源的数据同步方法，其特征在于，

6.根据权利要求5所述的一种多数据源的...

【技术特征摘要】

1.一种多数据源的数据同步方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种多数据源的数据同步方法，其特征在于，所述时间轮长度根据所述多个数据源的数量和所述时间步长δt之间的乘积确定，包括：

3.根据权利要求2所述的一种多数据源的数据同步方法，其特征在于，所述时间轮的长度不大于1分钟。

4.根据权利要求1所述的一种多数据源的数据同步方法，其特征在于，预估所述多个数据源在下一时间轮上分别对应的时间步长δt1，包括：

5.根据权利要求1所述的一种多数...

【专利技术属性】
技术研发人员：荀海峰，陈雷，岳凯，孟珂，胡德凯，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：