一种用于分布式采集系统的数据同步方法技术方案

技术编号:41379453 阅读:21 留言:0更新日期:2024-05-20 10:21
本申请公开了一种用于分布式采集系统的数据同步方法,涉及数据处理技术领域,该方法包括以下步骤:同步数据库接受来自数据暂存节点中传输的数据并对数据进行数据同步存储的同时,同步器按照预设的巡检时间间隔查询数据暂存节点中是否存在数据缓存;若数据暂存节点存在数据缓存,同步器获取数据序列中的数据特征;同步器按照预设的数据同步规则,将所有数据序列中具有相同数据特征的数据进行提取,并发送至同步数据库中,同步数据库进行数据的快速同步存储。本申请,同步器按照预设的巡检时间间隔进行数据查询,并在查询到存在数据缓存时执行相应的数据同步任务,优化了数据查询的频次,降低系统运行压力,辅助了同步数据库的数据同步。

【技术实现步骤摘要】

本申请涉及数据处理,具体是一种用于分布式采集系统的数据同步方法


技术介绍

1、数据同步是一种在多个数据源之间保持数据一致性的一种手段,广泛应用于各种计算机系统中。数据同步有以下几种常见的应用场景:一、计算机系统通过数据同步实现容灾备份,避免单点故障;二、计算机系统通过数据同步实现系统负载均衡,提高系统性能;三、多个系统之间通过数据同步的方式实现数据共享。其中,针对多个系统之间通过数据同步的方式实现数据共享的技术,一些现有技术采用高频读取的方式对采集到的数据进行扫描、解析,从而分析哪些数据是属于需要同步的数据,这种方式,势必需要高计算力的支持,这样,就会给处理器带来较大的负载压力和算力需求,并且,还可能在数据计算量较大时,错漏需要同步的数据,进而造成依赖于同步后数据进行进一步处理的后端出现数据错误的现象,为此,亟需一种可靠性高、能够充分释放运行压力、优化运行算力的数据同步方法来解决这一问题。


技术实现思路

1、本申请的目的在于提供一种用于分布式采集系统的数据同步方法,以高可靠性高、充分释放运行压力、优化运行算本文档来自技高网...

【技术保护点】

1.一种用于分布式采集系统的数据同步方法,其特征在于,该方法包括以下步骤:

2.根据权利要求1所述的用于分布式采集系统的数据同步方法,其特征在于,该方法还包括:

3.根据权利要求2所述的用于分布式采集系统的数据同步方法,其特征在于,当所述同步器将所述数据缓存节点中的数据序列均发送至所述同步数据库后,对所述巡检时间间隔ΔT’进行复位,使所述同步器按照巡检时间间隔ΔT查询数据暂存节点中是否存在数据缓存。

4.根据权利要求2所述的用于分布式采集系统的数据同步方法,其特征在于,所述的预设巡检频率阈值,具体包括:

5.根据权利要求4所述的用于分布式采...

【技术特征摘要】

1.一种用于分布式采集系统的数据同步方法,其特征在于,该方法包括以下步骤:

2.根据权利要求1所述的用于分布式采集系统的数据同步方法,其特征在于,该方法还包括:

3.根据权利要求2所述的用于分布式采集系统的数据同步方法,其特征在于,当所述同步器将所述数据缓存节点中的数据序列均发送至所述同步数据库后,对所述巡检时间间隔δt’进行复位,使所述同步器按照巡检时间间隔δt查询数据暂存节点中是否存在数据缓存。

4.根据权利要求2所述的用于分布式采集系统的数据同步方法,其特征在于,所述的预设巡检频率阈值,具体包括:

5.根据权利要求4所述的用于分布式采集系统的数据同步方法,其特...

【专利技术属性】
技术研发人员:张文娟
申请(专利权)人:广州云利数码科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1