一种数据同步方法及装置制造方法及图纸

技术编号:41133226 阅读:14 留言:0更新日期:2024-04-30 18:03
本发明专利技术实施例提供了一种数据同步方法及装置,涉及数据存储技术领域,所述方法包括:基于分布式存储系统中待同步数据的索引,确定所述待同步数据的分片以及所述分片的第一数量;创建第一数量个线程,其中,所创建每一线程与每一分片相对应;并行调用每一线程指示目标存储节点针对该线程对应的目标分片进行数据查询,并接收所述目标存储节点进行数据查询后返回的查询数据,将接收到的查询数据同步至目标数据源,其中,所述目标存储节点为:所述分布式存储系统中存储所述目标分片的存储节点。应用本发明专利技术实施例提供的方案,能够将分布式存储系统中存储的数据同步至其他数据源。

【技术实现步骤摘要】

本专利技术涉及数据处理,特别是涉及一种数据同步方法及装置


技术介绍

1、分布式存储系统具有存储容量大、存储性能强、数据可靠性高、支持负载均衡等优点,在企业数据存储场景中被广泛应用。

2、很多情况下,一个分布式存储系统中存储的数据需要被同步到集中式数据库或另一分布式存储系统等其他数据源。例如,某企业采用分布式存储系统d1存储部门a的数据,采用集中式数据库d2存储部门b产生的数据,为便于部门b的员工便捷的访问部门a的数据,可以将分布式存储系统d1存储的数据同步至集中式数据库d2。

3、鉴于上述情况,需要一种数据同步方案,以将分布式存储系统中存储的数据同步至其他数据源。


技术实现思路

1、本专利技术实施例的目的在于提供一种数据同步方法及装置,以将分布式存储系统中存储的数据同步至其他数据源。具体技术方案如下:

2、第一方面,本专利技术实施例提供了一种数据同步方法,所述方法包括:

3、基于分布式存储系统中待同步数据的索引,确定所述待同步数据的分片以及所述分片的第一数量;本文档来自技高网...

【技术保护点】

1.一种数据同步方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,

3.根据权利要求1所述的方法,其特征在于,所述将接收到的查询数据同步至目标数据源,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于分布式存储系统中待同步数据的索引,确定所述待同步数据的分片以及所述分片的第一数量,包括:

5.根据权利要求4所述的方法,其特征在于,所述并行调用每一线程指示目标存储节点针对该线程对应的目标分片进行数据查询,包括:

6.一种数据同步装置,其特征在于,所述装置包括:

7.根据权利要求6所述的...

【技术特征摘要】

1.一种数据同步方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,

3.根据权利要求1所述的方法,其特征在于,所述将接收到的查询数据同步至目标数据源,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于分布式存储系统中待同步数据的索引,确定所述待同步数据的分片以及所述分片的第一数量,包括:

5.根据权利要求4所述的方法,其特征在于,所述并行调用每一线程指示目标存储节点针对该线程对应的目标分片进行数据查询,包括:

6.一种数据同步装置,其特征在于,所述...

【专利技术属性】
技术研发人员:宋福健张建涛许哲马丽霞
申请(专利权)人:中信建投证券股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1