基于分布式存储系统的分片处理方法、装置、设备以及存储介质制造方法及图纸

技术编号:44956998 阅读:36 留言:0更新日期:2025-04-12 01:27
本公开提供了基于分布式存储系统的分片处理方法、装置、设备以及存储介质,涉及计算机技术领域,尤其涉及大数据、分布式数据、以及分布式存储系统领域。具体实现方案为:响应于该分片同步指令,将该分片同步指令所指示的源分片同步给该分片同步指令所指示的目标分片。在该同步过程中,如果获取到用户的操作请求,则可以将用户的操作请求所指示的操作信息写入到预设的临时存储空间中。在完成源分片中到目标分片的同步后,可以将临时存储空间中的操作信息合并到目标分片中。

【技术实现步骤摘要】

本公开涉及计算机技术中的大数据、分布式数据、以及分布式存储系统,尤其涉及一种基于分布式存储系统的分片处理方法、装置、设备以及存储介质


技术介绍

1、分布式存储系统中包括有存储桶(bucket)。存储桶中可以设置有多个分片(shard)。对象可以存储在存储桶的分片中。如果在创建数据桶的时候,没能合理的规划分片数量,则可能会随着存储桶中对象数量的增加,影响存储桶的使用效率。因此,常常需要在存储桶中执行重分片(reshard)操作,将分片同步到另一分片中。在同步过程中,存储桶会接收到用户针对分片中对象的操作请求。

2、进而,亟需一种可以在分片同步的过程中,及时处理用户的操作请求的方案。


技术实现思路

1、本公开提供了一种用于基于分布式存储系统的分片处理方法、装置、设备以及存储介质。

2、根据本公开的第一方面,提供了一种基于分布式存储系统的分片处理方法,包括:

3、响应于分片同步指令,在将所述分片同步指令所指示的源分片同步给目标分片的过程中,将用户的操作请求所指示的操作信息存储到本文档来自技高网...

【技术保护点】

1.一种基于分布式存储系统的分片处理方法,包括:

2.根据权利要求1所述的方法,所述将用户的操作请求所指示的操作信息存储到预设的临时存储空间中,包括:

3.根据权利要求2所述的方法,所述根据所述操作请求,生成所述操作信息和所述操作信息对应对象的时间戳,包括:

4.根据权利要求2所述的方法,所述根据所述操作请求,生成所述操作信息和所述操作信息对应对象的时间戳,包括:

5.根据权利要求2所述的方法,所述根据所述操作请求,生成所述操作信息和所述操作信息对应对象的时间戳,包括:

6.根据权利要求1-5中任一项所述的方法,所述操作信息中包...

【技术特征摘要】

1.一种基于分布式存储系统的分片处理方法,包括:

2.根据权利要求1所述的方法,所述将用户的操作请求所指示的操作信息存储到预设的临时存储空间中,包括:

3.根据权利要求2所述的方法,所述根据所述操作请求,生成所述操作信息和所述操作信息对应对象的时间戳,包括:

4.根据权利要求2所述的方法,所述根据所述操作请求,生成所述操作信息和所述操作信息对应对象的时间戳,包括:

5.根据权利要求2所述的方法,所述根据所述操作请求,生成所述操作信息和所述操作信息对应对象的时间戳,包括:

6.根据权利要求1-5中任一项所述的方法,所述操作信息中包括对象的索引值和对象的数据,所述对象具有时间戳;所述将所述预设的临时存储空间中的操作信息,合并到所述目标分片中,包括:

7.根据权利要求6所述的方法,所述根据所述当前对象的时间戳和所述目标对象的时间戳,对所述当前对象与所述目标对象进行合并处理,包括:

8.根据权利要求7所述的方法,所述将所述当前对...

【专利技术属性】
技术研发人员:梁明远段立国邢艳王浩毛齐刘朋
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1