数据分片管理方法、系统及计算设备技术方案

技术编号:46618698 阅读:2 留言:0更新日期:2025-10-14 21:14
本公开涉及分布式存储技术领域,尤其是提供一种数据分片管理方法、系统及计算设备。本申请实施例中,根据纠删码编码方式,将数据对象划分为K个数据分片,并确定每个数据分片的分片信息,所述分片信息包括:版本号;将每个数据分片的元数据存储至元数据层,所述数据分片的元数据包括版本号;根据第一数据分片的分片信息中的版本号,从所述元数据层中查询所述第一数据分片的第一元数据。本申请实施例中,通过对数据分片的分片信息的命名结构进行重新设计,使用分片信息中的版本号可以快速定位数据分片的元数据,提高数据分片的元数据的查询效率,便于对数据分片进行管理。

【技术实现步骤摘要】

本公开涉及分布式存储,尤其是涉及一种数据分片管理方法、系统及计算设备


技术介绍

1、在分布式存储系统中,数据修复一般采用副本方式,如可以先确定待修复文件所对应的副本文件,再通过副本文件修复待修复文件,获得修复后的文件。但是采用副本方式进行文件修复,并不适用于所有分布式存储系统的数据修复,如不适用于ceph(核心)分布式存储系统,因此,对于ceph分布式存储系统的数据如何快速且准确地执行数据迁移和修复是目前亟待解决的技术问题。


技术实现思路

1、鉴于上述问题而提出了本公开。本公开提供了一种数据分片管理方法、系统及计算设备。

2、根据本公开的第一方面,提供了一种数据分片管理方法,包括:

3、根据纠删码编码方式,将数据对象划分为k个数据分片,并确定每个数据分片的分片信息,分片信息包括:版本号;

4、将每个数据分片的元数据存储至元数据层,数据分片的元数据包括版本号;

5、根据第一数据分片的分片信息中的版本号,从元数据层中查询第一数据分片的第一元数据,第一数据分片为数据本文档来自技高网...

【技术保护点】

1.一种数据分片管理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述分片信息还包括桶标识和分片标识,所述根据第一数据分片的分片信息中的版本号,从所述元数据层中查询所述第一数据分片的第一元数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述分片信息还包括:上传标识,用于唯一标识一次分块上传操作。

4.根据权利要求1-3任一项所述的方法,其特征在于,所述分片信息还包括操作状态位,所述操作状态位包括以下至少一项:

5.根据权利要求4所述的方法,其特征在于,所述根据第一数据分片的分片信息,查询所述第一数据分片的元数据...

【技术特征摘要】

1.一种数据分片管理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述分片信息还包括桶标识和分片标识,所述根据第一数据分片的分片信息中的版本号,从所述元数据层中查询所述第一数据分片的第一元数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述分片信息还包括:上传标识,用于唯一标识一次分块上传操作。

4.根据权利要求1-3任一项所述的方法,其特征在于,所述分片信息还包括操作状态位,所述操作状态位包括以下至少一项:

5.根据权利要求4所述的方法,其特征在于,所述...

【专利技术属性】
技术研发人员:陈华显余礼杨
申请(专利权)人:中移苏州软件技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1