【技术实现步骤摘要】
基于分布式对象的数据存储方法及装置
本专利技术涉及数据存储
，具体而言，涉及一种基于分布式对象的数据存储方法及装置。
技术介绍
相关技术中，在进行数据存储、迁移时，一般是使用迁移工具来进行数据转移，例如，使用U盘、光盘等进行数据迁移，这种数据存储、迁移方式，操作繁重易错，启动准备时间长(独立部署、独立的双端配置文件)，需要额外的迁移集群或计算资源支撑，主要原理为迁移工具先List出源数据的对象列表，之后按照对象列表做数据迁移。如果在List完之后，源端某些文件被删除，就会出现源端文件不存在的情况。这种文件会被跳过，通常把文件输出在错误列表里。迁移工具是有状态的，已经迁移成功的，会在数据库内创建对应条目和状态机。每次迁移前对要迁移的路径，先在db中查找下是否存在，如果存在，且属性和数据库中存在的一致，则跳过迁移，否则进行迁移。这里的属性根据迁移类型的不同而不同，对于本地迁移，会判断mtime、对象的etag和长度等是否与数据库中一致。因此，迁移工具参照db中是否有过迁移成功的记录，来确定文件是否迁移完毕，...
【技术保护点】
1.一种基于分布式对象的数据存储方法，其特征在于，包括：/n接收分布式传输的多个数据克隆任务，其中，所述数据克隆任务中携带有待克隆的源数据桶对象的对象信息；/n根据所述数据克隆任务，使用桶快照克隆功能对所述源数据桶对象进行对象克隆，得到目标克隆对象，其中，所述桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象；/n控制对象存储网关将所述目标克隆对象存储至数据持久层。/n
【技术特征摘要】
1.一种基于分布式对象的数据存储方法，其特征在于，包括：
接收分布式传输的多个数据克隆任务，其中，所述数据克隆任务中携带有待克隆的源数据桶对象的对象信息；
根据所述数据克隆任务，使用桶快照克隆功能对所述源数据桶对象进行对象克隆，得到目标克隆对象，其中，所述桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象；
控制对象存储网关将所述目标克隆对象存储至数据持久层。
2.根据权利要求1所述的数据存储方法，其特征在于，根据所述数据克隆任务，使用桶快照克隆功能对所述源数据桶对象进行对象克隆，得到目标克隆对象的步骤包括：
根据所述数据克隆任务，确定源数据桶对象的位置和所占空间大小；
基于所述源数据桶对象的位置和所占空间大小，对所述源数据桶对象进行桶快照处理，以拷贝当前时刻的所述源数据桶对象的全部数据，得到快照数据集合；
基于所述快照数据集合，生成桶克隆任务；
基于所述桶克隆任务，对所述源数据桶对象进行桶克隆处理，得到所述目标克隆对象。
3.根据权利要求1所述的数据存储方法，其特征在于，在接收分布式传输的多个数据克隆任务之后，所述数据存储方法还包括：
在接收客户端传输的数据克隆任务后，验证数据克隆任务的权限是否在任务权限内，且验证数据克隆任务是否在任务有效期内；
若确定数据克隆任务的权限在任务权限内，且数据克隆任务在任务有效期内，则将所述数据克隆任务的任务信息存入预设数据库；
检测各个对象存储网关的执行状态，其中，所述对象存储网关通过抢占方式领取任务，所述执行状态包括下述之一：空闲状态、执行任务状态、无法使用状态；
调用空闲状态的对象存储网关读取所述任务信息，并基于所述任务信息执行所述数据克隆任务。
4.根据权利要求1所述的数据存储方法，其特征在于，所述桶快照克隆功能至少包括：任务生成层、任务发起层、任务调度层和数据传输层，所述任务生成层执行如下步骤：
在接收客户端传输的数据克隆任务后，创建桶快照节点，并生成克隆对象任务清单，其中，所述桶快照节点用于对桶数据对象进行桶快照处理，以拷贝对象中的数据，所述克隆对象任务清单用于对每个所述数据克隆任务进行任务分类；
按照克隆对象任务清单中的任务排序，确定数据克隆任务的执行顺序；
对每个待执行的数据克隆任务，写入任务元数据，等待任务执行节点触发执行所述数据克隆任务。
5.根据权利要求4所述的数据存储方法，其特征在于，所述任务发起层执行如下步骤：
扫描所述克隆对象任务清单...
【专利技术属性】
技术研发人员：张天旭，鲁加福，杨瑞峰，王豪迈，胥昕，
申请(专利权)人：星辰天合北京数据科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。