基于分布式存储的重删数据的云归档方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于分布式存储的重删数据的云归档方法、装置及系统。其中，该方法包括：解析本地元数据，遍历所述本地元数据的所有引用到的数据分片，并检查所述数据分片中的每一个数据分片在云存储端是否已经存在；在云存储端不存在相应的数据分片的情况下，将所述相应的数据分片作为数据对象上传到所述云存储端，并添加对象标签，将所述对象标签中的引用次数设置为1；在云存储端存在相应的数据分片的情况下，将该相应的数据分片对应的对象标签中的引用次数加1。本发明专利技术解决了由于对象存储的非结构化存储造成的无法使用对象存储来归档重删数据的技术问题。归档重删数据的技术问题。归档重删数据的技术问题。

【技术实现步骤摘要】
基于分布式存储的重删数据的云归档方法、装置及系统


[0001]本专利技术涉及云储存领域，具体而言，涉及一种基于分布式存储的重删数据的云归档方法、装置及系统。

技术介绍

[0002]对象存储是一种理想的数据归档解决方案，具有稳定可靠，容量巨大(理论上没有限制)，且成本极低的特点。对象存储使用上非常简单，把数据当作对象，每个对象具有唯一的ID，使用相关的接口将数据上传到对象存储中即可。
[0003]使用对象存储做数据归档本身不复杂，但在本地存储本身是重删存储的情况下，如果直接上传数据，则会丢失掉重删效果，增加空间开销。而重删后的数据本身管理上较为复杂，同一个数据块会被不同的文件共享，需要维护数据之间的关联关系。而对象存储作为一种非结构化存储，且不支持修改数据，只能本地修改后完整重新上传，不适合处理数据之间的关联关系。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种基于分布式存储的重删数据的云归档方法、装置及系统，以至少解决由于对象存储的非结构化存储造成的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式存储的重删数据的云归档方法，其特征在于，包括：解析本地元数据，遍历所述本地元数据的所有引用到的数据分片，并检查所述数据分片中的每一个数据分片在云存储端是否已经存在；在所述云存储端不存在相应的数据分片的情况下，将所述相应的数据分片作为数据对象上传到所述云存储端，并添加对象标签，将所述对象标签中的引用次数设置为1；在所述云存储端存在相应的数据分片的情况下，将该相应的数据分片对应的对象标签中的引用次数加1。2.根据权利要求1所述的方法，其特征在于，遍历所述本地元数据的所有引用到的数据分片之后，所述方法还包括：基于预设的分派规则，将上传所述相应的数据分片的任务分配到相应的节点。3.根据权利要求2所述的方法，其特征在于，基于预设的分派规则，将上传所述相应的数据分片的任务分配到相应的节点包括：计算每个节点距离完成目标所相差的任务数；如果每个节点距离完成目标所相差的任务数不同，选取相差的任务数最大的节点，并将上传所述相应的数据分片的任务分配给所选取的节点；如果每个节点距离完成目标所相差的任务数相同，计算每个节点的剩余可分派任务数；如果每个节点的剩余可分派任务数不同，选择剩余可分派任务最少的节点，否则，选择第一个节点，然后，将上传所述相应的数据分片的任务分配到所选取的节点。4.根据权利要求3所述的方法，其特征在于，在将上传所述相应的数据分片的任务分配到相应的节点之前，所述方法还包括：执行数据分布算法，计算出所有数据分片在各个节点上的分布情况，得到数据分布矩阵；按列遍历所述分布矩阵，计算出各个节点上的数据分片数量。5.根据权利要求4所述的方法，其特征在于，计算每个节点距离完成目标所相差的任务数包括：基于每个节点预期分派的任务数和已经分派的任务数量，计算每个节点距离完成目标所相差的任务数，其中，所述预期分派的任务数由节点总数和各个节点上的数据分片数量确定；和/或计算每个节点的剩余可分派任务数包括：基于每个节点的已经参与过选择的次数和所包含的数据分片数量，计算计算每个节点的剩余可分派任务数。6.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：从云存储端下载元数据对象；解析所述元数据对象中的元数据，遍历所述元数据所有引用到的数据分片；针...

【专利技术属性】
技术研发人员：陈元强，蔡涛，李文祥，
申请(专利权)人：深圳市木浪云科技有限公司，
类型：发明
国别省市：