System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于多版本数据的快照容量计算方法及装置制造方法及图纸_技高网

一种基于多版本数据的快照容量计算方法及装置制造方法及图纸

技术编号:40971388 阅读:6 留言:0更新日期:2024-04-18 21:20
本发明专利技术属存储数据管理领域,提供一种基于多版本数据的快照容量计算方法及装置,包括:通过首次全量快照和后续增量快照写入多个数据块,形成每个快照均有版本号区间对应的快照链;累计快照的版本号区间中的所有版本号并剔除回滚产生的冗余版本号,获得快照链总容量;当新增快照时,由新增快照的版本号区间中剔除回滚关联快照的冗余版本号,获得新增单快照容量;当删除快照时,保留被删除快照的回滚关联快照中的被引用版本号,并由引用主体对应继承,根据继承到的被引用版本号对引用主体进行版本号增量并剔除被删除快照的版本号,获得删减单快照容量;对快照链总容量进行更新。本发明专利技术可以避免出现重复计算的情况,高效正确的计算快照链的容量。

【技术实现步骤摘要】

本专利技术属于存储数据管理,尤其涉及一种基于多版本数据的快照容量计算方法及装置


技术介绍

1、随着云计算的兴起,快照技术得到了广泛的应用。云服务提供商使用快照来提供数据备份、灾难恢复和数据复制等服务。用户可以轻松创建、管理和使用快照,无需投入大量的本地存储资源。

2、在云计算环境中,快照容量统计是一项关键的任务,可以帮助用户管理其云存储资源,确保足够的空间用于存储快照和备份数据。现有的快照容量计算仍然存在一些潜在的缺陷和挑战:快照链复杂性:当存在多个依赖于先前快照的快照时,计算容量和管理快照链可能变得复杂,数据完整性和一致性难以保证;容量估算不准确:现有技术(比如ceph,gfs)通常基于记录快照之间数据差异计算快照容量,但是增量快照和快照回滚操作使得快照链中存在大量被引用的数据块,会出现重复计算的情况;性能开销:目前主要用bitmap的方式记录快照之间数据差异,如果数据块粒度太大会导致计算值与实际容量差异较大;数据块粒度太小则会消耗较多的存储资源和内存空间。


技术实现思路

1、鉴于以上现有技术的不足,专利技术的目的在于提供一种基于多版本数据的快照容量计算方法及装置。

2、本专利技术第一方面提供一种基于多版本数据的快照容量计算方法,包括:

3、s1:通过首次全量快照和后续增量快照写入多个数据块,以建立快照链,其中所述快照链上包括多个有版本号区间对应的快照;

4、s2:累计每个快照的版本号区间中的所有版本号总量并剔除回滚产生的冗余版本号,结合单个快照对应的数据块大小,计算获得快照链总容量;

5、s3:当快照链新增快照时,由新增的快照的版本号区间中剔除回滚关联的所有快照的冗余版本号,计算获得新增单快照容量;

6、s4:当快照链删除快照时,保留被删除快照的回滚关联快照中的被引用版本号,并由引用主体将所述被引用版本号对应继承,根据对应继承到的被引用版本号对引用主体进行版本号增量并剔除所述被删除快照的版本号,计算获得删减单快照容量;

7、s5:根据所述新增单快照容量及所述删减单快照容量对所述快照链总容量进行更新,以完成快照容量计算。

8、进一步的,步骤s1通过row写时重定向实现。

9、进一步的,步骤s1进一步包括:

10、s11:将写入存储系统的首个数据块与当前存储系统的版本号进行关联;

11、s12:根据所述首个数据块后的数据块写入顺序,对存储系统的版本号依次进行增量更新;

12、s13:根据增量更新后的版本号对每个所述首个数据块后的数据块,建立对应的版本号,获得多个快照;

13、s14:对于单个快照,将单个快照的版本号及快照数据合并至下一快照,并删除完成合并的快照中的冗余数据块,获得所述快照链。

14、进一步的,步骤s1中还包括:

15、s151:当所述快照链中的快照回滚时,遍历所述首个数据块对应的初始版本号至回滚的快照对应的最大版本号间所有非冗余数据块:

16、s152:为每个非冗余数据块建立新版本号索引;

17、s153:完成快照回滚后,将存储系统的当前版本号基于新版本号索引再次增量更新。

18、进一步的,步骤s152中建立的新版本号索引大于当前存储系统的版本号。

19、进一步的,步骤s2中的所述快照链总容量的表达式为:

20、δ=(∑sz-∑sh)s;

21、其中,δ为计算获得的快照链总容量,sz为快照链上所有快照的版本号区间中的所有版本号总量,sh为回滚产生的冗余版本号总量,p为单个数据块大小。

22、进一步的,步骤s4中的所述引用主体为回滚至所述被删除快照的上行快照。

23、本专利技术第二方面提供一种基于多版本数据的快照容量计算装置,包括:

24、快照链建立模块:用于通过首次全量快照和后续增量快照写入多个数据块,以建立快照链,其中所述快照链上包括多个有版本号区间对应的快照;

25、总量计算模块:用于累计每个快照的版本号区间中的所有版本号总量并剔除回滚产生的冗余版本号,结合单个快照对应的数据块大小,计算获得快照链总容量;

26、增量计算模块:用于当快照链新增快照时,由新增的快照的版本号区间中剔除回滚关联的所有快照的冗余版本号,计算获得新增单快照容量;

27、减量计算模块:用于当快照链删除快照时,保留被删除快照的回滚关联快照中的被引用版本号,并由引用主体将所述被引用版本号对应继承,根据对应继承到的被引用版本号对引用主体进行版本号增量并剔除所述被删除快照的版本号,计算获得删减单快照容量;

28、总量更新模块:用于根据所述新增单快照容量及所述删减单快照容量对所述快照链总容量进行更新,以完成快照容量计算。

29、本专利技术第三方面提供一种基于多版本数据的快照容量计算设备,包括:

30、存储器和至少一个处理器,所述存储器中存储有指令;

31、至少一个所述处理器调用所述存储器中的所述指令,以使得文档数据库审计设备执行如以上任一项所述的一种基于多版本数据的快照容量计算方法。

32、本专利技术第四方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现如以上任一项所述的一种基于多版本数据的快照容量计算方法。

33、本专利技术有益效果如下:

34、本专利技术提供的一种基于多版本数据的快照容量计算方法及装置,目的在于实现一种能够计算性能较高且能保证快照容量精确性的算法,算法在基于row技术和多版本数据管理技术下,采用较细粒度的版本号管理不同快照之间的数据差异,解决快照容量不精确和浪费内存空间的问题,算法能够在增量快照以及回滚使得存在被引用数据块的情况下,避免出现重复计算数据块的情况,保证了容量统计的准确性,并使用差量方法计算创建和删除快照后,快照链中快照容量的变化情况,提高统计快照链的容量的性能。

本文档来自技高网...

【技术保护点】

1.一种基于多版本数据的快照容量计算方法,其特征在于,包括:

2.根据权利要求1所述的一种基于多版本数据的快照容量计算方法,其特征在于,步骤S1通过RoW写时重定向实现。

3.根据权利要求1所述的一种基于多版本数据的快照容量计算方法,其特征在于,步骤S1进一步包括:

4.根据权利要求3所述的一种基于多版本数据的快照容量计算方法,其特征在于,步骤S1中还包括:

5.根据权利要求4所述的一种基于多版本数据的快照容量计算方法,其特征在于,步骤S152中建立的新版本号索引大于当前存储系统的版本号。

6.根据权利要求1所述的一种基于多版本数据的快照容量计算方法,其特征在于,步骤S2中的所述快照链总容量的表达式为:

7.根据权利要求1所述的一种基于多版本数据的快照容量计算方法,其特征在于,其特征在于,步骤S4中的所述引用主体为回滚至所述被删除快照的上行快照。

8.一种基于多版本数据的快照容量计算装置,其特征在于,包括:

9.一种基于多版本数据的快照容量计算设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现如权利要求1至7任一项所述的一种基于多版本数据的快照容量计算方法。

...

【技术特征摘要】

1.一种基于多版本数据的快照容量计算方法,其特征在于,包括:

2.根据权利要求1所述的一种基于多版本数据的快照容量计算方法,其特征在于,步骤s1通过row写时重定向实现。

3.根据权利要求1所述的一种基于多版本数据的快照容量计算方法,其特征在于,步骤s1进一步包括:

4.根据权利要求3所述的一种基于多版本数据的快照容量计算方法,其特征在于,步骤s1中还包括:

5.根据权利要求4所述的一种基于多版本数据的快照容量计算方法,其特征在于,步骤s152中建立的新版本号索引大于当前存储系统的版本号。

6.根据权利要求1所述的...

【专利技术属性】
技术研发人员:臧炼琪吴学含程霄姬海波何智勇
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1