System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 资源分配方法、装置、存储介质及程序产品制造方法及图纸_技高网

资源分配方法、装置、存储介质及程序产品制造方法及图纸

技术编号:41141635 阅读:3 留言:0更新日期:2024-04-30 18:11
本申请涉及一种资源分配方法、装置、存储介质及程序产品,所述方法包括:获取第一对象的可用预留空间的大小和第二对象的可用预留空间的大小;根据用户负载的特性参数以及垃圾回收算法的类型参数调整所述第一对象的实际预留空间的大小和所述第二对象的实际预留空间的大小。根据本申请实施例的资源分配方法,在系统包括第一对象和第二对象时,在系统运行时也能动态调整第两个对象的预留空间的配置方式,降低写放大对系统性能的影响。且不需对接口进行特别设计,因此无需针对接口重新进行软件栈的对应设计,可以降低数据处理成本和运维成本,优化用户体验。

【技术实现步骤摘要】

本申请涉及数据存储领域,尤其涉及一种资源分配方法、装置、存储介质及程序产品


技术介绍

1、双层日志(log-on-log)结构是目前主流的一种存储系统架构,该种架构的存储系统包括两个基于日志结构的对象,且每个对象均支持垃圾回收(garbage collection,gc)算法,以保证存储系统能够实现顺序写机制。较为常见的对象是软件的系统层和硬件的设备层(包括固态硬盘(solid state disk,ssd))。为了减少写放大(write amplification,wa)对存储系统性能的不良影响,一般会在两个对象中分别设置一定的预留空间(over-provisioning,op)以服务垃圾回收,保证存储系统的性能。越大的预留空间,对写放大越友好,存储系统的性能也越高。

2、一些存储系统的设备层和系统层的预留空间大小在用户购买后就确定了,在存储系统后续运行中不会变化,也对用户不可见。可能存在系统层预留空间有限,导致写压力很大,进而导致存储系统的系统层到设备层的网络连接性能较差的情况。另一些存储系统改进了设备层的硬件设备,通过设备层主动将改进后的接口暴露给系统层,可实现设备层空间几乎没有预留空间,而是全由系统层控制系统层以及设备层的预留空间分配,变相扩大了系统层的预留空间大小。但是也因其将硬件的管理交由软件决策,需要针对硬件设备重新设计软件栈,造成整个软件栈生态以及后期运维的成本都很高。


技术实现思路

1、有鉴于此,提出了一种资源分配方法、装置、存储介质及程序产品,根据本申请实施例的资源分配方法,在系统包括第一对象和第二对象时,在系统运行时也能动态调整第两个对象的预留空间的配置方式,使得存资源分配方式更灵活,降低写放大对系统性能的影响。且不需对接口进行特别设计,因此无需针对接口重新进行软件栈的对应设计,可以降低数据处理成本和运维成本,优化用户体验。

2、第一方面,本申请的实施例提供了一种资源分配方法,所述方法包括:获取第一对象的可用预留空间的大小和第二对象的可用预留空间的大小;根据用户负载的特性参数以及垃圾回收算法的类型参数调整所述第一对象的实际预留空间的大小和所述第二对象的实际预留空间的大小。

3、根据本申请实施例的资源分配方法,通过获取第一对象的可用预留空间的大小和第二对象的可用预留空间的大小,能够确定由第一对象和第二对象的硬件参数和实际使用情况决定的可用预留空间大小;根据用户负载的特性参数以及垃圾回收算法的类型参数调整第一对象的实际预留空间的大小和第二对象的实际预留空间的大小,使得第一对象的实际预留空间大小不受限于第一对象的硬件参数,第二对象的实际预留空间大小也不受限于第一对象的硬件参数,在软件层次上实现了实际预留空间大小的灵活调整;在系统包括第一对象和第二对象时,在系统运行时也能动态调整第两个对象的实际预留空间的配置方式,使得资源分配方式更灵活;通过综合用户负载的特性参数以及垃圾回收算法的类型参数等对系统有影响的多方面因素,实现了资源的合理分配,因此能够降低写放大对系统性能的影响。且分配并不需对接口进行特别设计,因此也无需重新进行软件栈的对应设计,可以降低数据处理成本和运维成本,优化用户体验。

4、根据第一方面,在所述资源分配方法的第一种可能的实现方式中,所述第一对象和所述第二对象设置在存储系统中,所述存储系统运行所述垃圾回收算法,所述第一对象包括所述存储系统的系统层,所述第二对象包括所述存储系统的设备层,所述第一对象的可用预留空间包括所述系统层的热备份空间、初始预留空间以及用户可见空间中未被使用的空间;所述第二对象的可用预留空间包括所述设备层的初始预留空间;其中,所述系统层的热备份空间、初始预留空间以及所述设备层的初始预留空间不变。

5、通过这种方式,使得本申请实施例的资源分配方法可以应用于基于通用的硬件设备的存储系统,由于无需定制硬件设备,因此也无需设计和维护对应的软件栈,可以降低资源分配方法对于硬件设备的依赖,提升资源分配方法普适性;在系统层软件配置与设备层硬件配置特定的前提下,能够使存储系统中不同对象间的网络连接保持较好的性能,提高设备层空间的利用率,降低写放大,延长设备层硬件寿命,降低成本。

6、根据第一方面,在所述资源分配方法的第二种可能的实现方式中,所述第一对象和所述第二对象设置在存储系统中,所述存储系统运行所述垃圾回收算法,所述第一对象包括所述存储系统的系统层,所述第二对象包括所述存储系统的应用层,所述第一对象的可用预留空间包括所述系统层的热备份空间、初始预留空间以及用户可见空间中未被使用的空间;所述第二对象的可用预留空间包括所述应用层的初始预留空间;其中,所述系统层的热备份空间、初始预留空间不变。

7、通过这种方式,使得本申请实施例的资源分配方法可以应用于双层日志结构的任意存储系统,可以进一步提升资源分配方法的普适性,扩展资源分配方法的应用场景。

8、根据第一方面,或以上第一方面的任意一种可能的实现方式,在所述资源分配方法的第三种可能的实现方式中,所述根据用户负载的特性参数以及垃圾回收算法的类型参数调整所述第一对象的实际预留空间的大小和所述第二对象的实际预留空间的大小之前,所述方法还包括:确定预设时间窗口内的用户输入/输出访问对象及频次;根据所述频次的高低对所述访问对象进行排序,构建统计直方图;基于所述统计直方图,确定所述频次与所述访问对象的排序序号的线性关系;根据所述线性关系的斜率确定所述用户负载的特性参数。

9、通过这种方式,可以完成用户负载的特性参数的实时确定。用户负载的特性参数的确定可以在系统运行前或者运行过程中随时进行,不会影响存储系统的正常运作,便于用户确定用户负载情况的同时,也为使用用户负载的特性参数调整第一对象的实际预留空间的大小和第二对象的实际预留空间的大小提供可能。

10、根据第一方面,或以上第一方面的任意一种可能的实现方式,在所述资源分配方法的第四种可能的实现方式中,所述根据用户负载的特性参数以及垃圾回收算法的类型参数调整所述第一对象的实际预留空间的大小和所述第二对象的实际预留空间的大小,包括:从预先设置的所述第一对象的实际预留空间的大小和所述第二对象的实际预留空间的大小的多种配置方式中,选择与所述第一对象的可用预留空间的大小和所述第二对象的可用预留空间的大小的空间总和、所述特性参数以及所述类型参数相匹配的配置方式,作为所述最佳配置方式;根据所述最佳配置方式,调整所述第一对象的实际预留空间的大小和所述第二对象的实际预留空间的大小。

11、通过这种方式,可以在系统运行过程中快速确定最佳配置方式,进而提升从获取第一对象的可用预留空间大小和第二对象的可用预留空间大小到调整第一对象的实际预留空间的大小和第二对象的实际预留空间的大小的效率。

12、根据第一方面的第四种可能的实现方式,在所述资源分配方法的第五种可能的实现方式中,所述方法还包括:根据所述热备份空间、所述初始预留空间、所述用户可见空间、所述第二对象的可用预留空间,确定所本文档来自技高网...

【技术保护点】

1.一种资源分配方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一对象和所述第二对象设置在存储系统中,所述存储系统运行所述垃圾回收算法,

3.根据权利要求1所述的方法,其特征在于,所述第一对象和所述第二对象设置在存储系统中,所述存储系统运行所述垃圾回收算法,

4.根据权利要求1-3中任一项所述的方法,其特征在于,所述根据用户负载的特性参数以及垃圾回收算法的类型参数调整所述第一对象的实际预留空间的大小和所述第二对象的实际预留空间的大小之前,所述方法还包括:

5.根据权利要求1-4中任一项所述的方法,其特征在于,所述根据用户负载的特性参数以及垃圾回收算法的类型参数调整所述第一对象的实际预留空间的大小和所述第二对象的实际预留空间的大小,包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述根据所述用户负载的多种特性参数、所述垃圾回收算法的多种类型参数、所述空间总和以及所述多种划分方式,确定所述第一对象的实际预留空间的大小和所述第二对象的实际预留空间的大小的多种配置方式,包括:

8.根据权利要求5-7中任一项所述的方法,其特征在于,在所述最佳配置方式下,所述第一对象的实际预留空间的大小减小,所述第二对象的实际预留空间的大小增大时,

9.根据权利要求5-8中任一项所述的方法,其特征在于,在所述最佳配置方式下,所述第一对象的实际预留空间的大小增大,所述第二对象的实际预留空间的大小减小时,

10.一种资源分配装置,其特征在于,所述装置包括:

11.一种资源分配装置,其特征在于,包括:

12.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1-9中任意一项所述的方法。

13.一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,其特征在于,当所述计算机可读代码在电子设备中运行时,所述电子设备中的处理器执行权利要求1-9中任意一项所述的方法。

...

【技术特征摘要】

1.一种资源分配方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一对象和所述第二对象设置在存储系统中,所述存储系统运行所述垃圾回收算法,

3.根据权利要求1所述的方法,其特征在于,所述第一对象和所述第二对象设置在存储系统中,所述存储系统运行所述垃圾回收算法,

4.根据权利要求1-3中任一项所述的方法,其特征在于,所述根据用户负载的特性参数以及垃圾回收算法的类型参数调整所述第一对象的实际预留空间的大小和所述第二对象的实际预留空间的大小之前,所述方法还包括:

5.根据权利要求1-4中任一项所述的方法,其特征在于,所述根据用户负载的特性参数以及垃圾回收算法的类型参数调整所述第一对象的实际预留空间的大小和所述第二对象的实际预留空间的大小,包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述根据所述用户负载的多种特性参数、所述垃圾回收算法的多种类型参数、所述空间总和以及所述多种划...

【专利技术属性】
技术研发人员:张嘉伟张霁陈俊伟
申请(专利权)人:成都华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1