用于分配云存储资源的方法技术

本申请的实施例提供了用于分配云存储资源的方法

【技术实现步骤摘要】
用于分配云存储资源的方法、装置、电子设备和介质


[0001]本申请的实施例涉及计算机
，更具体地，涉及云计算技术
。
本申请的实施例提供了用于分配云存储资源的方法
、
装置
、
电子设备
、
计算机可读存储介质和计算机程序产品
。

技术介绍

[0002]随着云计算技术的发展，应用服务可以被部署和运行在云端的虚拟机或容器中
。
云计算提供商通过提供硬件资源，为虚拟机或容器分配计算资源来支持应用服务
。
计算资源包括处理器资源
、
内存资源
、
网络资源
、
存储资源等
。
[0003]云计算的特点之一是硬件资源共享，硬件资源共享产生的代价是资源的争抢
。
在有限的硬件资源上分配计算资源将导致应用服务的性能下降
。
因此，需要一种改进的方案来优化计算资源的分配和排布，以避免或减少硬件资源争抢
。

技术实现思路

[0004]本申请的实施例提供了一种用于分配云存储资源的技术方案
。
[0005]根据本申请的第一方面，提供了一种用于分配云存储资源的方法
。
方法包括确定待分配的云存储资源的第一属性
。
第一属性是云存储资源的静态属性
。
方法还包括使用经训练的计算模型从第一属性预测待分配的云存储资源的第二属性，第二属性是与云存储资源的使用有关的属性
。
方法还包括基于预测的第二属性将云存储资源分配至分布式存储系统
。
基于这样的方式，可以预测云存储资源的使用行为，从而分布式存储系统的性能可以被均衡且充分地利用
。
[0006]在第一方面的一些实施例中，第一属性可以包括以下至少一项：云存储资源的请求方
、
用户属性
、
容量
、
元数据以及名称
。
基于这样的方式，可以从多个维度全面描述云存储资源的静态属性
。
[0007]在第一方面的一些实施例中，第二属性可以包括以下至少一项：性能指标的峰值幅度
、
峰值持续时间
、
峰值周期
、
峰值相位
。
性能指标包括占用带宽量和
/
或每秒输入输出请求数
。
基于这样的方式，可以从多个维度描述云存储资源的行为，从而使各种硬件资源被充分利用，并且是均衡的
。
[0008]在第一方面的一些实施例中，基于预测的第二属性将云存储资源分配至分布式存储系统可以包括利用预测的第二属性将云存储资源分配至分布式存储系统的存储集群，使得存储集群性能平衡
。
[0009]在第一方面的一些实施例中，方法还可以包括：在云存储资源被分配后，采集云存储资源的实际的第二属性，如果实际的第二属性与预测的第二属性不匹配，则基于实际的第二属性来重新分配云存储资源
。
基于这样的方式，可以在云存储资源的使用特性发生变化时及时调整云存储资源的分配
。
[0010]根据本申请的第二方面，提供了一种数据处理方法
。
方法包括获取分布式存储系
统中的云存储资源的第一属性，第一属性是云存储资源的的静态属性
。
方法还包括获取云存储资源的第二属性，第二属性是与云存储资源的使用有关的属性
。
方法还包括基于第一属性和第二属性，生成训练数据集
。
方法还包括使用训练数据集训练计算模型，以使得经训练的计算模型表示第一属性和所述第二属性之间的关联性
。
[0011]基于这样的方式，通过分析云存储资源来获取表示云存储资源的属性之间的关联性的模型
。
由此，在分配云存储资源时，该模型可以被用于从云存储资源的容易获得的静态属性来预测不易获得的动态属性，进而采用预测结果来优化系统资源分配
。
[0012]在第二方面的一些实施例中，获取云存储资源的第二属性可以包括：从分布式存储系统采集云存储资源的第二属性；对采集的第二属性进行聚类；以及基于聚类确定第二属性
。
基于这样的方式，能够简化云存储资源的第二属性的描述，并且降低计算模型的过拟合，这有利于使用计算模型来学习云存储资源的不同属性之间的关联性
。
[0013]在第二方面的一些实施例中，生成训练数据集可以包括：将第二属性标记为针对第一属性的分类信息
。
基于这样的方式，计算模型可以从第一属性来预测第二属性的分类
。
[0014]在第二方面的一些实施例中，第一属性和第二属性中的至少一个可以被表示为向量
。
基于这样的方式，可以更为简单和方便地构建计算模型的训练数据集
。
[0015]在第二方面的一些实施例中，第一属性可以包括以下至少一项：云存储资源的请求方
、
用户属性
、
容量
、
元数据以及名称
。
基于这样的方式，可以从多个维度全面描述云存储资源的静态属性
。
[0016]在第二方面的一些实施例中，第二属性可以包括以下至少一项：性能指标的峰值幅度
、
峰值持续时间
、
峰值周期
、
峰值相位
。
性能指标可以包括云存储资源的占用带宽量和
/
或每秒输入输出请求数
。
基于这样的方式，可以从多个维度描述云存储资源的行为，从而使各种硬件资源被充分利用，并且是均衡的
。
[0017]在第二方面的一些实施例中，该方法还可以包括：在云存储资源被分配后，采集云存储资源的实际的第二属性；以及如果实际的第二属性与预测的第二属性不匹配，基于实际的第二属性来重新分配云存储资源
。
基于这样的方式，可以在云存储资源的使用特性发生变化时及时调整云存储资源的分配
。
[0018]根据本申请的第三方面，提供了一种用于分配云存储资源的装置，包括：第一属性确定单元，被配置为确定待分配的云存储资源的第一属性，第一属性是云存储资源的静态属性；第二属性预测单元，被配置为使用经训练的计算模型，从第一属性预测待分配的云存储资源的第二属性，第二属性是与云存储资源的使用有关的属性；以及分配单元，被配置为基于预测的第二属性将云存储资源分配至分布式存储系统
。
[0019]根据本申请的第四方面，提供了一种数据处理装置
。
该装置包括：第一获取单元，被配置为获取分布式存储系统中的云存储资源的第一属性，第一属性是云存储资源的静态属性；第二获取单元，被配置为获取云存储资源的第二属性，第二属性是与云存储资源的使用有关的属性；训练集生成单元，被配置为基于第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于分配云存储资源的方法，包括：确定待分配的云存储资源的第一属性，所述第一属性是所述云存储资源的静态属性；使用经训练的计算模型，从所述第一属性预测所述待分配的云存储资源的第二属性，所述第二属性是与所述云存储资源的使用有关的属性；以及基于预测的第二属性将所述云存储资源分配至分布式存储系统
。2.
根据权利要求1所述的方法，其中，所述第一属性包括以下至少一项：所述云存储资源的请求方
、
用户属性
、
容量
、
元数据以及名称
。3.
根据权利要求1或2所述的方法，其中，所述第二属性包括以下至少一项：性能指标的峰值幅度
、
峰值持续时间
、
峰值周期
、
峰值相位
。4.
根据权利要求1至3中任一项所述的方法，其中，所述性能指标包括以下至少一项：占用带宽量和每秒输入输出请求数
。5.
根据权利要求1至4中任一项所述的方法，其中，基于预测的第二属性将所述云存储资源分配至分布式存储系统包括：利用所述预测的第二属性将所述云存储资源分配至所述分布式存储系统的存储集群，使得所述存储集群性能平衡
。6.
根据权利要求1至5中任一项所述的方法，还包括：在所述云存储资源被分配后，采集所述云存储资源的实际的第二属性；以及如果所述实际的第二属性与所述预测的第二属性不匹配，基于所述实际的第二属性来重新分配所述云存储资源
。7.
一种数据处理方法，包括：获取分布式存储系统中的云存储资源的第一属性，所述第一属性是所述云存储资源的静态属性；获取所述云存储资源的第二属性，所述第二属性是与所述云存储资源的使用有关的属性；基于所述第一属性和所述第二属性，生成训练数据集；以及使用所述训练数据集训练计算模型，以使得经训练的计算模型表示所述第一属性和所述第二属性之间的关联性
。8.
根据权利要求1所述的方法，其中，获取所述云存储资源的第二属性包括：从所述分布式存储系统采集所述云存储资源的所述第二属性；对采集的所述第二属性进行聚类；以及基于所述聚类来确定所述第二属性
。9.
根据权利要求7或8所述的方法，其中，生成所述训练数据集包括：将所述第二属性标记为针对所述第一属性的分类信息
。10.
根据权利要求7至9中任一项所述的方法，其中，所述第一属性和所述第二属性中的至少一个被表示为向量
。11.
根据权利要求7至
10
中任一项所述的方法，其中所述第一属性包括以下至少一项：所述云存储资源的请求方
、
用户属性
、
容量
、
元数据以及名称
。12.
根据权利要求7至
11
中任一项所...

【专利技术属性】
技术研发人员：胡兴哲，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：