本发明专利技术属于分布式集群系统的资源管理技术领域，具体提供一种资源管理方法、装置、电子设备及存储介质，旨在解决现有的分布式存储集群在数据均衡时无法合理地利用资源，导致资源利用率低，物理存储节点负载过重的问题。为此目的，本发明专利技术通过基于获取到的服务器的历史资源占用数据，预测在距当前时刻预设第二时长内服务器的预测资源占用数据；获取服务器的当前资源占用数据，并将当前资源占用数据和预测资源占用数据中的最大值确定为服务器的最大资源占用数据；基于最大资源占用数据计算服务器在预设第二时长内的可用资源数据；基于预设第二时长和可用资源数据对服务器的资源占用情况进行调整，能够提高资源利用率，均衡各服务器的负载。器的负载。器的负载。
【技术实现步骤摘要】
资源管理方法、装置、电子设备及存储介质
[0001]本专利技术属于分布式集群系统的资源管理
，具体提供一种资源管理方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]随着大数据时代的到来，互联网领域每天会产生大量数据，因此，分布式存储集群技术被广泛地应用。在分布式存储集群中，数据要尽量均匀地分布在分布式存储集群中的物理存储节点上，以达到较好的性能和资源利用，通常采用各种负载均衡的算法来保证将数据均匀地写入到各物理存储节点上。
[0003]然而，在实际应用中，诸如集群扩容、节点宕机、网络故障、磁盘故障等各种原因会导致各物理存储节点的数据分布不均衡，因此，采用自动数据均衡的方法来进行数据迁移，以达到物理存储节点间的空间均衡。
[0004]在数据均衡时，通常采用手动触发或定时触发，并通过限制可使用的最大资源数据的方式来避免对正常存储业务造成影响。然而，这种方式只能基于经验或当前资源占用数据来对可使用的最大资源数据进行限制，如果数据均衡使用的资源过少，则所需的时间会大大延长，导致资源利用率低；如果数据均衡使用的资源过多，则可能会影响正常的业务，导致出现物理存储节点由于负载过高而宕机的现象，并进一步导致用户体验差。
[0005]相应地，本领域需要一种新的资源管理方法来解决上述问题。
技术实现思路
[0006]本专利技术旨在解决上述技术问题，即，解决现有的分布式存储集群在数据均衡时无法合理地利用资源，导致资源利用率低，以及物理存储节点的负载不均衡，导致出现宕机的问题。<br/>[0007]本专利技术提供了一种资源管理方法，应用于分布式存储集群中的各服务器，该资源管理方法包括：获取服务器的历史资源占用数据，其中，历史资源占用数据表征在距当前时刻预设第一时长内服务器的资源占用情况；基于历史资源占用数据，预测在距当前时刻预设第二时长内服务器的预测资源占用数据；获取服务器的当前资源占用数据，并将当前资源占用数据和预测资源占用数据中的最大值确定为服务器的最大资源占用数据；基于最大资源占用数据，计算服务器在预设第二时长内的可用资源数据；基于预设第二时长和可用资源数据，对服务器的资源占用情况进行调整。
[0008]在一些实施例中，获取服务器的历史资源占用数据，包括：获取服务器在预设第一时长内每天各时间段的原始资源占用数据；对原始资源占用数据进行去噪处理，得到历史资源占用数据。
[0009]在一些实施例中，基于历史资源占用数据，预测在距当前时刻预设第二时长内服务器的预测资源占用数据，包括：计算服务器在预设第一时长内的历史资源占用数据的平均值和标准差；将平均值加上预设倍数的标准差作为服务器在预设第二时长内的预测资源
占用数据。
[0010]在一些实施例中，获取服务器的当前资源占用数据，并将当前资源占用数据和预测资源占用数据中的最大值确定为服务器的最大资源占用数据，包括：获取服务器的当前资源占用数据，并将当前资源占用数据与预测资源占用数据进行比较；如果当前资源占用数据大于预测资源占用数据，则将当前资源占用数据作为服务器的最大资源占用数据；如果当前资源占用数据小于或等于预测资源占用数据，则将预测资源占用数据作为服务器的最大资源占用数据。
[0011]在一些实施例中，基于最大资源占用数据，计算服务器在预设第二时长内的可用资源数据，包括：获取服务器的最大资源可用数据，并将最大资源可用数据乘以预设百分比再减去最大资源占用数据作为服务器在预设第二时长内的可用资源数据。
[0012]在一些实施例中，基于预设第二时长和可用资源数据，对服务器的资源占用情况进行调整，包括：在可用资源数据大于或等于预设阈值的情况下，将服务器的数据迁移至分布式存储集群中的其他服务器，以保证各服务器的数据均衡；在可用资源数据小于预设阈值的情况下，不对服务器的资源占用情况进行调整。
[0013]在一些实施例中，资源占用数据包括内存资源占用数据、CPU资源占用数据、磁盘占用数据和/或带宽资源占用数据。
[0014]本专利技术还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行所述计算机程序时实现上述技术方案中任一项所述方法的步骤。
[0015]本专利技术还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述技术方案中任一项所述的方法的步骤。
[0016]本领域人员能够理解的是，在采用上述技术方案的情况下，本专利技术通过获取服务器的历史资源占用数据，其中，历史资源占用数据表征在距当前时刻预设第一时长内服务器的资源占用情况；基于历史资源占用数据，预测在距当前时刻预设第二时长内服务器的预测资源占用数据；获取服务器的当前资源占用数据，并将当前资源占用数据和预测资源占用数据中的最大值确定为服务器的最大资源占用数据；基于最大资源占用数据，计算服务器在预设第二时长内的可用资源数据；基于预设第二时长和可用资源数据，对服务器的资源占用情况进行调整，实现了资源的自动配置和调整，避免了配置资源时的人工干预，提高了资源利用率，减少了资源浪费，均衡了各服务器的负载，避免了服务器负载过高出现宕机的情况，并进一步提升了用户体验。
附图说明
[0017]图1是根据本专利技术的一种资源管理方法的流程示意图；
[0018]图2是根据本专利技术的另一种资源管理方法的流程示意图；
[0019]图3是根据本专利技术的一种资源管理装置的结构示意图；
[0020]图4是根据本专利技术的电子设备的结构示意图。
具体实施方式
[0021]下面参照附图来描述本专利技术的一些实施方式。本领域技术人员应当理解的是，这
些实施方式仅仅用于解释本专利技术的技术原理，并非旨在限制本专利技术的保护范围。
[0022]在本申请的描述中，“第一”、“第二”等序数词仅用于描述类型相同的不同技术特征，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，本申请的各个实施例之间的技术方案或技术手段可以相互结合，只要本领域普通技术人员能够实现即可，当技术方案的结合出现相互矛盾或无法实现的情形时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。
[0023]在本专利技术的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种资源管理方法，应用于分布式存储集群中的各服务器，其特征在于，包括：获取所述服务器的历史资源占用数据，其中，所述历史资源占用数据表征在距当前时刻预设第一时长内所述服务器的资源占用情况；基于所述历史资源占用数据，预测在距所述当前时刻预设第二时长内所述服务器的预测资源占用数据；获取所述服务器的当前资源占用数据，并将所述当前资源占用数据和所述预测资源占用数据中的最大值确定为所述服务器的最大资源占用数据；基于所述最大资源占用数据，计算所述服务器在所述预设第二时长内的可用资源数据；基于所述预设第二时长和所述可用资源数据，对所述服务器的资源占用情况进行调整。2.根据权利要求1所述的方法，其特征在于，所述获取所述服务器的历史资源占用数据，包括：获取所述服务器在所述预设第一时长内每天各时间段的原始资源占用数据；对所述原始资源占用数据进行去噪处理，得到所述历史资源占用数据。3.根据权利要求1所述的方法，其特征在于，所述基于所述历史资源占用数据，预测在距所述当前时刻预设第二时长内所述服务器的预测资源占用数据，包括：计算所述服务器在所述预设第一时长内的所述历史资源占用数据的平均值和标准差；将所述平均值加上预设倍数的所述标准差作为所述服务器在所述预设第二时长内的所述预测资源占用数据。4.根据权利要求1所述的方法，其特征在于，所述获取所述服务器的当前资源占用数据，并将所述当前资源占用数据和所述预测资源占用数据中的最大值确定为所述服务器的最大资源占用数据，包括：获取所述服务器的当前资源占用数据，并将所述当前资源占用数据与所述预测资源占用数据进行比较；如果所述当前资源占用数据大于所述预测资源占用数据，则将所述当前资源占用数据作为所述服务器的最大资源占用数据；如果所述当前资源占用数据小于或等于所述预测资源占用数据，则将所述预测资源占用数据作为所述服务器的最大资源占用数据。5.根据权利要求1所述的方法，其特征在于，所述基于所述最大资源占用数据，计算所述服务器在所述预设第二时...
【专利技术属性】
技术研发人员：门雷，杜凯，
申请(专利权)人：恒睿重庆人工智能技术研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。