一种资源管理系统技术方案

本发明专利技术提供一种资源管理系统

【技术实现步骤摘要】
一种资源管理系统、方法、电子设备及存储介质


[0001]本专利技术涉及大数据
，尤其涉及一种资源管理系统
、
方法
、
电子设备及存储介质
。

技术介绍

[0002]随着大数据技术的不断发展，大数据应用场景不断增多，处理海量数据的需求也越来越强烈
。
在处理海量数据时，大多数企业会采用大数据集群执行海量数据处理任务
。
[0003]大数据集群通常是由多个可用于数据处理的机器构成的，该机器可以是服务器或计算机等
。
构建高效
、
可靠的大数据集群已经成为了许多企业和组织的重要战略之一
。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种资源管理系统
、
方法
、
电子设备以及存储介质，以提高大数据集群中资源使用情况分析准确性，从而提高大数据集群中的资源利用率，构建出高效可靠的大数据集群
。
[0005]根据本专利技术的一方面，提供了一种资源管理系统，所述系统包括：计算资源管理模块
、
存储资源管理模块以及资源控制决策模块；
[0006]所述计算资源管理模块，用于基于大数据集群中各任务的计算资源使用数据，确定各所述任务的计算资源冗余量是否超过预设冗余阈值；将计算资源冗余量超过所述预设冗余阈值的冗余任务信息发送至所述资源控制决策模块；
[0007]所述存储资源管理模块，用于基于各所述任务的存储资源使用数据，构建数据血缘；所述数据血缘用于表征数据之间的依赖关系；基于所述数据血缘中各数据的访问频次，确定冗余数据；将所述冗余数据发送至所述资源控制决策模块；
[0008]所述资源控制决策模块，用于基于所述冗余任务信息以及所述冗余数据，对所述大数据集群中各任务的资源进行调度；所述资源包括计算资源以及存储资源
。
[0009]在一种可能的实施例中，所述计算资源使用数据包括：计算资源使用值；所述计算资源管理模块包括：计算资源采集子模块以及计算资源分析子模块；
[0010]所述计算资源采集子模块，用于通过预设监控接口采集所述大数据集群中各任务的计算资源使用数据；存储各所述任务的计算资源使用数据；
[0011]所述计算资源分析子模块，用于确定各所述任务的计算资源冗余量；各所述任务的计算资源冗余量与预设的所述任务的计算资源分配值正相关，与所述任务的计算资源使用值负相关；确定各所述任务的计算资源冗余量是否超过预设冗余阈值；将计算资源冗余量超过所述预设冗余阈值的冗余任务信息发送至所述资源控制决策模块
。
[0012]在一种可能的实施例中，所述计算资源分析子模块包括：集群资源分析单元
、
队列资源分析单元以及任务资源分析单元；
[0013]所述计算资源采集子模块，用于采集所述大数据集群中的集群资源使用数据以及队列资源使用数据；所述集群资源使用数据中包括集群资源使用值；所述队列资源使用数
据中包括队列资源使用值；
[0014]所述集群资源分析单元，用于在所述大数据集群的集群资源冗余量超过预设集群资源冗余阈值的情况下，将集群冗余信息发送至所述任务资源分析单元；所述集群资源冗余量与预设集群资源预留值正相关，与所述集群资源使用值负相关；
[0015]所述队列资源分析单元，用于在队列资源冗余量超过预设队列资源冗余阈值的情况下，将队列冗余信息发送至所述资源控制决策模块；所述队列资源冗余量与预设队列资源预留值正相关，与所述队列资源使用值负相关；
[0016]所述任务资源分析单元，用于在存在计算资源冗余量超过所述预设冗余阈值的冗余任务和
/
或在接收到所述集群冗余信息的情况下，向所述资源控制决策模块发送任务资源冗余信息；
[0017]所述资源控制决策模块，用于在接收到所述队列冗余信息的情况下，重新分配队列资源；和
/
或，
[0018]在接收到所述任务资源冗余信息的情况下，对所述大数据集群中的计算资源进行重新分配
。
[0019]在一种可能的实施例中，所述集群资源分析单元，用于基于所述集群资源使用数据，生成集群潮汐数据，所述集群潮汐数据用于标识所述集群资源使用值随时间的变化情况；
[0020]所述队列资源分析单元，用于基于所述队列资源使用数据，生成队列潮汐数据，所述队列潮汐数据用于标识所述队列资源使用值随时间的变化情况；
[0021]所述资源控制决策模块，用于在接收到所述队列冗余信息的情况下，按照所述队列潮汐数据重新分配队列资源；和
/
或，
[0022]在接收到所述任务资源冗余信息的情况下，按照所述集群潮汐数据对集群中的计算资源进行重新分配
。
[0023]在一种可能的实施例中，所述存储资源管理模块包括存储资源采集子模块
、
数据仓库构建子模块
、
数据血缘构建子模块以及存储资源分析子模块；
[0024]所述存储资源采集子模块，用于通过预设文件接口采集存储资源使用数据，所述存储资源使用数据包括：各任务的输入数据存储路径以及输出数据存储路径；将所述存储资源使用数据进行存储；
[0025]所述数据仓库构建子模块，用于对所述存储资源使用数据进行格式化处理，得到统一格式的存储资源使用数据；
[0026]所述数据血缘构建子模块，用于基于所述统一格式的存储资源使用数据，构建数据血缘；
[0027]所述存储资源分析子模块，用于基于所述统一格式的存储资源使用数据的访问频次，确定访问频次低于预设频次阈值的冗余数据；将所述冗余数据发送至所述资源控制决策模块；
[0028]所述资源控制决策模块，用于基于所述数据血缘控制生产所述冗余数据的任务停止生产所述冗余数据，和
/
或删除所述冗余数据
。
[0029]在一种可能的实施例中，所述存储资源采集子模块，用于对所述存储资源使用数据进行分表以及分区存储；
[0030]所述存储资源分析子模块，用于将访问频次低于第一预设访问频次的冗余表信息发送至所述资源控制决策模块；和
/
或将访问频次低于第二预设访问频次的冗余分区信息发送至所述资源控制决策模块；
[0031]所述资源控制决策模块，用于按照所述冗余表信息删除对应表，和
/
或按照所述冗余分区信息删除对应分区
。
[0032]在一种可能的实施例中，所述系统还包括：机器资源管理模块；
[0033]所述机器资源管理模块，用于采集所述大数据集群中各机器节点的机器资源使用数据，并展示；所述机器资源使用数据包括
CPU
资源使用数据以及存储空间使用数据；
[0034]所述资源控制决策模块，用于在接收到针对机器节点资源分配请求的情况下，按照所述机器节点资源分配请求对各机器节点的资源进行重新分配；所述机器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种资源管理系统，其特征在于，所述系统包括：计算资源管理模块
、
存储资源管理模块以及资源控制决策模块；所述计算资源管理模块，用于基于大数据集群中各任务的计算资源使用数据，确定各所述任务的计算资源冗余量是否超过预设冗余阈值；将计算资源冗余量超过所述预设冗余阈值的冗余任务信息发送至所述资源控制决策模块；所述存储资源管理模块，用于基于各所述任务的存储资源使用数据，构建数据血缘；所述数据血缘用于表征数据之间的依赖关系；基于所述数据血缘中各数据的访问频次，确定冗余数据；将所述冗余数据发送至所述资源控制决策模块；所述资源控制决策模块，用于基于所述冗余任务信息以及所述冗余数据，对所述大数据集群中各任务的资源进行调度；所述资源包括计算资源以及存储资源
。2.
根据权利要求1所述的系统，其特征在于，所述计算资源使用数据包括：计算资源使用值；所述计算资源管理模块包括：计算资源采集子模块以及计算资源分析子模块；所述计算资源采集子模块，用于通过预设监控接口采集所述大数据集群中各任务的计算资源使用数据；存储各所述任务的计算资源使用数据；所述计算资源分析子模块，用于确定各所述任务的计算资源冗余量；各所述任务的计算资源冗余量与预设的所述任务的计算资源分配值正相关，与所述任务的计算资源使用值负相关；确定各所述任务的计算资源冗余量是否超过预设冗余阈值；将计算资源冗余量超过所述预设冗余阈值的冗余任务信息发送至所述资源控制决策模块
。3.
根据权利要求2所述的系统，其特征在于，所述计算资源分析子模块包括：集群资源分析单元
、
队列资源分析单元以及任务资源分析单元；所述计算资源采集子模块，用于采集所述大数据集群中的集群资源使用数据以及队列资源使用数据；所述集群资源使用数据中包括集群资源使用值；所述队列资源使用数据中包括队列资源使用值；所述集群资源分析单元，用于在所述大数据集群的集群资源冗余量超过预设集群资源冗余阈值的情况下，将集群冗余信息发送至所述任务资源分析单元；所述集群资源冗余量与预设集群资源预留值正相关，与所述集群资源使用值负相关；所述队列资源分析单元，用于在队列资源冗余量超过预设队列资源冗余阈值的情况下，将队列冗余信息发送至所述资源控制决策模块；所述队列资源冗余量与预设队列资源预留值正相关，与所述队列资源使用值负相关；所述任务资源分析单元，用于在存在计算资源冗余量超过所述预设冗余阈值的冗余任务和
/
或在接收到所述集群冗余信息的情况下，向所述资源控制决策模块发送任务资源冗余信息；所述资源控制决策模块，用于在接收到所述队列冗余信息的情况下，重新分配队列资源；和
/
或在接收到所述任务资源冗余信息的情况下，对所述大数据集群中的计算资源进行重新分配
。4.
根据权利要求3所述的系统，其特征在于，所述集群资源分析单元，用于基于所述集群资源使用数据，生成集群潮汐数据，所述集群潮汐数据用于标识所述集群资源使用值随时间的变化情况；所述队列资源分析单元，用于基于所述队列资源使用数据，生成队列潮汐数据，所述队
列潮汐数据用于标识所述队列资源使用值随时间的变化情况；所述资源控制决策模块，用于在接收到所述队列冗余信息的情况下，按照所述队列潮汐数据重新分配队列资源；和
/
或，在接收到所述任务资源冗余信息的情况下，按照所述集群潮汐数据对集群中的计算资源进行重新分配
。5.
根据权利要求1所述的系统，其特征在于，所述存储资源管理模块包括存储资源采集子模块
、
数据仓库构建子模块
、
数据血缘构建子模块以及存储资源分析子模块；所述存储资源采集子模块，用于通过预设文件接口采集存储资源使用数据，所述存储资源使用数据包括：各任务的输入数据存储路径以及输出数据存储路径；将所述存储资源使用数据进行存储；所述数据仓库构建子模块，用于对所述存储资源使用数据进行格式化处理，得到统一格式的存储资源使用数据；所述数据血缘构建子模块，用于基于所述统一格式的存储资源使用数据，构建数据血缘；所述存储资源分析子模块，用于基于所述统一格式的存储资源使用数据的访问频次，确定访问频次低于预设频次阈值的冗余数据；将所述冗余数据发送至所述资源控制决策模块；所述资源控制决策模块，用于基于所述数据血缘控制生产所述冗余数据的任务停止生产所述冗余数据，和
/
或删除所述冗余数据
。6.
根据权利要求5所述的系统，其特征在于，所述存储资源采集子模块，用于对所述存储资源使用数据进行分表以及分区存储；所述存储资源分析子模块，用于将访问频次低于第一预设访问频次的冗余表信息发送至所述资源控制决策模块；和
/
或将访问频次低于第二预设访问频次的冗余分区信息发送至所述资源控制决策模块；所述资源控制决策模块，用于按照所述冗余表信息删除对应表，和
/
或按照所述冗余分区信息删除对应分区
。7.
根据权利要求1所述的系统，其特征在于，所述系统还包括：机器资源管理模块；所述机器资源管理模块，用于采集所述大数据集群中各机器节点的机器资源使用数据，并展示；所述机器资源使用数据包括
CPU
资源使用...

【专利技术属性】
技术研发人员：冯春锋，赵辉，潘丹，
申请(专利权)人：度小满科技，
类型：发明
国别省市：