一种基于超融合存储系统的资源监控方法、装置及终端制造方法及图纸

本发明专利技术公开了一种基于超融合存储系统的资源监控方法、装置及终端，涉及数据处理技术领域，主要目的在于利用超融合存储系统中的节点进行监控数据的整合管理，提高数据监控结果输出的稳定性及效率。本发明专利技术主要的技术方案为：由超融合存储系统中的至少一个第一节点服务器采集原始监控数据；将所述原始监控数据以及对应的归并信息存储至系统监控数据库中，其中，所述系统监控数据库用于存储监控数据及对应的归并信息；基于所述归并信息对所述系统监控数据库中的监控数据进行归并处理，将归并结果存储至对应的监控数据表中。本发明专利技术主要用于监控超融合存储系统的资源。

A resource monitoring method, device and terminal based on hyper fusion storage system

The invention discloses a resource monitoring method, super fusion based on the storage device and the terminal, and relates to the technical field of data processing, the main purpose is to use the super fusion node storage system in the integrated management of monitoring data, improve the stability and efficiency of data monitoring results output. The technical scheme of the invention is mainly for: the super fusion of at least one first node server storage system to collect the original monitoring data; the original monitoring data and the corresponding merge information storage to database system monitoring, including monitoring, the system database for storing monitoring data and the corresponding merge merge information processing; the monitoring data monitoring database in the system of the information merging based on monitoring data storage results merge to the corresponding table. The invention is mainly used to monitor the resources of the hyper fusion storage system.

【技术实现步骤摘要】
一种基于超融合存储系统的资源监控方法、装置及终端
本专利技术涉及数据处理
，尤其涉及一种基于超融合存储系统的资源监控方法、装置及终端。
技术介绍
超融合存储系统是一种面向对象的分布式存储系统。超融合是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括云管理软件，数据重构，多副本，快照技术等元素。而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展，形成统一的资源池，因此，使用分布式系统就可以将分布在各处的资源综合利用，而这种利用对用户而言是透明的，既可以将负载由单个节点转移到多个，从而提高工作效率，又可以避免由于单个节点失效而使整个系统崩溃的危险。然而，分布式系统在为用户和开发者提供各方面的便利的同时，也带来了分布式系统中资源管理困难的问题。首先，采集集群级资源的相关监控指标通常是比较困难的。比如，一个存储集群总的存储量，它是该集群中所有卷的存储量的和。对于大多数现行的系统，都会有一个全局的资源管理服务器，通过不断采集集群中各部分的使用情况来汇总生成集群级资源的监控指标。这样，监控数据的采集系统本身也是一个分布式系统，维持该系统的稳定运行需要分配额外的资源。其次，在超融合系统中，监控数据的存储和管理也是一个比较难解的问题。随着时间的推移和系统的规模不断扩大，监控数据的存储规模会不断的变大，保存所有的数据会使得数据的存储量急剧的增大，占用系统的有效存储空间。并且，随着监控数据的量的不断增大，数据读取的耗时和合并计算得到用户所需时间粒度的数据的时间会不断的扩大。因此，基于以上现行的资源监控系统所存在的问题就需要一种针对超融合存储系统中的分布式资源进行大规模监控数据的存储和处理的方案。
技术实现思路
有鉴于此，本专利技术提供一种基于超融合存储系统的资源监控方法、装置及终端，主要目的在于利用超融合存储系统中的节点进行监控数据的整合管理，提高数据监控结果输出的稳定性及效率。为达到上述目的，本专利技术主要提供如下技术方案：一方面，本专利技术提供了一种基于超融合存储系统的资源监控方法，该方法包括：由超融合存储系统中的至少一个第一节点服务器采集原始监控数据；将所述原始监控数据以及对应的归并信息存储至系统监控数据库中，其中，所述系统监控数据库用于存储监控数据及对应的归并信息；基于所述归并信息对所述系统监控数据库中的监控数据进行归并处理，将归并结果存储至对应的监控数据表中。优选的，基于所述归并信息对所述系统监控数据库中的监控数据进行归并处理包括：根据所述归并信息生成归并请求；基于所述归并请求，利用预置规则获取待归并监控数据；归并计算所述待归并监控数据，得到所述归并结果。优选的，所述利用预置规则获取待归并监控数据包括：获取本次归并处理对应的上一级的监控数据表中的待归并监控数据；所述归并计算所述待归并监控数据，将归并结果存储至对应的监控数据表中包括：根据所述归并信息，在所述系统监控数据库中设置多个连续级别的监控数据表，所述连续级别是以原始监控数据为基础逐级归并所设置的级别；根据所述待归并监控数据的级别将所述归并结果存储至下一级的监控数据表中。优选的，所述预置规则是根据预置的时间间隔确定多个时间粒度，基于所述时间粒度由小到大的排序对同一时间粒度的监控数据进行归并处理，所述归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。优选的，所述预置规则是获取多个节点服务器所对应的监控数据，将所述多个节点服务器中对应于相同时间粒度的监控数据进行归并处理，所述归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。优选的，在将归并结果存储至对应的监控数据表中之后，所述方法还包括：当接收到监控数据查询请求时，确定第二节点服务器，由所述第二节点服务器根据所述监控数据查询请求提取所述系统监控数据库中的数据内容，得到响应所述监控数据查询请求的监控结果。优选的，当接收到监控数据查询请求时，确定第二节点服务器，由所述第二节点服务器根据所述监控数据查询请求提取所述系统监控数据库中的数据内容，得到响应所述监控数据查询请求的监控结果包括：根据所述监控数据查询请求的位置信息确定分布式系统中的所述第二节点服务器；由第二节点服务器根据所述监控数据查询请求获取所述系统监控数据库中对应监控数据表内的监控数据；将所述监控数据按照所述监控数据查询请求中的时间维度和/或资源维度进行数据整合，得到响应所述监控数据查询请求的监控结果。优选的，在将所述原始监控数据以及归并信息存储至系统监控数据库中之后，所述方法还包括：根据预置的时间阈值删除所述系统监控数据库中存储的数据内容。另一方面，本专利技术还提供了一种基于超融合存储系统的资源监控装置，该装置包括：采集单元，用于由超融合存储系统中的至少一个第一节点服务器采集原始监控数据；存储单元，用于将所述采集单元采集的原始监控数据以及对应的归并信息存储至系统监控数据库中，其中，所述系统监控数据库用于存储监控数据及对应的归并信息；计算单元，用于基于所述存储单元存储的归并信息对所述系统监控数据库中的监控数据进行归并处理，将归并结果由所述存储单元存储至对应的监控数据表中。优选的，所述计算单元包括：生成模块，用于根据所述归并信息生成归并请求；获取模块，用于基于所述生成模块生成的归并请求，利用预置规则获取待归并监控数据；计算模块，用于归并计算所述获取模块获取的待归并监控数据，得到所述归并结果。优选的，所述获取模块还用于，获取本次归并处理对应的上一级的监控数据表中的待归并监控数据；所述计算模块还包括：设置子模块，用于根据所述归并信息，在所述系统监控数据库中设置多个连续级别的监控数据表，所述连续级别是以原始监控数据为基础逐级归并所设置的级别；存储子模块，用于根据所述待归并监控数据的级别将所述归并结果存储至下一级的监控数据表中。优选的，所述获取模块中依据的预置规则是根据预置的时间间隔确定多个时间粒度，基于所述时间粒度由小到大的排序对同一时间粒度的监控数据进行归并处理，所述归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。优选的，所述获取模块中依据的预置规则是获取多个节点服务器所对应的监控数据，将所述多个节点服务器中对应于相同时间粒度的监控数据进行归并处理，所述归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。优选的，所述装置还包括：确定单元，用于当接收到监控数据查询请求时，确定第二节点服务器；响应单元，用于由所述确定单元确定的第二节点服务器根据所述监控数据查询请求提取所述系统监控数据库中数据内容，得到响应所述监控数据查询请求的监控结果。优选的，所述确定单元还用于，根据所述监控数据查询请求的位置信息确定分布式系统中的所述第二节点服务器；所述响应单元具体包括：提取模块，用于由第二节点服务器根据所述监控数据查询请求获取所述系统监控数据库中对应监控数据表内的监控数据；响应模块，用于将所述监控数据按照所述监控数据查询请求中的时间维度和/或资源维度进行数据整合，得到响应所述监控数据查询请求的监控结果。优选的，所述装置还包括：删除单元，用于在存储单元将所述原始监控数据以及归并信息存储至系统监控数据库中之后，根据预置的时间阈值删除所述系统监控数据库中存储的数据内容。此外本文档来自技高网...

【技术保护点】
一种基于超融合存储系统的资源监控方法，其特征在于，所述方法包括：由超融合存储系统中的至少一个第一节点服务器采集原始监控数据；将所述原始监控数据以及对应的归并信息存储至系统监控数据库中，其中，所述系统监控数据库用于存储监控数据及对应的归并信息；基于所述归并信息对所述系统监控数据库中的监控数据进行归并处理，将归并结果存储至对应的监控数据表中。

【技术特征摘要】
1.一种基于超融合存储系统的资源监控方法，其特征在于，所述方法包括：由超融合存储系统中的至少一个第一节点服务器采集原始监控数据；将所述原始监控数据以及对应的归并信息存储至系统监控数据库中，其中，所述系统监控数据库用于存储监控数据及对应的归并信息；基于所述归并信息对所述系统监控数据库中的监控数据进行归并处理，将归并结果存储至对应的监控数据表中。2.根据权利要求1所述的方法，其特征在于，基于所述归并信息对所述系统监控数据库中的监控数据进行归并处理包括：根据所述归并信息生成归并请求；基于所述归并请求，利用预置规则获取待归并监控数据；归并计算所述待归并监控数据，得到所述归并结果。3.根据权利要求2所述的方法，其特征在于，所述利用预置规则获取待归并监控数据包括：获取本次归并处理对应的上一级的监控数据表中的待归并监控数据；所述归并计算所述待归并监控数据，将归并结果存储至对应的监控数据表中包括：根据所述归并信息，在所述系统监控数据库中设置多个连续级别的监控数据表，所述连续级别是以原始监控数据为基础逐级归并所设置的级别；根据所述待归并监控数据的级别将所述归并结果存储至下一级的监控数据表中。4.根据权利要求2或3所述的方法，其特征在于，所述预置规则是根据预置的时间间隔确定多个时间粒度，基于所述时间粒度由小到大的排序对同一时间粒度的监控数据进行归并处理，所述归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。5.根据权利要求2或3所述的方法，其特征在于，所述预置规则是获取多个节点服务器所对应的监控数据，将所述多个节点服务器中对应于相同时间粒度的监控数据进行归并处理，所述归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。6.根据权利要求1所述的方法，其特征在于，在将归并结果存储至对应...

【专利技术属性】
技术研发人员：杨帅，
申请(专利权)人：北京联想超融合科技有限公司，
类型：发明
国别省市：北京,11