一种存储系统的负载预警调节方法、系统及介质技术方案

本发明专利技术公开了一种存储系统的负载预警调节方法，初始化数据阈值，根据内存数据的类别设定数据阈值，将数据阈值下发给集群中的节点；采集与监控内存数据，采集集群中节点的内存数据，根据数据阈值检测采集到的内存数据中的异常数据，并将异常数据上报；处理异常数据，设置告警配置项，根据告警配置项将异常数据封装为告警消息；处理告警消息，对告警消息采用告警恢复机制，生成最终消息，并将最终消息上报；处理新请求，当集群中下发新请求时，根据采集到的内存数据对新请求进行处理；本发明专利技术能够对存储系统中节点的负载情况进行检测并预警，形成一套完善的调节机制，提高了节点的数据处理效率。理效率。理效率。

【技术实现步骤摘要】
一种存储系统的负载预警调节方法、系统及介质


[0001]本专利技术涉及存储集群
，特别是涉及一种存储系统的负载预警调节方法、系统及介质。

技术介绍

[0002]现有的存储技术中，对数据的存储采用集群分布式存储的方式，集群中设有若干个节点，其中设有主节点对集群中数据传输和命令执行进行处理，集群在下发命令时，采用随机分配主节点的方式，这种方式无法做到对各个节点的负载情况进行预警并根据预警情况进行均衡调配，当有节点的负载情况超出其负载阈值时，该节点会对将要处理的数据进行延后处理，这样的方式不但造成数据处理效率低下，而且对于负载情况较低的节点产生了资源的浪费。

技术实现思路

[0003]本专利技术主要解决的技术问题是提供一种存储系统的负载预警调节方法、系统及介质，能够解决存储系统中因节点负载情况无法预警造成的数据处理效率低和资源浪费的问题。
[0004]为解决上述技术问题，本专利技术采用的一个技术方案是：一种存储系统的负载预警调节方法，包括：
[0005]初始化数据阈值，根据内存数据的类别设定数据阈值，将数据阈值下发给集群中的节点；
[0006]采集与监控内存数据，采集集群中节点的内存数据，根据数据阈值检测采集到的内存数据中的异常数据，并将异常数据上报；
[0007]处理异常数据，设置告警配置项，根据告警配置项将异常数据封装为告警消息；
[0008]处理告警消息，对告警消息采用告警恢复机制，生成最终消息，并将最终消息上报；
[0009]处理新请求，当集群中下发新请求时，根据采集到的内存数据对新请求进行处理。
[0010]进一步，所述采集与监控内存数据的步骤具体为：
[0011]设定采集时间段，每隔采集时间段对节点的内存数据进行采集，并将采集到的内存数据进行持久化处理，根据采集时间段对内存数据进行分类；
[0012]将采集到的内存数据和与该内存数据的类别对应的数据阈值进行对比，若该内存数据大于该数据阈值，则该内存数据为异常数据，将该异常数据进行持久化处理并上报。
[0013]进一步，所述处理异常数据的步骤具体为：
[0014]根据内存数据的类别对告警配置项进行分类，按照异常数据的类别所对应的告警配置项，将异常数据封装为不同级别的告警消息，将告警消息进行筛选并上报。
[0015]进一步，所述处理告警消息的步骤具体为：
[0016]对上报后的告警消息采用告警恢复机制，告警恢复机制为：设置恢复时间段，每隔
恢复时间段检测告警消息所对应的异常数据，当该异常数据等于或小于与该异常数据的类别对应的数据阈值时，生成与该告警消息对应的最终消息，并删除数据库中与该告警消息对应的异常数据；
[0017]将所述最终消息进行持久化处理，并将最终消息上报。
[0018]进一步，所述告警恢复机制为：
[0019]设置恢复时间段，每隔恢复时间段检测告警消息所对应的异常数据，当该异常数据等于或小于与该异常数据的类别对应的数据阈值时，生成与该告警消息对应的最终消息，并删除数据库中与该告警消息对应的异常数据。
[0020]进一步，所述处理新请求的步骤具体为：
[0021]当集群中下发新请求时，判断新请求是否需要所有节点进行处理，若是，则对该新请求标记，并将该新请求下发至所有节点，若否，则在集群的节点中选取空闲节点，并将该新请求下发至该空闲节点。
[0022]进一步，所述在集群的节点中选取空闲节点的步骤具体为：
[0023]设定空闲阈值，检测采集到的内存数据，选取该内存数据小于空闲阈值的节点作为空闲节点。
[0024]进一步，定义数据阈值、告警配置项、内存数据、异常数据、告警消息、最终消息和新请求为运行数据；所述运行数据通过轻量级数据交互格式进行传输；在所述运行数据进行持久化处理后，运行数据保存至集群的数据库中。
[0025]一种存储系统的负载预警调节系统，包括：
[0026]初始化单元、内存数据处理单元、中央处理单元、告警单元、异步处理单元和均衡调节单元，初始化单元设在客户端上；
[0027]所述初始化单元用于设定均衡机制、与内存数据的类别对应的数据阈值和告警配置项，并将数据阈值和告警配置项发送给中央处理单元；
[0028]所述内存数据处理单元用于采集集群中节点的内存数据和监控采集到的内存数据中的异常数据，并将异常数据上报给中央处理单元；
[0029]所述中央处理单元用于接收数据阈值、告警配置项和异常数据，将异常数据转换为告警消息，并将数据阈值、告警配置项和告警消息发送给告警单元；
[0030]所述告警单元用于将所述数据阈值下发至集群中的节点，对所述告警消息采用告警恢复机制，生成与告警消息对应的最终消息，并将最终消息上报给客户端；
[0031]所述均衡调节单元用于根据采集到的内存数据对新请求进行处理；
[0032]所述异步处理单元用于对运行数据进行筛选。
[0033]作为一种改进的方案，所述异步处理单元上设有消息通道，初始化单元、内存数据处理单元、中央处理单元和告警单元通过消息通道进行运行数据的传输；
[0034]所述运行数据包括：数据阈值、告警配置项、内存数据、异常数据、告警消息和最终消息。
[0035]一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述存储系统的负载预警调节方法的步骤。
[0036]本专利技术的有益效果是：本专利技术能够对存储系统中节点的负载情况进行检测并预警，形成一套完善的调节机制，根据节点的负载情况对其进行请求的分配，提高了节点的数
据处理效率，均衡了系统中各个节点的负载情况，使系统的节点负载资源利用率达到最大。
附图说明
[0037]图1是本专利技术提供的一种存储系统的负载预警调节方法的流程图；
[0038]图2是本专利技术提供的一种存储系统的负载预警调节系统的结构示意图。
具体实施方式
[0039]下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。
[0040]本专利技术实施例包括：
[0041]第一方面，见图1，一种存储系统的负载预警调节方法，包括：
[0042]客户端的初始化单元设定系统的不同内存数据类别的数据阈值和告警配置项，将数据阈值和告警配置项发送给中央处理单元，中央处理单元通过告警单元将该数据阈值进行持久化处理，对数据阈值进行分类并封装成阈值消息，将阈值消息按照类别分别发送给与类别对应的集群中的各个子节点；
[0043]内存数据处理单元在集群中各个子节点中分别创建独立进程，该独立进程包括定时进程和监控进程；定时进程中设定有采集时间段，定时进程每隔采集时间段对其所在节点的内存数据进行采集，并将采集到的内存数据进行持久化处理，其中内存数据包括：MDS、ganesha、Samba、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储系统的负载预警调节方法，其特征在于，包括：初始化数据阈值，根据内存数据的类别设定数据阈值，将数据阈值下发给集群中的节点；采集与监控内存数据，采集集群中节点的内存数据，根据数据阈值检测采集到的内存数据中的异常数据，并将异常数据上报；处理异常数据，设置告警配置项，根据告警配置项将异常数据封装为告警消息；处理告警消息，对告警消息采用告警恢复机制，生成最终消息，并将最终消息上报；处理新请求，当集群中下发新请求时，根据采集到的内存数据对新请求进行处理。2.根据权利要求1中所述的一种存储系统的负载预警调节方法，其特征在于，所述采集与监控内存数据的步骤具体为：设定采集时间段，每隔采集时间段对节点的内存数据进行采集，并将采集到的内存数据进行持久化处理，根据采集时间段对内存数据进行分类；将采集到的内存数据和与该内存数据的类别对应的数据阈值进行对比，若该内存数据大于该数据阈值，则该内存数据为异常数据，将该异常数据进行持久化处理并上报。3.根据权利要求1中所述的一种存储系统的负载预警调节方法，其特征在于，所述处理异常数据的步骤具体为：根据内存数据的类别对告警配置项进行分类，按照异常数据的类别所对应的告警配置项，将异常数据封装为不同级别的告警消息，将告警消息进行筛选并上报。4.根据权利要求3中所述的一种存储系统的负载预警调节方法，其特征在于，所述处理告警消息的步骤具体为：对上报后的告警消息采用告警恢复机制，告警恢复机制为：设置恢复时间段，每隔恢复时间段检测告警消息所对应的异常数据，当该异常数据等于或小于与该异常数据的类别对应的数据阈值时，生成与该告警消息对应的最终消息，并删除数据库中与该告警消息对应的异常数据；将所述最终消息进行持久化处理，并将最终消息上报。5.根据权利要求2中所述的一种存储系统的负载预警调节方法，其特征在于，所述处理新请求的步骤具体为：当集群中下发新请求时，判断新请求是否需要所有节点进行处理，若是，则对该新请求标记，并将该新请求下发至所有节点，若否，则在集群的节点中选取空闲节点，并将该新请求下...

【专利技术属性】
技术研发人员：赵晓青，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：