一种监控采集系统及方法技术方案

本发明专利技术公开了一种监控采集系统及方法，该系统包括：任务分发单元、至少两个任务执行单元、健康监控单元和负载均衡单元；所述任务分发单元，用于根据负载均衡单元的负载均衡指标将获取到的任务分配给任务执行单元；所述任务执行单元，用于执行接收到的监控采集任务，并记录任务执行状态和执行结果；所述健康监控单元，用于监控所述任务执行单元的工作状态和负载；所述负载均衡单元，用于根据所述健康监控单元的监控的信息，确定任务执行单元的负载均衡指标。利用本发明专利技术，可以提高系统的处理能力、系统资源利用率和系统稳定性。

【技术实现步骤摘要】
一种监控采集系统及方法
本专利技术涉及计算机应用
，特别是涉及一种监控采集系统及方法。
技术介绍
随着计算机技术的快速发展，数据处理量的急剧增长，服务器集群在计算机应用
得到了广泛应用。所谓服务器集群是指多个服务器集中起来共同完成任务，在客户端看来就像是只有一个服务器；服务器集群可以利用多个计算机进行并行计算，从而获得很高的计算速度，也可以用多个计算机做备份，从而保证任何一个机器出现故障，并不会影响整个系统的正常运行。服务器集群在处理大规模数据时，需要实时监控，需要实时进行数据采集，且采集的任务量大，任务种类众多。目前，采用的分布式任务系统对服务器集群系统进行监控管理，具体是：采用单任务分发单元和多任务执行单元的工作模式，通过单任务分发单元将多个任务分配给不同的任务执行单元进行处理。当任务量超过任务分发单元处理能力的上限时，大量任务将无法顺利按时得到分配执行，甚至，会导致任务丢失的问题。另外，整个系统的任务调度处理是通过任务执行单元对自身负载状况进行监控，将负载状况信息反馈给控制中心，单任务分发单元根据这些负载状况信息再进行任务的合理分配。这种监控管理方式，只能实现每个任务执行单元自身的负载均衡，会造成局部任务执行单元繁忙或者空闲的状态，无法实现整个系统全局性的负载均衡，无法使得系统的资源得到合理利用。另外，当任务执行单元出现故障导致执行出错或者服务异常停止的情况时，会造成当前执行任务丢失或者数据错误的问题，更严重的会导致系统无法正常工作。基于上述技术存在的技术问题，现在迫切需要提供一种新的监控采集系统以提高系统的处理能力、系统资源利用率和系统稳定性。
技术实现思路
为了解决上述技术问题，本专利技术实施例提供了一种监控采集系统及方法，以提高系统的处理能力、系统资源利用率和系统稳定性。本申请实施例公开了如下技术方案：一种监控采集系统，包括：任务分发单元、至少两个任务执行单元、健康监控单元和负载均衡单元；所述任务分发单元，用于根据负载均衡单元的负载均衡指标将获取到的任务分配给任务执行单元；所述任务执行单元，用于执行接收到的监控采集任务，并记录任务执行状态和执行结果；所述健康监控单元，用于监控所述任务执行单元的工作状态和负载；所述负载均衡单元，用于根据所述健康监控单元的监控的信息，确定任务执行单元的负载均衡指标。优选的，所述健康监控单元，包括：获取子模块，用于获取每一个任务执行单元的工作状态信息和负载信息，所述负载信息包括：CPU负载信息、内存使用率、磁盘IO信息和网络IO信息；记录子模块，用于记录所述获取子模块获取的每一个任务执行单元的工作状态信息记和负载信息。优选的，所述健康监控单元，还包括：反馈子模块一，用于将监控到的异常或者高负载的任务执行单元信息直接发送至所述任务分发模块。则所述任务分发单元，还用于根据反馈子模块反馈的信息将出现异常或者高负载的任务执行单元中未处理的任务重新分配给其他任务执行单元，且不再给所述出现异常或者高负载的任务执行单元分配新任务。优选的，所述健康监控单元，还包括：反馈子模块二，用于将监控到的异常或者高负载的功能单元信息反馈给系统维护模块，以便及时进行故障处理。优选的，所述负载均衡单元，包括：去除子模块，用于根据所述健康监控单元得到的工作状态信息，去除出现异常和没有启动的任务执行单元信息；排序子模块，用于根据所述健康监控单元得到的负载信息，对去除之后的所有的任务执行单元进行排序，得到每个任务执行单元的负载均衡指标。优选的，还包括：至少一个任务分发单元，则所述系统为每一个任务分发单元都配置各自的资源管理范围，所述资源管理范围包括：管理的服务器和任务执行单元；所述任意一个分发单元，用于根据负载均衡单元确定的负载均衡指标将获取到的任务分配给自身管理的任务执行单元。优选的，所述健康监控单元，还包括：监控子模块，用于监控每一个任务分发单元的工作状态和负载；则所述负载均衡单元，还包括：调整子模块，用于根据所述监控子模块监控到的信息，将出现异常或者负载过高的任务分发单元所管理的服务器资源和任务执行单元，根据负载情况配置给其他任务分发单元。优选的，所述健康控制单元，用于将获取的每一个任务执行单元的工作状态信息存储在系统功能单元状态表中，将获取的每一个任务执行单元的负载信息存储在系统功能单元负载表；则所述负载均衡单元，用于从系统功能单元状态表和系统功能单元负载表中获取状态信息和负载信息，以确定任务执行单元的负载均衡指标。优选的，所述任务分发单元，还用于根据控制命令类别和参数，启动或者停止所述系统中的其他单元。优选的，还包括：策略配置单元，用于根据所述任务分发单元发送的任务信息，查找对应的策略规则并分析和规格化相应任务，并将结果反馈给所述任务分发单元。优选的，所述策略配置单元，包括：策略接收子单元，用于读取数据库或者配置文件中的策略信息；策略分析子单元，用于根据任务分发单元发送的任务信息，在所述策略信息中查找与任务信息对应的策略；策略控制子模块，用于将所查找到的对应的策略发送至所述任务分发单元，以便执行策略。优选的，所述健康监控单元，还用于监控所述策略控制单元和均衡负载单元的工作状态。本专利技术还提供了一种监控采集方法，包括：从采集监控任务队列中读取任务；将读取到的任务根据负载均衡指标分配给对应的任务执行单元，所述负载均衡指标是通过获取每一个任务执行单元的工作状态和负载，对获取到的信息进行处理得到的，用于标识每一个任务执行单元的处理能力的指标；执行任务并记录所述任务的执行状态和执行结果。优选的，还包括：获取出现异常或者高负载的任务执行单元信息；将出现异常或者高负载的任务执行单元中的未处理的任务重新分配给其他任务执行单元，且不再给所述出现异常或者高负载的任务执行单元分配新任务。优选的，还包括：将出现异常的任务执行单元信息反馈给系统故障处理单元，以便及时处理故障。由上述实施例可以看出，本专利技术提供的一种监控采集系统，包括：任务分发单元、任务执行单元、健康监控单元和负载均衡单元；所述任务分发单元，用于根据负载均衡单元的负载均衡指标将获取到的任务分配给任务执行单元；所述任务执行单元，用于执行接收到的监控采集任务，并记录任务执行状态和执行结果；所述健康监控单元，用于监控所述任务执行单元的工作状态和负载；所述负载均衡单元，用于根据所述健康监控单元的监控的信息，确定任务执行单元的负载均衡指标。该系统通过健康监控单元能够及时监测到故障，并通知任务分发单元做适应性处理。同时通过负载均衡单元能够实现全局的负载均衡处理，减少了任务分配不均匀的情况。可见：本该系统能够提高系统的处理能力、系统资源利用率和系统稳定性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例一揭示的一种监控采集系统的系统结构图；图2为本申请实施例二揭示的另一种监控采集系统的系统结构图；图3为本申请揭示的另一种监控采集系统的系统结构图；图4为本申请揭示的另一种监控采集系统的系统结构图；图5为本申请实施例三揭示的一本文档来自技高网...

【技术保护点】
一种监控采集系统，其特征在于，包括：任务分发单元、至少两个任务执行单元、健康监控单元和负载均衡单元；所述任务分发单元，用于根据负载均衡单元的负载均衡指标将获取到的任务分配给任务执行单元；所述任务执行单元，用于执行接收到的监控采集任务，并记录任务执行状态和执行结果；所述健康监控单元，用于监控所述任务执行单元的工作状态和负载；所述负载均衡单元，用于根据所述健康监控单元的监控的信息，确定任务执行单元的负载均衡指标。

【技术特征摘要】
1.一种监控采集系统，其特征在于，包括：任务分发单元、至少两个任务执行单元、健康监控单元、负载均衡单元和策略配置单元；所述策略配置单元，包括：策略接收子单元，用于读取数据库或者配置文件中的策略信息；策略分析子单元，用于根据任务分发单元发送的任务信息，在所述策略信息中查找与任务信息对应的策略；策略控制子模块，用于将所查找到的对应的策略发送至所述任务分发单元，以便执行策略；所述任务分发单元，用于根据负载均衡单元的负载均衡指标和策略控制子模块发送的策略，将获取到的任务分配给任务执行单元；所述任务执行单元，用于执行接收到的监控采集任务，并记录任务执行状态和执行结果；所述健康监控单元，用于监控所述任务执行单元的工作状态和负载；所述负载均衡单元，用于根据所述健康监控单元的监控的信息，确定任务执行单元的负载均衡指标；所述负载均衡指标用于标识任务执行单元的任务处理能力。2.根据权利要求1所述的系统，其特征在于，所述健康监控单元，包括：获取子模块，用于获取每一个任务执行单元的工作状态信息和负载信息，所述负载信息包括：CPU负载信息、内存使用率、磁盘IO信息和网络IO信息；记录子模块，用于记录所述获取子模块获取的每一个任务执行单元的工作状态信息记和负载信息。3.根据权利要求1所述的系统，其特征在于，所述健康监控单元，还包括：反馈子模块一，用于将监控到的异常或者高负载的任务执行单元信息直接发送至所述任务分发单元；则所述任务分发单元，还用于根据反馈子模块反馈的信息将出现异常或者高负载的任务执行单元中未处理的任务重新分配给其他任务执行单元，且不再给所述出现异常或者高负载的任务执行单元分配新任务。4.根据权利要求1所述的系统，其特征在于，所述健康监控单元，还包括：反馈子模块二，用于将监控到的异常或者高负载的功能单元信息反馈给系统维护模块，以便及时进行故障处理。5.根据权利要求1所述的系统，其特征在于，所述负载均衡单元，包括：去除子模块，用于根据所述健康监控单元得到的工作状态信息，去除出现异常和没有启动的任务执行单元信息；排序子模块，用于根据所述健康监控单元得到的负载信息，对去除之后的所有的任务执行单元进行排序，得到每个任务执行单元的负载均衡指标。6.根据权利要求1至5中任意一项所述的系统，其特征在于，还包括：至少一个任务分发单元，则所述...

【专利技术属性】
技术研发人员：王帅，王蕾，彭毅，
申请(专利权)人：北京搜狐新媒体信息技术有限公司，
类型：发明
国别省市：