监控数据处理方法与系统技术方案

本发明专利技术公开了一种监控数据处理方法与系统，涉及计算机技术领域。监控数据处理系统包括：数据采集模块，用于监控内容分发网络，生成监控日志数据；数据存储模块，用于存储所述监控日志数据；数据流状态分析模块，用于统计所述监控日志数据的存储状态信息，获得所述监控日志数据的监控结果，并将所述监控结果发送至所述数据存储模块；数据应用模块，用于监控到所述数据存储模块中的所述监控结果为异常结果时，发出告警信息。本发明专利技术可及时发现异常监控日志数据。控日志数据。控日志数据。

【技术实现步骤摘要】
监控数据处理方法与系统


[0001]本专利技术涉及计算机
，尤其涉及监控数据处理方法与系统。

技术介绍

[0002]相关技术中，CDN服务质量监测系统一般会涉及时序监控指标数据的采集、中转、存储及应用。CDN服务质量监测系统的有效可靠性严重依赖时序指标数据流的数据是否准确完整及时的写入指定服务中。
[0003]但是CDN服务质量监测系统在采集监控数据时，由于其中部分边缘节点的日志格式与约定的日志格式不一致，导致脏数据呈指数级的产生，浪费大量带宽及存储资源。

技术实现思路

[0004]本专利技术的主要目的在于提供一种监控数据处理方法与系统，旨在解决相关技术中CDN日志数据存储状态存在异常导致带宽及存储资源被浪费的技术问题。
[0005]为实现上述目的，本专利技术提供一种监控数据处理系统，包括：
[0006]数据采集模块，用于监控内容分发网络，生成监控日志数据；
[0007]数据存储模块，用于存储所述监控日志数据；
[0008]数据流状态分析模块，用于统计所述监控日志数据的存储状态信息，获得所述监控日志数据的监控结果，并将所述监控结果发送至所述数据存储模块；
[0009]数据应用模块，用于监控到所述数据存储模块中的所述监控结果为异常结果时，发出告警信息。
[0010]在一些实施例中，所述数据流状态分析模块还用于获取所述监控日志数据的各个状态指标的实际参数，将所述实际参数与对应的指标参考参数进行比对，获得所述状态指标的监控结果，并将所述监控结果发送至所述数据存储模块。
[0011]在一些实施例中，所述系统还包括：
[0012]运维管理模块，用于存储各个节点的部署信息；
[0013]所述数据流状态分析模块，还用于根据所述部署信息，从所述监控日志数据中筛选出各个节点的监控指标信息，并根据所述监控指标信息，确定所述节点的运行状态，并将所述运行状态发送至所述数据存储模块；
[0014]所述数据应用模块还用于监控到所述数据存储模块中的所述运行状态为异常状态时，发出告警信息。
[0015]在一些实施例中，所述数据流状态分析模块还用于采集所述数据存储模块的读写访问能力信息，并根据所述读写访问能力信息，确定所述数据存储模块的实时运行状态；
[0016]所述数据应用模块还用于监控到所述数据存储模块中的所述实时运行状态为异常状态时，发出告警信息。
[0017]在一些实施例中，所述数据存储模块对同一所述监控日志数据存储有多个副本；
[0018]所述数据流状态分析模块还用于记录每个所述副本的数据到达率；
[0019]数据应用模块还用于在接收到调度指令时，获取所述数据到达率，并根据所述数据到达率，从多个所述副本中确定出目标副本。
[0020]在一些实施例中，所述系统还包括：
[0021]数据接收模块，用于将所述数据采集模块生成的监控日志数据备份，获得备份监控日志数据，并将所述备份监控日志数据发送到数据队列模块；
[0022]数据队列模块，用于将所述备份监控日志数据存储预设时长；
[0023]数据聚合模块，用于对所述备份监控日志数据中的第一预设数据进行聚合处理，并将聚合处理结果发送至所述数据存储模块。
[0024]在一些实施例中，所述数据采集模块还用于对所述监控日志数据中的第二预设数据进行预聚合处理，并将预聚合结果发送至所述数据存储模块。
[0025]在一些实施例中，所述数据采集模块，数据存储模块，数据流状态分析模块以及数据应用模块中的各个模块之间通过数据回连机制连通。
[0026]在一些实施例中，所述监控日志数据包括：服务器系统指标、内容分发网络业务指标、健康度指标、调度指标、自监控指标以及预聚合指标数据中的至少一项。
[0027]第二方面，本专利技术还提供了一种监控数据处理方法，包括：
[0028]统计所述监控日志数据在所述数据存储模块中的存储状态信息；
[0029]获得所述存储状态信息的监控结果；
[0030]将所述监控结果发送至所述数据存储模块中存储，以使数据应用模块监控到所述监控结果为异常结果是，发出告警信号。
[0031]本专利技术实施例提出的本专利技术实施例提出了一种监控数据处理系统，该系统通过新增的数据流状态分析模块统计监控日志数据在数据存储模块中的存储状态信息，获得监控日志数据的监控结果，从而加强对监控日志数据的自监测能力建设，保障监控日志数据的可靠性，及时发现异常监控日志数据，进而减少带宽及存储资源的浪费，同时为监控日志数据的应用服务提供数据支持。
附图说明
[0032]图1为本专利技术监控数据处理系统的功能模块示意图；
[0033]图2为本专利技术监控数据处理方法的流程示意图。
[0034]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0035]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0036]相关技术中，CDN(Content Delivery Network，内容分发网络)的核心功能是通过部署在各地的边缘服务器及中心平台的调度分发服务，实现用户就近获取网络资源，从而提高用户访问速度，同时提高服务站点的稳定性。其中，CDN上部署有服务质量监测系统，用于时序监控指标数据的采集、中转、存储及应用。时序监控指标一般包含系统类指标，比如CPU、内存、磁盘存储、网卡流量等指标的使用率；设备类指标，比如设备可用性情况；业务类指标，比如域名的流量带宽、回源情况、请求数、状态码请求数等。可以理解的，CDN服务质量监测系统的有效可靠性严重依赖时序指标数据流的数据是否准确、完整以及及时的写入指
定服务中。
[0037]但是，随着CDN服务规模的不断扩展，监控数据的量级会逐步递升，服务质量监测系统的压力会越来越大，尤其是存储监控数据环节的压力会越来越大，而后面的两个关键环节监控可视化和预警机制都依赖监控数据存储的及时性，完整性和可靠性。如在采集监控数据方面，专利技术人在实践过程中发现因部分边缘节点的日志格式与约定的不一致导致监测系统中存在产生大量脏数据的现象。比如协议字段一般只有3种类型：all、http、https，如果字段格式与预期不一致，协议字段是一串随机数字，则会导致产生指数倍的无用的监控数据。如果不及时对这些无用监控数据进行处理，将浪费存储模块的大量带宽及存储资源。
[0038]因此，本专利技术实施例提出了一种监控数据处理系统，该系统通过新增的数据流状态分析模块统计监控日志数据在数据存储模块中的存储状态信息，获得监控日志数据的监控结果，从而加强对监控日志数据的自监测能力建设，保障监控日志数据的可靠性，及时发现异常监控日志数据，进而减少带宽及存储资源的浪费，同时为监控日志数据的应用服务提供数据支持。
[0039]下面结合一些具体实施例进一步阐述本申请的专利技术构思。
[0040]参阅图1，本专利技术提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种监控数据处理系统，包括：数据采集模块，用于监控内容分发网络，生成监控日志数据；数据存储模块，用于存储所述监控日志数据；数据流状态分析模块，用于统计所述监控日志数据的存储状态信息，获得所述监控日志数据的监控结果，并将所述监控结果发送至所述数据存储模块；数据应用模块，用于监控到所述数据存储模块中的所述监控结果为异常结果时，发出告警信息。2.根据权利要求1所述的监控数据处理系统，其特征在于，所述数据流状态分析模块还用于获取所述监控日志数据的各个状态指标的实际参数，将所述实际参数与对应的指标参考参数进行比对，获得所述状态指标的监控结果，并将所述监控结果发送至所述数据存储模块。3.根据权利要求1所述的监控数据处理系统，其特征在于，所述系统还包括：运维管理模块，用于存储各个节点的部署信息；所述数据流状态分析模块，还用于根据所述部署信息，从所述监控日志数据中筛选出各个节点的监控指标信息，并根据所述监控指标信息，确定所述节点的运行状态，并将所述运行状态发送至所述数据存储模块；所述数据应用模块还用于监控到所述数据存储模块中的所述运行状态为异常状态时，发出告警信息。4.根据权利要求1所述的监控数据处理系统，其特征在于，所述数据流状态分析模块还用于采集所述数据存储模块的读写访问能力信息，并根据所述读写访问能力信息，确定所述数据存储模块的实时运行状态；所述数据应用模块还用于监控到所述数据存储模块中的所述实时运行状态为异常状态时，发出告警信息。5.根据权利要求1所述的监控数据处理系统，其特征在于，所述数据存储模块对同一所述监控日志数...

【专利技术属性】
技术研发人员：章颖，刘增增，周言，刘胤，葛巍峰，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：