大数据平台监控方法技术

大数据平台监控方法，涉及计算机技术。本发明专利技术包括下述步骤：1)从大数据平台中采集状态数据，所述状态数据包括组件状态数据；2)对采集的结果依据既定的规则进行计算处理，并存储计算的结果；3)若计算结果满足报警条件，则通过API接口发出报警信息，其特征在于，所述步骤1)中，状态数据还包括系统流量数据，所述系统流量数据包括大数据平台各个流程、组件的系统流量。本发明专利技术的有益效果是，能够全面、实时监控集群、节点以及节点上计算作业的运行情况，及时发现异常并告警，保证调度任务的顺利完成，具有更高的灵敏度和可靠性。

【技术实现步骤摘要】
大数据平台监控方法
本专利技术涉及计算机技术。
技术介绍
对于目前海量并且瞬息万变的大数据来说，存储已经不是最终的目标，如何从数据中获得包括商业价值在内的红利，才是真正的意义所在。通过建立大数据平台，获取更高的数据价值，这才是数据对于企业的意义。虽然大数据平台的最终任务不是存储，但是数据存储是基础。针对业务的特殊性，往往数据存储之前都会对数据进行Extract(传输)-Transform(转换)-Load(加载)，这个过程称作数据ETL过程。由于业务的多样性，数据最终存储之前，往往还包含了其他的数据处理流程，如数据清洗等。自从不断有企业构架了大数据平台，为了提高平台工作的效率和故障发现的及时性，对于健康状态的监控告警已经成为了一个大数据平台的一个亮点。目前很多企业对于大数据平台的监控告警并没有进行实际的开展，往往是基于大数据平台的应用出现了问题，才进行手动的排除。对于进行了大数据平台的监控告警工作的，常用的设计方法是，采集-存储-展示-告警，即首先采集的监控数据(系统本身运行状态，如CPU，内存，磁盘，网络使用情况等；各种应用的运行情况，如数据库，容器，计算作业等)。存储即是将采集结果通过存储方案进行保存。展示即是将这些数据在Web界面进行展示，把监控指标的变化情况可视化。告警即是将告警信息以邮件、短信、微信等形式发送出去。这样的设计只是针对了系统(CPU、内存、磁盘、大数据平台组件等)、功能(计算作业、数据ETL等)组件进行了监控，缺少因为数据流量丢失，或者数据流量的积压等情况导致大数据平台系统流程处理告警的监控。
技术实现思路
本专利技术所要解决的技术问题是，提供一种大数据平台监控方法，对大数据平台提供更加全面的监控。本专利技术解决所述技术问题采用的技术方案是，大数据平台监控方法，包括下述步骤：1)从大数据平台中采集状态数据，所述状态数据包括组件状态数据；2)对采集的结果依据既定的规则进行计算处理，并存储计算的结果；3)若计算结果满足报警条件，则通过API接口发出报警信息。所述步骤1)中，状态数据还包括系统流量数据，所述系统流量数据包括大数据平台各个流程、组件的系统流量。本专利技术的有益效果是，能够全面、实时监控集群、节点以及节点上计算作业的运行情况，及时发现异常并告警，保证调度任务的顺利完成，具有更高的灵敏度和可靠性。附图说明图1是本专利技术的系统架构图。图2是系统流量采集示意图。具体实施方式参见图1～2。本专利技术所称的系统流量，是指将一定时间频率下，通过某个流程、组件、计算中间件等的数据总量，称作单位时间内的系统流量，简称系统流量。如在数据ETL的Extract过程，按照每分钟作为时间频率，通过Extract过程的数据总量为M，得到的系统流量即为每分钟M，可以计为M/m。往往根据数据量的大小，或者业务的特殊性，设置的时间频率也不一致。大数据平台：需要监控的大数据平台，包括了基本的数据流程，到数据最终存储到大数据平台，以及基于存储的数据进行操作，分析，挖掘等。采集：采集组件包括了组件状态采集和系统流量采集。组件状态采集主要获取大数据平台系统本身的状态以及各种应用的运行情况的采集；系统流量采集主要获取大数据平台各个流程、组件的系统流量。存储：将采集的结果，或对采集的结果进行了逻辑计算之后的结果进行存储。APISever：对满足告警规则的信息通过各种API接口发送到对应的应用上，如邮件，短信，微信等。本专利技术的大数据平台监控架构不仅包含了传统的组件监控，还提供了基于系统流量的监控。整个系统的架构如图1。本专利技术的关键即系统流量采集，如图2，传统的大数据平台监控告警基本上都存在组件状态的监控。本专利技术只需要了解到大数据平台的流程，或者获取到可以截取数据的点，即可以进行系统流量的采集。下图依照数据流程，详细展示了可以进行系统流量采集的点。实际应用中，结合预定的业务规则来对采集点进行合理的配置。采集的时间频率可以根据业务的数据量或者业务的规则来进行合理的配置，但是每个采集点的时间频率必须一致。如以分钟作为数据的采集频率，那么所有节点的采集频率必须为分钟。根据业务规则，预先设置流量差异偏移量，对时间频率采集的数据流量进行比较，如果比较的值高于了流量差异偏移量，则将该流量采集信息进行存储，便于告警展示。对采集的数据流量进行比较不仅每个时间频率下对所有节点采集的流量信息做两两比较，还对同一个采集点的流量进行最近两次的数据流量进行判断，提高了判断的准确性。本文档来自技高网...

【技术保护点】
1.大数据平台监控方法，包括下述步骤：1)从大数据平台中采集状态数据，所述状态数据包括组件状态数据；2)对采集的结果依据既定的规则进行计算处理，并存储计算的结果；3)若计算结果满足报警条件，则通过API接口发出报警信息，其特征在于，所述步骤1)中，状态数据还包括系统流量数据，所述系统流量数据包括大数据平台各个流程、组件的系统流量。

【技术特征摘要】
1.大数据平台监控方法，包括下述步骤：1)从大数据平台中采集状态数据，所述状态数据包括组件状态数据；2)对采集的结果依据既定的规则进行计算处理，并存储计算的结果；3)...

【专利技术属性】
技术研发人员：俞鹏飞，
申请(专利权)人：电信科学技术第五研究所有限公司，
类型：发明
国别省市：四川,51