一种大数据监控方法、装置和存储介质制造方法及图纸

本申请提出一种大数据监控方法、装置和存储介质，所述方法包括：采集一种或者多种类型的监控数据源；监控每个类型的所述监控数据源的状态信息；并将所述监控数据源的格式转换为业务数据的格式；根据运维实际业务场景或用户设定监控所述业务数据的至少一个数据指标；根据所述状态信息和监控的数据指标生成监控处理结果。本发明专利技术通过对监控数据源的格式转换，实现了自适应的适配监控数据源，实现了不同监控数据源在统一的监控平台进行监控。

【技术实现步骤摘要】
一种大数据监控方法、装置和存储介质
本专利技术涉及数据监控领域，具体涉及一种大数据监控方法和、装置和存储介质。
技术介绍
随着大数据技术发展，各类大数据汇入大数据监控系统平台，使得大数据监控系统平台可以为多源异构的海量数据提供存储管理服务，随着软件设施种类和数量的增加，使得监控数据的种类随着提高，从而提高了大数据监控系统平台的运维监控难度。目前的大数据监控系统平台都是各家搭建各家的，百家齐放，也无一个统一标准，有一些数据监控系统搭建的异常复杂，让用户难以接手，有一些系统则非常简单甚至说简陋，无法满足正常运维需求。目前，大数据监控系统平台缺乏对监控数据源的有效管理，主要存在以下不足：1)企业级的监控需要各个企业各自根据不同数据源做定制，浪费开发和管理的资源；即使是一个企业内部，也会根据不同的数据源结构，定制不同的监控模型，这样也会导致监控模块过多，而不方便统一管理，增加运维成本；2)针对没有能力开发大数据监控平台的中小型企业，购买或使用其他企业的大数据监控平台，同样由于所需监控的数据源不同，无法移植其他企业的大数据监控平台本文档来自技高网...

【技术保护点】
1.一种大数据监控方法，其特征在于，包括：/n采集一种或者多种类型的监控数据源；/n监控每个类型的所述监控数据源的状态信息；并将所述监控数据源的格式转换为业务数据的格式；/n根据运维实际业务场景或用户设定监控所述业务数据的至少一个数据指标；/n根据所述状态信息和监控的数据指标生成监控处理结果。/n

【技术特征摘要】
20190521 CN 20191042451801.一种大数据监控方法，其特征在于，包括：
采集一种或者多种类型的监控数据源；
监控每个类型的所述监控数据源的状态信息；并将所述监控数据源的格式转换为业务数据的格式；
根据运维实际业务场景或用户设定监控所述业务数据的至少一个数据指标；
根据所述状态信息和监控的数据指标生成监控处理结果。


2.如权利要求1所述的大数据监控方法，其特征在于：所述将监控数据源的格式转换为业务数据的格式包括：
根据每种所述监控数据源的数据结构确定所述监控数据源的一个或者多个数据字段及每个数据字段的含义，并提取每个所述数据字段的数据；
将提取出的每个所述数据字段的数据按照业务数据的数据结构填充至表示对应含义的数据字段中，所述业务数据的数据结构支持多种类型的监控数据源的数据结构。


3.如权利要求2所述的大数据监控方法，其特征在于：所述将监控数据源的格式转换为业务数据的格式，还包括：
根据每种监控数据源的数据结构确定所述监控数据源是否包含时序数据信息；
对不存在时序数据信息的监控数据源，将接收到所述监控数据源的数据的时间作为时间戳信息填充至业务数据的时序字段中；
对存在时序数据信息的监控数据源，将所述时序数据信息中的时间戳信息填充至业务数据的时序字段中。


4.如权利要求1所述的大数据监控方法，其特征在于：所述状态信息包括以下至少之一：容量占用情况；网络情况；硬件设备监控指标。


5.如权利要求1或4所述的大数据监控方法，其特征在于：所述运维实际业务场景包括以下至少之一：网络状况监控场景、集群状态监控场景、高负载任务监控场景、日常巡检场景和重点监控场景。


6.如权利要求3所述的大数据监控方法，其特征在于：根据所述状态信息和监控的数据指标生成监控处理结果包括：
根据运维实际业务场景或用户设定，从所述业务数据的数据结构的数据字段中提取表示对应含义的数据字段作为数据指标；
根据每种监控数据源的状态信息确定对应的监控数据源的运维情况；
确定每个所述数据指标随时间的变化情况，和/或；
根据所述数据指...

【专利技术属性】
技术研发人员：郑恺，张越，谢丙堃，黄伟乾，徐鹏飞，关红飞，
申请(专利权)人：武汉金山办公软件有限公司，广州金山移动科技有限公司，珠海金山办公软件有限公司，
类型：发明
国别省市：湖北;42