一种大数据监控方法、装置和存储介质制造方法及图纸

本申请提出一种大数据监控方法、装置和存储介质，所述方法包括：采集一种或者多种类型的监控数据源；监控每个类型的所述监控数据源的状态信息；并将所述监控数据源的格式转换为业务数据的格式；根据运维实际业务场景或用户设定监控所述业务数据的至少一个数据指标；根据所述状态信息和监控的数据指标生成监控处理结果。本发明专利技术通过对监控数据源的格式转换，实现了自适应的适配监控数据源，实现了不同监控数据源在统一的监控平台进行监控。

【技术实现步骤摘要】
一种大数据监控方法、装置和存储介质
本专利技术涉及数据监控领域，具体涉及一种大数据监控方法和、装置和存储介质。
技术介绍
随着大数据技术发展，各类大数据汇入大数据监控系统平台，使得大数据监控系统平台可以为多源异构的海量数据提供存储管理服务，随着软件设施种类和数量的增加，使得监控数据的种类随着提高，从而提高了大数据监控系统平台的运维监控难度。目前的大数据监控系统平台都是各家搭建各家的，百家齐放，也无一个统一标准，有一些数据监控系统搭建的异常复杂，让用户难以接手，有一些系统则非常简单甚至说简陋，无法满足正常运维需求。目前，大数据监控系统平台缺乏对监控数据源的有效管理，主要存在以下不足：1)企业级的监控需要各个企业各自根据不同数据源做定制，浪费开发和管理的资源；即使是一个企业内部，也会根据不同的数据源结构，定制不同的监控模型，这样也会导致监控模块过多，而不方便统一管理，增加运维成本；2)针对没有能力开发大数据监控平台的中小型企业，购买或使用其他企业的大数据监控平台，同样由于所需监控的数据源不同，无法移植其他企业的大数据监控平台，使得购买的大数据监控平台难以使用。
技术实现思路
本申请提供一种大数据监控方法、装置和存储介质，实现多种数据源的监控和运维。采取的技术方案如下：本专利技术提供一种大数据监控方法，包括：采集一种或者多种类型的监控数据源；监控每个类型的所述监控数据源的状态信息；并将所述监控数据源的格式转换为业务数据的格式；根据运维实际业务场景或用户设定监控所述业务数据的至少一个数据指标；根据所述状态信息和监控的数据指标生成监控处理结果。优选地，所述将监控数据源的格式转换为业务数据的格式包括：根据每种所述监控数据源的数据结构确定所述监控数据源的一个或者多个数据字段及每个数据字段的含义，并提取每个所述数据字段的数据；将提取出的每个所述数据字段的数据按照业务数据的数据结构填充至表示对应含义的数据字段中，所述业务数据的数据结构支持多种类型的监控数据源的数据结构。优选地，所述将监控数据源的格式转换为业务数据的格式，还包括：根据每种监控数据源的数据结构确定所述监控数据源是否包含时序数据信息；对不存在时序数据信息的监控数据源，将接收到所述监控数据源的数据的时间作为时间戳信息填充至业务数据的时序字段中；对存在时序数据信息的监控数据源，将所述时序数据信息中的时间戳信息填充至业务数据的时序字段中。优选地，所述状态信息包括以下至少之一：容量占用情况；网络情况；硬件设备监控指标。优选地，所述运维实际业务场景包括以下至少之一：网络状况监控场景、集群状态监控场景、高负载任务监控场景、日常巡检场景和重点监控场景。优选地，根据所述状态信息和监控的数据指标生成监控处理结果包括：根据运维实际业务场景或用户设定，从所述业务数据的数据结构的数据字段中提取表示对应含义的数据字段作为数据指标；根据每种监控数据源的状态信息确定对应的监控数据源的运维情况；确定每个所述数据指标随时间的变化情况，和/或；根据所述数据指标确定对应的监控数据源是否存在故障，如果存在故障确定故障类型。优选地，根据所述数据指标确定对应的监控数据源是否存在故障包括：当监控数据源存在至少一个数据指标或至少一个数据指标的变化量大于或者等于预设危险系数门限值时，将对应的监控数据源确定为高危数据源；所述危险系数门限值为预设的与监控数据指标对应的故障临界值；当监控数据源存在至少一个数据指标或至少一个数据指标的变化量大于或者等于预设损坏系数门限值时，将对应的监控数据源确定为易损数据源；所述损坏系数门限值为预设的与监控数据指标对应的损坏临界值。优选地，所述方法之前还包括：获取通过配置界面预先设置的所述一种或者多种类型的监控数据源的数据结构。优选地，所述方法之前还包括：设置所述一种或者多种类型的监控数据源的接入参数，通过所述接入参数区分和识别不同类型的监控数据源。优选地，所述的大数据监控方法还包括：在展示界面通过网络拓扑图的方式或者表格的方式展示以下信息中的至少一项：每种类型的监控数据源的所述状态信息、每个所述数据指标随时间的变化情况、监控数据源的故障类型。本专利技术还提供一种大数据监控装置，包括：获取模块，设置为采集一种或者多种类型的监控数据源；兼容模块，设置为监控每个类型的所述监控数据源的状态信息，并将所述监控数据源的格式转换为业务数据的格式；监控模块，设置为根据运维实际业务场景或用户设定监控所述业务数据的至少一个数据指标；处理模块，设置为根据所述状态信息和监控的数据指标生成监控处理结果。本专利技术还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述的大数据监控方法。本专利技术还提供一种用于实现大数据监控的装置，包括存储器和处理器，所述存储器保存大数据监控程序，所述处理器用于在所述大数据监控程序被读取时执行上述的大数据监控方法。本申请具有如下有益效果：本专利技术通过对监控数据源的格式转换，实现了自适应的适配监控数据源，实现了不同监控数据源在统一的监控平台进行监控；在一种示例性实施例中，还可以实现自适应的监控数据源的接入，快速进行大数据异常监控，通过对不同监控数据源的管理，改进了平台的使用效率，减少了此过程中用户参与度，同时提高了异常检测的灵活性和智能性，并且降低了企业成本和对资源的依赖；在一种示例性实施例中，还可以适配不同监控数据源的大数据监控，不用额外的二次开发工作，就可直接应用各类数据源的监控系统上，可以进一步提高生产力和刷新企业的运维水平，是大数据智能监控平台的一种提高产能的创新方法。附图说明图1为本专利技术实施例的大数据监控方法的流程图；图2为本专利技术实施例的大数据监控装置的结构示意图。具体实施方式下面将结合附图及实施例对本申请的技术方案进行更详细的说明。需要说明的是，如果不冲突，本申请实施例以及实施例中的各个特征可以相互结合，均在本申请的保护范围之内。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。如图1所示，本专利技术实施例提供一种大数据监控方法，包括：101、采集一种或者多种类型的监控数据源；102、监控每个类型的所述监控数据源的状态信息；并将所述监控数据源的格式转换为业务数据的格式；103、根据运维实际业务场景或用户设定监控所述业务数据的至少一个数据指标；S104、根据所述状态信息和监控的数据指标生成监控处理结果。本专利技术实施例的监控数据源可以包括微信、短信、钉钉等各类软件，以及各类软件或业务的后台服务器、云端服务器等设备。本专利技术实施例中，步骤102中所述将监控数据源的格式转换为业务数据的格式包括：本文档来自技高网...

【技术保护点】
1.一种大数据监控方法，其特征在于，包括：/n采集一种或者多种类型的监控数据源；/n监控每个类型的所述监控数据源的状态信息；并将所述监控数据源的格式转换为业务数据的格式；/n根据运维实际业务场景或用户设定监控所述业务数据的至少一个数据指标；/n根据所述状态信息和监控的数据指标生成监控处理结果。/n

【技术特征摘要】
20190521 CN 20191042451801.一种大数据监控方法，其特征在于，包括：
采集一种或者多种类型的监控数据源；
监控每个类型的所述监控数据源的状态信息；并将所述监控数据源的格式转换为业务数据的格式；
根据运维实际业务场景或用户设定监控所述业务数据的至少一个数据指标；
根据所述状态信息和监控的数据指标生成监控处理结果。


2.如权利要求1所述的大数据监控方法，其特征在于：所述将监控数据源的格式转换为业务数据的格式包括：
根据每种所述监控数据源的数据结构确定所述监控数据源的一个或者多个数据字段及每个数据字段的含义，并提取每个所述数据字段的数据；
将提取出的每个所述数据字段的数据按照业务数据的数据结构填充至表示对应含义的数据字段中，所述业务数据的数据结构支持多种类型的监控数据源的数据结构。


3.如权利要求2所述的大数据监控方法，其特征在于：所述将监控数据源的格式转换为业务数据的格式，还包括：
根据每种监控数据源的数据结构确定所述监控数据源是否包含时序数据信息；
对不存在时序数据信息的监控数据源，将接收到所述监控数据源的数据的时间作为时间戳信息填充至业务数据的时序字段中；
对存在时序数据信息的监控数据源，将所述时序数据信息中的时间戳信息填充至业务数据的时序字段中。


4.如权利要求1所述的大数据监控方法，其特征在于：所述状态信息包括以下至少之一：容量占用情况；网络情况；硬件设备监控指标。


5.如权利要求1或4所述的大数据监控方法，其特征在于：所述运维实际业务场景包括以下至少之一：网络状况监控场景、集群状态监控场景、高负载任务监控场景、日常巡检场景和重点监控场景。


6.如权利要求3所述的大数据监控方法，其特征在于：根据所述状态信息和监控的数据指标生成监控处理结果包括：
根据运维实际业务场景或用户设定，从所述业务数据的数据结构的数据字段中提取表示对应含义的数据字段作为数据指标；
根据每种监控数据源的状态信息确定对应的监控数据源的运维情况；
确定每个所述数据指标随时间的变化情况，和/或；
根据所述数据指...

【专利技术属性】
技术研发人员：郑恺，张越，谢丙堃，黄伟乾，徐鹏飞，关红飞，
申请(专利权)人：武汉金山办公软件有限公司，广州金山移动科技有限公司，珠海金山办公软件有限公司，
类型：发明
国别省市：湖北;42