基于流数据处理的大数据平台监控系统技术方案

本发明专利技术公开了一种基于流数据处理的大数据平台监控系统，所述系统包括：数据收集层，用于进行大数据平台各服务日志数据的抓取上报、服务及主机指标数据的抓取上报、服务及主机可用性数据抓取和配置信息收集；接入计算层，用于对所述数据收集层收集的日志和指标数据进行计算、汇聚和持久化；存储检索层，用于对接入计算层进行计算、汇聚和持久化后的数据进行存储和检索查询；数据展示层，用于进行日志类型的数据展示、历史类型的数据展示和实时类型的数据展示。

【技术实现步骤摘要】
基于流数据处理的大数据平台监控系统
本专利技术涉及计算机领域，尤其涉及一种基于流数据处理的大数据平台监控系统。
技术介绍
目前，公知的大数据平台监控系统的实现方式基本上都通过调用大数据平台各个服务组件所提供的的JMX和HTTP监控接口所实现。传统的基于JMX和HTTP监控接口所实现的监控系统具有如下的缺陷：1.系统的可靠性和实时性差，对底层服务有影响。系统的每一次监控都通过大数据平台提供的监控接口来获取可能会受到网络等因素而导致查询响应慢，同时当系统访问量很大时会导致底层大数据平台的各个服务组件的压力增大。2.系统不支持对于大数据平台的历史监控数据进行查询。由于系统的每一次监控都直接调用平台提供的接口，所以不会记录平台的历史监测数据。3.系统不支持告警，或者告警发现不及时。目前的监控系统的告警实现是在其获取平台服务各项数据时计算告警，当不获取数据时则无法触发告警。4.系统更多的关注大数据平台各个服务指标数据的监控，而不关注对平台服务日志和平台服务所在主机的监控。5.系统的开放性不好。系统的所有数据都只可以供自身使用，而不能供其他第三方系统使用。
技术实现思路
本专利技术实施例提供一种基于流数据处理的大数据平台监控系统，用以解决现有技术中的上述问题。本专利技术实施例提供一种基于流数据处理的大数据平台监控系统，包括：数据收集层，用于进行大数据平台各服务日志数据的抓取上报、服务及主机指标数据的抓取上报、服务及主机可用性数据抓取和配置信息收集；接入计算层，用于对所述数据收集层收集的日志和指标数据进行计算、汇聚和持久化；存储检索层，用于对接入计算层进行计算、汇聚和持久化后的数据进行存储和检索查询；数据展示层，用于进行日志类型的数据展示、历史类型的数据展示和实时类型的数据展示。优选地，所述数据收集层具体用于：将大数据平台各服务的日志数据由各服务按照设计的标准格式进行收集，然后汇总上报到Kafka中的日志Topic中；服务及主机的指标数据通过命令获取、日志数据提取、或者调用服务接口三种方式之一获取后上报到Kafka中对应的原始数据Topic中；服务及主机可用性数据通过脚本抓取后直接入MySQL的主机表和服务组件表；配置信息通过人工收集后直接入MySQL的配置表中，并在系统页面上提供对配置信息的增删改查。优选地，所述接入计算层具体用于：对于Kafka中日志Topic的数据直接由Flume消费出数据后持久化到ElasticSearch中对应的日志Index；对于Kafka中的原始指标Topic的数据，由Storm消费出数据后进行数据解析与格式标准化之后返回到实时指标的Topic；对于Kafka中的实时指标Topic中的指标数据，由Storm的告警计算任务消费后与MySQL中的配置信息结合计算出告警信息并持久化到MySQL的指标表中，同时给责任人发送告警邮件或短信；对于Kafka中的实时指标Topic中的主机数据，由Storm的主机指标计算任务消费后经过计算更新到MySQL的的主机表中；对于Kafka中的实时指标Topic中的服务数据，由Storm的服务指标计算任务消费后经过计算存储到MySQL的指标表中；同时对于Kafka中的实时指标Topic中的数据按照分钟级、小时级、天级依次进行汇聚后返回到Kafka中对应的分钟级Topic、小时级Topic、天级Topic中，最后将各个Topic的中的数据由Flume消费出后存储到ES中对应的Index中，供上层数据展示检索查询使用。优选地，所述数据展示层具体用于：对于日志类型的数据展示，直接根据日志类型和时间区间从ES中检索查询，并且支持根据日志中的字段类型和字段值进行筛选查询；对于历史类型的数据展示，根据时间区间来查询不同粒度的历史数据；对于实时类型的数据展示，从主机维度、服务维度和业务维度进行展示并支持筛选查询，实时类型的指标和告警数据展示从MySQL中查询.优选地，数据大平台的服务具体包括：HDFS以及Hbase。优选地，服务及主机可用性数据具体包括：良好、离线、故障、以及维护状态的数据。采用本专利技术实施例，运用流式数据处理技术，将大数据平台各个服务的指标数据、日志数据、主机数据、告警数据进行流式处理并持久化存储，可以实时对服务和主机的各项数据进行监控和告警，以及支持对历史数据的快速查询，同时系统的数据可以供第三方系统使用，进而实现更多的面向大数据平台的功能丰富的系统。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明为了克服现有的大数据平台在系统实时性、历史数据监控、告警监控以及日志和主机监控各方面的不足，本专利技术实施例提供了一种基于流式数据处理的大数据平台运行监控系统，该系统运用流式数据处理技术，将大数据平台各个服务的指标数据、日志数据、主机数据、告警数据进行流式处理并持久化存储，可以实时对服务和主机的各项数据进行监控和告警，以及支持对历史数据的快速查询，同时系统的数据可以供第三方系统使用，进而实现更多的面向大数据平台的功能丰富的系统。通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是本专利技术实施例中基于流数据处理的大数据平台监控系统的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术实施例提供了一种大数据平台的运行监控系统，对大数据集群进行实时的多维度的监控。本专利技术解决其技术问题所采用的技术方案是：1.将大数据平台底层数据(包括服务指标数据、日志数据、主机数据等)获取后加载到消息队列Kafka中对应的Topic中，其中数据的获取方式包括通过命令获取、通过日志数据提取、通过调用服务接口获取等方式。2.对于指标类数据通过流式处理框架Storm对数据进行处理(包括原始数据解析、告警计算)后，将用于实时展示的数据(包括告警数据)存入到MySQL中，将用于历史展示的数据按实时、分钟、小时、天等不同维度进行汇聚后返回到Kafka中后通过Flume存入到ElasticSearch(以下简称ES)中；对于日志类数据直接通过Flume从Kafka存入到ES中；对于第三个系统，若需要数据则可以直接从Kafka中消费使用。3.在页面展示中，日志数据和历史类型数据查询展示从ES中查询，实时类型的指标和告警数据展示从MySQL中查询。如系统架构图1所示，本专利技术实施例的系统架构分为：数据收集层、接入计算层、存储检索层和数据展示层。1.在数据收集层中，具体包括大数据平台各服务日志数据的抓取上报、服务及主机指标数据的抓取上报、服务及主机可用性数据抓取和配置信息收集。大数据平台各服务的日志数据由各服务(如HDFS，HBase等)按照设计的标准格式进行收集，然后本文档来自技高网...

【技术保护点】
1.一种基于流数据处理的大数据平台监控系统，其特征在于，包括：数据收集层，用于进行大数据平台各服务日志数据的抓取上报、服务及主机指标数据的抓取上报、服务及主机可用性数据抓取和配置信息收集；接入计算层，用于对所述数据收集层收集的日志和指标数据进行计算、汇聚和持久化；存储检索层，用于对接入计算层进行计算、汇聚和持久化后的数据进行存储和检索查询；数据展示层，用于进行日志类型的数据展示、历史类型的数据展示和实时类型的数据展示。

【技术特征摘要】
1.一种基于流数据处理的大数据平台监控系统，其特征在于，包括：数据收集层，用于进行大数据平台各服务日志数据的抓取上报、服务及主机指标数据的抓取上报、服务及主机可用性数据抓取和配置信息收集；接入计算层，用于对所述数据收集层收集的日志和指标数据进行计算、汇聚和持久化；存储检索层，用于对接入计算层进行计算、汇聚和持久化后的数据进行存储和检索查询；数据展示层，用于进行日志类型的数据展示、历史类型的数据展示和实时类型的数据展示。2.如权利要求1所述的系统，其特征在于，所述数据收集层具体用于：将大数据平台各服务的日志数据由各服务按照设计的标准格式进行收集，然后汇总上报到Kafka中的日志Topic中；服务及主机的指标数据通过命令获取、日志数据提取、或者调用服务接口三种方式之一获取后上报到Kafka中对应的原始数据Topic中；服务及主机可用性数据通过脚本抓取后直接入MySQL的主机表和服务组件表；配置信息通过人工收集后直接入MySQL的配置表中，并在系统页面上提供对配置信息的增删改查。3.如权利要求2所述的系统，其特征在于，所述接入计算层具体用于：对于Kafka中日志Topic的数据直接由Flume消费出数据后持久化到ElasticSearch中对应的日志Index；对于Kafka中的原始指标Topic的数据，由Storm消费出数据后进行数据解析与格式标准化之后返回到实时指标的Topic；对于Kafka中的实时指标Topic中的...

【专利技术属性】
技术研发人员：刘欣然，张鸿，马秉楠，吕雁飞，刘建环，惠榛，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：北京,11