实时监控系统技术方案

本申请公开了实时监控系统，包括采集模块、处理模块、存储模块、统计模块以及应用模块。本申请采集模块采用高性能的实时数据采集架构，支持海量数据的接入；处理模块的作用是处理采集系统接入的日志数据，分为实时和离线，离线数据直接入离线库，进行后期分析，实时数据则实时计算结果，并将结果存入数据库；存储模块将处理模块处理的结果存入相应的数据库中；统计模块主要是对存储模块计算基础数据做进一步汇总统计，形成最终可以显示和报警的结果，本模块的处理逻辑较多，因为针对不同的业务需求，要有不同的数据处理；应用模块就是最终的展现和报警。

【技术实现步骤摘要】
实时监控系统
本申请涉及一种监控系统，具体是实时监控系统。
技术介绍
监控系统又称之为闭路电视监控系统，典型的监控系统主要由前端音视频采集设备、音视频传输设备、后端存储、控制及显示设备这五大部分组成，其中后端设备可进一步分为中心控制设备和分控制设备。前、后端设备有多种构成方式，它们之间的联系(也可称作传输系统)可通过同轴电缆、双绞线、光纤、微波、无线等多种方式来实现。传统使用的监控系统存在一定缺陷，无大盘总体流量或错误数据，监控、报警比较单一，且无法给出，日、周、峰值等数据，只能监控接口流量，无法根据服务、机器、部门、人员分别监控，监控的维度不够，非统一的监控平台，每个部门或者服务都是独立，无流量预估报警，不支持复杂的日志统计和计算，并且日志无法长期存储。因此，针对上述问题提出实时监控系统。申请内容实时监控系统，包括采集模块、处理模块、存储模块、统计模块以及应用模块，所述采集模块采用高性能的实时数据采集架构，支持海量数据的接入；所述处理模块的作用是处理采集系统接入的日志数据，分为实时和离线，离线数据直接入离线库，进行后期分析，实时数据则实时计算结果，并将结果存入数据库；所述存储模块将处理模块处理的结果存入相应的数据库中；所述统计模块主要是对存储模块计算基础数据做进一步汇总统计，形成最终可以显示和报警的结果，本模块的处理逻辑较多，因为针对不同的业务需求，要有不同的数据处理；所述应用模块就是最终的展现和报警。进一步地，所述采集模块内部包含有前台服务器、Logback采集服务器、Nginx负载服务器、Flume服务器以及Kafka服务器，所述前台服务器包括多种途径，如APP客户端、小程序、中台对外接口服务，车型、资讯后台服务器以及PCM站的NodeJs服务器等，所述Logback采集服务器用于收集每台服务器上的日志，并将日志发送给Nginx负载服务器，所述Nginx负载服务器接受Logback发送的日志，并转发给Flume服务器，不同的前台服务有不同的Flume服务器接受数据，并将数据通过Flume服务器发送给Kafka服务器，进入到Kafka集群，数据采集工作结束。进一步地，所述采集模块内部还包含停服信息服务器，所述停服信息服务器与Flume服务器并排连接，停服信息服务器可以阻止Flume服务器将信息发送给Kafka服务器。进一步地，所述处理模块包括实时和离线两种处理模式，所述离线处理模式通过Flink对于接入的日志数据进行格式化，然后将数据直接写入Hdfs，等待数据进入Hive库，所述实时处理模式包括三个步骤：(1)Flink实时ETL及指标计算，分钟级别计算各种指标，如流量、错误量、峰值、均值等；(2)Flink实时图谱计算，抽取数据内容，分析接口之间的调用关系，分钟级别分析出整个流量图谱；(3)Flink实时明细数据入库，抽取数据内容，并入库到ES中，用于实时数据查询。进一步地，所述存储模块包括Hdfs，Mysql和ElasticSearch三种存储方式，所述Hdfs用于离线计算，首先存入Hdfs，然后会进入Hive库中，接下来就可以进行离线计算，所述Mysql将上一次实时计算的结果(分钟级数据)存入Mysql中，提供最终的数据统计和报警使用，所述Elasticsearch用于实时查询日志明细。进一步地，所述统计模块包括实时和离线两种统计模式，所述离线统计模式将上一层存储到Hdfs中的数据，经过处理后，入到hive库中，不同的前端业务，有不同的表，对于不同的表进行统计，因为是离线计算，所以一个小时计算一次。计算包括分钟、十分钟、小时，天、周、峰值、耗时、流量、错误量、接口、部门等不同维度的数据，所述实时统计模式是以分钟及统计结果为单位，然后汇总数据到不同的级别，如：天、小时、十分钟等，统计的的维度与离线一致，这样可以保证实时数据与离线数据进行比较，判断系统状态。进一步地，所述应用模块包括监控平台、数据中心、监控中心、日志查询器以及数据管理器，所述监控平台以多种展现形式，将数据展现出来，便于大家查看和分析，所述数据中心主要是用于展现一段时间内不同维度的数据，用户定期的汇总统计，找出系统中长时间存在的一些问题，所述监控中心主要发送报警，记录报警，查看报警，并且提供交互界面，及时反馈报警处理的进度，所述日志查询器可根据人员、接口、时间、手机号等多个维度，查询详细的每一条日志，用于分析错误的原因，所述数据管理器是对人员、部门、接口、报警的阈值等等数据进行管理。进一步地，所述Logback采集服务器上装配有信息加密器，所述信息加密器对收集到的日志进行加密处理，然后将加密处理后的数据传递给Nginx负载服务器，所述Kafka服务器上装配有信息解密器，所述信息解密器对加密后的数据进行解密还原处理。进一步地，所述Logback采集服务器上装配有信息核对器，所述信息核对器从加密后的数据中随机抽取数组数据进行还原处理，然后将还原后的数据与原数据进行比对，检测信息加密器对数据加密是否出现错误。进一步地，所述Logback采集服务器上安装有信息复制器，所述信息复制器对收集到的日志进行复制保存，当信息核对器检测出数据加密出现错误，则将加密后的数据删除，利用复制保存的日志重新进行加密处理，当信息核对器检测出数据加密并未出现错误，则将复制保存的日志数据进行删除。本申请的有益效果是：本申请提供了一种具有监控的维度大、流量预估报警以及长期存储日志功能的实时监控系统。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。图1为本申请系统流程图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关本文档来自技高网...

【技术保护点】
1.实时监控系统，其特征在于：包括采集模块、处理模块、存储模块、统计模块以及应用模块，所述采集模块采用高性能的实时数据采集架构，支持海量数据的接入；所述处理模块的作用是处理采集系统接入的日志数据，分为实时和离线，离线数据直接入离线库，进行后期分析，实时数据则实时计算结果，并将结果存入数据库；所述存储模块将处理模块处理的结果存入相应的数据库中；所述统计模块主要是对存储模块计算基础数据做进一步汇总统计，形成最终可以显示和报警的结果，本模块的处理逻辑较多，因为针对不同的业务需求，要有不同的数据处理；所述应用模块就是最终的展现和报警。/n

【技术特征摘要】
1.实时监控系统，其特征在于：包括采集模块、处理模块、存储模块、统计模块以及应用模块，所述采集模块采用高性能的实时数据采集架构，支持海量数据的接入；所述处理模块的作用是处理采集系统接入的日志数据，分为实时和离线，离线数据直接入离线库，进行后期分析，实时数据则实时计算结果，并将结果存入数据库；所述存储模块将处理模块处理的结果存入相应的数据库中；所述统计模块主要是对存储模块计算基础数据做进一步汇总统计，形成最终可以显示和报警的结果，本模块的处理逻辑较多，因为针对不同的业务需求，要有不同的数据处理；所述应用模块就是最终的展现和报警。


2.根据权利要求1所述的实时监控系统，其特征在于：所述采集模块内部包含有前台服务器、Logback采集服务器、Nginx负载服务器、Flume服务器以及Kafka服务器，所述前台服务器包括多种途径，如APP客户端、小程序、中台对外接口服务，车型、资讯后台服务器以及PCM站的NodeJs服务器等，所述Logback采集服务器用于收集每台服务器上的日志，并将日志发送给Nginx负载服务器，所述Nginx负载服务器接受Logback发送的日志，并转发给Flume服务器，不同的前台服务有不同的Flume服务器接受数据，并将数据通过Flume服务器发送给Kafka服务器，进入到Kafka集群，数据采集工作结束。


3.根据权利要求2所述的实时监控系统，其特征在于：所述采集模块内部还包含停服信息服务器，所述停服信息服务器与Flume服务器并排连接，停服信息服务器可以阻止Flume服务器将信息发送给Kafka服务器。


4.根据权利要求1所述的实时监控系统，其特征在于：所述处理模块包括实时和离线两种处理模式，所述离线处理模式通过Flink对于接入的日志数据进行格式化，然后将数据直接写入Hdfs，等待数据进入Hive库，所述实时处理模式包括三个步骤：(1)Flink实时ETL及指标计算，分钟级别计算各种指标，如流量、错误量、峰值、均值等；(2)Flink实时图谱计算，抽取数据内容，分析接口之间的调用关系，分钟级别分析出整个流量图谱；(3)Flink实时明细数据入库，抽取数据内容，并入库到ES中，用于实时数据查询。


5.根据权利要求1所述的实时监控系统，其特征在于：所述存储模块包括Hdfs，Mysql和ElasticSearch三种存储方式，所述Hdfs用于离线计算，首先存入Hdfs，然后会进入Hive库中，接下来就可以进行...

【专利技术属性】
技术研发人员：熊强，
申请(专利权)人：北京易车互联信息技术有限公司，
类型：发明
国别省市：北京;11