企业服务及应用智能监控系统技术方案

本发明专利技术公开了数据监控技术领域的企业服务及应用智能监控系统，包括系统服务监控和运营数据监控，系统服务监控由八个模块组成：服务性能数据采集模块、业务数据采集模块、其他的数据采集模块、报警系统、Prometheus监控系统、配置管理模块、告警规则更新模块、Grafana模块；本发明专利技术解决企业分布式系统中，因多应用多服务的系统出现问题，而无法及时定位问题，同时解决业务运营数据得不到实时监控，无法实时呈现当前状态的问题。在定位问题和排查问题上减少百分之九十的人力及时间成本，将这些人力物力更好的投入到解决问题和开发生产中去，不仅可以挽回因事故而造成的直接经济损失，同时还可以有效的提高了企业的生产率。

Enterprise service and application intelligent monitoring system

【技术实现步骤摘要】
企业服务及应用智能监控系统
本专利技术涉及数据监控
，具体为企业服务及应用智能监控系统。
技术介绍
企业的应用系统和业务服务进行实时监控的技术，应用于企业级分布式多服务多应用系统。它不仅对硬件系统的运行状况进行监测，还会对业务的运营数据进行收集，分析。在发现问题时及时预警，从而起到保护系统稳定的运行和业务健康发展。现有的企业分布式系统，往往因为多应用，多服务，多实例的特性，而难以管理，想要知道每个实例的运行状况，更是难上加难。当某些服务出现问题时，需要花一定人力，时间去慢慢排查，这样导致问题得不到及时定位，快速解决，从而可能对公司造成一定的经济损失。另外，对应业务运营状况来说，目前大多数企业都是通过统计报表来评估的，需要开发各种各样的报表，来呈现业务状况。这样不仅耗费的大量的人力成本，还无法及时获取到运营数据，对当前的运营状况无法实时跟踪。基于此，本专利技术设计了企业服务及应用智能监控系统，以解决上述问题。
技术实现思路
本专利技术的目的在于提供企业服务及应用智能监控系统，以解决上述
技术介绍
中提出的的问题。为实现上述目的，本专利技术提供如下技术方案：企业服务及应用智能监控系统，包括系统服务监控和运营数据监控，系统服务监控由八个模块组成：服务性能数据采集模块、业务数据采集模块、其他的数据采集模块、报警系统、Prometheus监控系统、配置管理模块、告警规则更新模块、Grafana模块；系统服务监控，主要利用Consul注册中心来完成，每个需要监控的服务，都要集成在Prometheus中，将系统性能指标注册到Prometheus中，然后各服务再注册到Consul中，Prometheus通过配置Consul动态发现，来收集Consul中所有服务的性能指标数据；监控数据方面，系统性能数据和业务指标数据都是通过各自的数据获取模块来生成，然后Prometheus监控模块去拉取这些数据保存在数据存储服务器上，在使用这些数据时，经过一系列的分析、计算来设置预警阈值；运营数据监控，则是通过SQL代理去连接数据库，执行SQL，实时查询获取各种业务指标数据；通过对收集到的系统性能数据和业务数据进行分析、计算，当达到预设的阈值时，向告警系统发出报警，及时通知相关人员，系统出现问题时快速定位，快速处理。优选的，服务性能数据采集模块，主要用来收集分析分布式服务系统性能状态的模块，该模块是将各个业务服务注册到consul注册中心，各服务集成Prometheus监控依赖；系统启动后，系统的性能指标将会被收集，可以通过/actuator/prometheus访问。优选的，业务数据采集模块，主要是用来收集业务运营相关数据的模块，该模块在SQL采集器中配置获取业务数据的SQL，然后通过prometheus-SQL拉取此类SQL代理相关的配置信息，再将这些信息推送给SQL代理，SQL代理通过数据源连接业务数据库，执行业务SQL采集统计的数据；优选的，其他的数据采集器模块，主要是用来采集中间采集器的性能指标数据，这些采集器分别采集着各自系统的运行状况数据，中间采集器包括ElasticSearch采集器、Redis采集器，MySql采集器。优选的，配置管理模块，主要是用来作为系统的配置中心，其中包括SQL配置、告警规则配置及包括数据源的其他配置；SQL配置主要用来配置采集业务数据指标的SQL信息，其中包括SQL执行间隔、超时时间、SQL参数、指标名称的信息；规则配置，则是配置Prometheus的告警规则，当某指标数据到达预设的阈值时，Pormetheus会发出告警，告警的标题、内容、时间是由规则配置来完成。优选的，规则更新模块，针对Prometheus动态告警规则配置实现了一个代理，用来实时更加Prometheus的规则文件；Prometheus提供了更新规则文件的API，该代理会调用该接口，实时更新告警规则文件；当配置管理中的规则配置有修改，修改后会被及时推送给规则更新模块，该模块调用Prometheus的API时更新规则文件。优选的，Prometheus监控系统，为一个开源的监控系统，主要收集各种指标数据，通过PromQL分析数据，计算报警表达式，当表达式满足设定的规则，则通知告警系统，发送警报；Prometheus监控系统采取的是pull的形式，主动拉取数据；Prometheus会主动的去拉取服务性能数据模块、业务指标数据模块以及其他的一些数据采集模块的数据，每分钟拉取一次，将数据单独保存在一个独立的服务器上，这些数据将提供给Grafana使用，通过图形界面的方式展现出来。优选的，报警系统，就是用来发警报的系统，包括告警管理模块和告警处理器两部分，它主要是由告警管理模块接收Prometheus的告警通知，再由告警处理器处理告警通知，下发告警信息，通知服务相关人；告警管理模块，它不仅仅接受告警通知，还会处理如何发告警，包括邮件、短信方式；告警处理器(AlarmHook)，来处理告警消息，告警处理器根据告警管理模块发出的告警通知，匹配属于哪个业务服务的告警信息，然后对该的服务下发对应的通知，根据告警级别通知可分为：短信通知，语音通知，电话通知；Prometheus的规则文件中每个具体的规则项都会有一个PromQL表达式，用来表示当这个表达式满足条件时，则发出警报，此时Prometheus会把这个规则中的相关信息，如报警标题、报警内容、报警等待时间信息推送给告警管理模块，告警管理模块接受到这些报警信息后，再把信息推送给告警处理器来处理，由告警处理器来下发具体的告警信息。优选的，Grafana模块是一个开源的可视化数据展示的工具，提供创建、共享、浏览数据，提供各种图表和布局展示，主要用来展示Prometheus采集来的数据，如系统性能数据，业务运营数据及ES日志。与现有技术相比，本专利技术的有益效果是：(1)本专利技术公开了一种适合于对分布式服务的系统性能和业务数据进行智能监测、分析及预警的解决方案。首先，各服务系统注册到consul注册中心，集成Prometheus上报性能指标；接着，通过配置管理配置业务数据的SQL，通过SQL代理连接各服务的数据库执行SQL采集数据；然后promtheus收集这些系统性能数据和业务指标数据；再通过Grafana可视化工具展示这些数据，根据预先设定的PromQL表达式预设告警阈值，当数据到达阈值时，通过告警系统，对相关人员发出告警信息；(2)本专利技术解决企业分布式系统中，因多应用多服务的系统出现问题，而无法及时定位问题，同时解决业务运营数据得不到实时监控，无法实时呈现当前状态的问题。在定位问题和排查问题上减少百分之九十的人力及时间成本，将这些人力物力更好的投入到解决问题和开发生产中去，不仅可以挽回因事故而造成的直接经济损失，同时还可以有效的提高了企业的生产率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一本文档来自技高网...

【技术保护点】
1.企业服务及应用智能监控系统，其特征在于：包括系统服务监控和运营数据监控，系统服务监控由八个模块组成：服务性能数据采集模块、业务数据采集模块、其他的数据采集模块、报警系统、Prometheus监控系统、配置管理模块、告警规则更新模块、Grafana模块；/n系统服务监控，主要利用Consul注册中心来完成，每个需要监控的服务，都要集成在Prometheus中，将系统性能指标注册到Prometheus中，然后各服务再注册到Consul中，Prometheus通过配置Consul动态发现，来收集Consul中所有服务的性能指标数据；/n监控数据方面，系统性能数据和业务指标数据都是通过各自的数据获取模块来生成，然后Prometheus监控模块去拉取这些数据保存在数据存储服务器上，在使用这些数据时，经过一系列的分析、计算来设置预警阈值；/n运营数据监控，则是通过SQL代理去连接数据库，执行SQL，实时查询获取各种业务指标数据；通过对收集到的系统性能数据和业务数据进行分析、计算，当达到预设的阈值时，向告警系统发出报警，及时通知相关人员，系统出现问题时快速定位，快速处理。/n

【技术特征摘要】
1.企业服务及应用智能监控系统，其特征在于：包括系统服务监控和运营数据监控，系统服务监控由八个模块组成：服务性能数据采集模块、业务数据采集模块、其他的数据采集模块、报警系统、Prometheus监控系统、配置管理模块、告警规则更新模块、Grafana模块；
系统服务监控，主要利用Consul注册中心来完成，每个需要监控的服务，都要集成在Prometheus中，将系统性能指标注册到Prometheus中，然后各服务再注册到Consul中，Prometheus通过配置Consul动态发现，来收集Consul中所有服务的性能指标数据；
监控数据方面，系统性能数据和业务指标数据都是通过各自的数据获取模块来生成，然后Prometheus监控模块去拉取这些数据保存在数据存储服务器上，在使用这些数据时，经过一系列的分析、计算来设置预警阈值；
运营数据监控，则是通过SQL代理去连接数据库，执行SQL，实时查询获取各种业务指标数据；通过对收集到的系统性能数据和业务数据进行分析、计算，当达到预设的阈值时，向告警系统发出报警，及时通知相关人员，系统出现问题时快速定位，快速处理。


2.根据权利要求1所述的企业服务及应用智能监控系统，其特征在于：服务性能数据采集模块，主要用来收集分析分布式服务系统性能状态的模块，该模块是将各个业务服务注册到consul注册中心，各服务集成Prometheus监控依赖；系统启动后，系统的性能指标将会被收集，可以通过/actuator/prometheus访问。


3.根据权利要求1所述的企业服务及应用智能监控系统，其特征在于：业务数据采集模块，主要是用来收集业务运营相关数据的模块，该模块在SQL采集器中配置获取业务数据的SQL，然后通过prometheus-SQL拉取此类SQL代理相关的配置信息，再将这些信息推送给SQL代理，SQL代理通过数据源连接业务数据库，执行业务SQL采集统计的数据。


4.根据权利要求1所述的企业服务及应用智能监控系统，其特征在于：其他的数据采集器模块，主要是用来采集中间采集器的性能指标数据，这些采集器分别采集着各自系统的运行状况数据，中间采集器包括ElasticSearch采集器、Redis采集器，MySql采集器。


5.根据权利要求1所述的企业服务及应用智能监控系统，其特征在于：配置管理模块，主要是用来作为系统的配置中心，其中包括SQL配置、告警规则配置及包括数据源的其他配置；SQL配置主要用来配置采集业务数据指标的SQL信息，其中包括SQL执行间隔、超时时间、SQL参数、指标名称的信息；规则...

【专利技术属性】
技术研发人员：刘志来，
申请(专利权)人：上海良鑫网络科技有限公司，
类型：发明
国别省市：上海;31