基于Apriori算法的IT服务集中监控管理系统技术方案

本发明专利技术提出基于Apriori算法的IT服务集中监控管理系统，其特征在于，该系统包括有：IT服务集中监控管理单元、IT服务集中监控系统核心流程单元；IT服务集中监控管理单元包含有：IT设备状态数据采集模块、状态告警触发模块、运维事件处理模块；IT服务集中监控系统核心流程单元包含有：IT设备状态数据并发采集流程、状态告警规则诊断流程、告警关联事件定位流程。采用WEKA软件执行Apriori算法计算。因此能够承担各种数据挖掘任务，包括数据预处理、分类、回归、聚类、关联分析，以完成诸如服务器端自动数据挖掘这样的任务，操作性能上更加优化，设计新颖，是一项很好的设计方案。

Centralized monitoring and management system of IT service based on Apriori algorithm

The invention provides Apriori algorithm of IT services based on centralized monitoring and management system, which is characterized in that the system comprises a IT service centralized monitoring and management unit, IT centralized service core process unit monitoring system; IT service centralized monitoring and management unit contains IT equipment status data acquisition module, state alarm trigger module, event handling operation the IT service module; centralized monitoring system for the core process unit includes: state data acquisition process, concurrent state alarm rules of the diagnosis process, alarm correlation event locating process of IT equipment. WEKA software is used to perform Apriori algorithm calculation. Therefore we can assume a variety of data mining tasks, including analysis of data preprocessing, classification, regression, clustering, association, such as the server to complete the automatic data mining tasks like, operation performance optimization, novel design, is a very good design.

【技术实现步骤摘要】
基于Apriori算法的IT服务集中监控管理系统
本专利技术涉及基于Apriori算法的IT服务集中监控管理系统。
技术介绍
目前，在我国IT服务集中监控管理还处于初级阶段，已经搭建了综合IT服务集中监控管理体系的企业仅占少数。因此，对于绝大多数的企业而言，企业无法集中管理自身的网络资源、服务器资源、系统资源等，无法做到数据与信息的共享，标准化和程序化的企业IT服务集中监控管理依旧没有实现。这种广泛应用中的传统IT管理模式主要存在以下两个特点：1、传统的IT监控采用单点管理模式，管理部门与管理部门，管理产品与管理产品之间是相互独立的，计算机运维人员一般只了解其中某一方面或某一部分的计算机资源，如服务器管理人员只关心如何查看服务器CPU以及内存的使用率等，这种管理模式下，运维管理人员无法了解企业IT系统整体的计算机资源分布和性能分布，对企业整体IT系统运行情况缺乏全面的掌握，由此使得管理人员很难针对企业自身的IT系统运行情况制定出有效的整体管理策略和管理方法，企业对信息系统的管理要求无法得到满足。2、传统的IT服务管理模式下，IT服务运维管理人员常常处于“救火队式”的混乱状态，运维人员只有等待故障发生而后被动地解决故障。另一方面，运维人员只能通过远程登录到监控设备后执行繁琐的命令才能查看设备的运行状态，缺少方便有效的智能化手段主动监控系统资源状态。又或是由于使用不同品牌的不同设备，造成IT管理人员需要使用不同设备各自不同的管理平台进行设备管理，这些情况使得管理人员对于计算机资源的管理不仅复杂又耗时，造成IT管理人员数量庞大，且人员分工不合理，从而导致系统管理复杂度增加，管理成本也随之增加。由于不断增加的企业IT系统的规模、复杂性以及对IT系统持续上升的依赖性，依旧采用传统的IT系统集中监控管理模式已经无法全面保证企业IT运行环境可信性和安全性。企业信息化依赖程度越来越高，由于网络、关键服务器和应用系统故障对企业造成的损失不断增加。需要保持业务连续安全运行的企业数量繁多，要确保业务的连续性则需要依赖企业IT系统能提供7X24小时的持续服务，这一切都需要IT运维集中监控管理系统的支撑。目前国内企业的IT运维管理产品和服务的应用尚且处于基础应用水平，主要为IT运维管理软件安装及使用，运维流程梳理优化开发及管理体制的改进与完善。随着客户信息化建设加快，客户服务系统规模愈加庞大，信息系统架构复杂程度增加，新兴业务模式要求IT服务能更加个性化和精细化。这些都要求更专业的IT服务管理产品及更有针对性的服务策略和更精细的解决方案。
技术实现思路
本专利技术的目的是提供基于Apriori算法的IT服务集中监控管理系统，，以完成诸如服务器端自动数据挖掘这样的任务，灵活性强。本专利技术为解决其技术问题所采用的技术方案是，基于Apriori算法的IT服务集中监控管理系统，该系统包括有：IT服务集中监控管理单元、IT服务集中监控系统核心流程单元；IT服务集中监控管理单元包含有：IT设备状态数据采集模块、状态告警触发模块、运维事件处理模块；IT服务集中监控系统核心流程单元包含有：IT设备状态数据并发采集流程、状态告警规则诊断流程、告警关联事件定位流程；IT设备状态数据采集模块是IT服务集中监控管理系统的基础功能模块之一，它是系统产生状态数据的基础模块，为数据规则诊断、数据聚合统计等功能提供了前提；状态告警触发模块是系统获得状态数据或者聚合统计数据后，通过对数据进行分析后，触发状态数据告警的模块，也是状态数据价值产生的所在，通过告警能够使得运维人员更快发现异常情况或未来可能发生的异常情况，并处理；运维事件处理模块是告警事件发生后运维人员管理告警事件以及运维事件流程的功能模块；IT设备状态数据并发采集流程主要包含：采集任务定时触发、采集任务执行，进入数据采集模块，系统接收到采集策略后需要根据采集策略新增采集策略任务，首先系统解析采集策略，循环采集策略列表内每个监控项ki，若该监控项ki开启采集，根据监控项采集策略中采集方式，判断需要新增的采集任务类型，根据采集任务类型匹配任务注册器中任务从而生成新任务，新任务添加到任务生成器队列；状态告警规则诊断流程是系统执行状态数据分析的重要组成部分，主要包含：状态告警数据预处理、状态告警规则诊断、状态告警关联规则诊断；告警关联事件定位流程在于运维人员处理事件是通过分析关联告警以及关联告警的原始事件定位告警原因。进一步，所述的IT设备状态数据采集模块分为采集策略管理、数据采集、数据格式化三个部分；采集策略管理主要由运维管理人员在配置管理模块配置监控项后调用接口触发，用以将运维人员配置的监控项转化为数据采集模块统一格式化的采集策略，并进行维护，主要功能包括：新增采集策略、更新采集策略、删除采集策略；采集策略内容包括：监控项基础信息(如监控项ID、名称、IP地址等)、是否开启采集、采集方法、采集时间间隔、采集脚本、采集参数、数据处理脚本、数据格式；新建一个采集策略，运维人员在配置管理模块选择一个系统提供的监控项模板，模板可以帮助用户快速新增监控项，在新增监控项后，系统通过调用数据采集模块新增采集策略接口新增采集策略；更新采集策略，运维人员在配置管理模块选择一个监控项，修改监控项内容，在修改监控项后，系统通过调用数据采集模块更新采集策略接口修改采集策略；删除采集策略的方法是运维人员在配置管理模块选择一个监控项，执行删除操作，在修改监控项后，系统通过调用数据采集模块删除采集策略接口删除采集策略；数据采集模块的采集策略管理功能保存当前需要进行的采集策略，根据采集时间间隔，任务生成器定时生成当前需要进行采集的采集任务，采集任务根据不同类别采集方式生成，为了适应目前系统需求，即能够采集包括网络设备、服务器、机房基础环境、中间件、应用、数据库、虚拟资源等在内的各项设备，系统目前提供的采集方式包括：jdbc连接、http连接、jmx连接、snmp连接、webservice、remotessh、telnet、email、wmic、jar包执行以及syslog等，采集任务包括主动建立连接采集以及被动监听采集，如jmx、jdbc、snmpget等均属于主动采集，而syslog、snmptrap等类型任务属于被动监听采集类型，对于主动采集任务，任务生成器生成采集任务后，采集任务激活，在采集执行器中执行，同指定设备建立不同类型连接，执行采集脚本等内容，获得原始状态数据，若该采集策略设置有数据处理脚本，系统根据数据处理脚本重新处理数据，得到状态数据，而对于被动监听类型采集，系统根据采集策略开启端口监听，若通过监听的端口收到状态数据，根据数据内容查找对应的采集策略，并进行关联，若未查找到策略，则数据抛弃；数据格式化的目的是为了能够将各种类型的状态数据整合，为接下来的数据聚合、数据分析、以及数据入库等做准备，在数据采集后，得到基础状态数据，数据处理模块根据状态数据关联的采集策略组装最终状态数据，最终状态数据首先组合数据关联设备基础信息、采集时间等，对于状态数据具体数值，根据策略中的数据格式定义，系统处理数据格式，组合得到最终的状态数据中，并通过activemq发送状态数据给后续模块。进一步，所述的状态告警触发模本文档来自技高网...

【技术保护点】
基于Apriori算法的IT服务集中监控管理系统，其特征在于，该系统包括有：IT服务集中监控管理单元、IT服务集中监控系统核心流程单元；IT服务集中监控管理单元包含有：IT设备状态数据采集模块、状态告警触发模块、运维事件处理模块；IT服务集中监控系统核心流程单元包含有：IT设备状态数据并发采集流程、状态告警规则诊断流程、告警关联事件定位流程；IT设备状态数据采集模块是IT服务集中监控管理系统的基础功能模块之一，它是系统产生状态数据的基础模块，为数据规则诊断、数据聚合统计等功能提供了前提；状态告警触发模块是系统获得状态数据或者聚合统计数据后，通过对数据进行分析后，触发状态数据告警的模块，也是状态数据价值产生的所在，通过告警能够使得运维人员更快发现异常情况或未来可能发生的异常情况，并处理；运维事件处理模块是告警事件发生后运维人员管理告警事件以及运维事件流程的功能模块；IT设备状态数据并发采集流程主要包含：采集任务定时触发、采集任务执行，进入数据采集模块，系统接收到采集策略后需要根据采集策略新增采集策略任务，首先系统解析采集策略，循环采集策略列表内每个监控项ki，若该监控项ki开启采集，根据监控项采集策略中采集方式，判断需要新增的采集任务类型，根据采集任务类型匹配任务注册器中任务从而生成新任务，新任务添加到任务生成器队列；状态告警规则诊断流程是系统执行状态数据分析的重要组成部分，主要包含：状态告警数据预处理、状态告警规则诊断、状态告警关联规则诊断；告警关联事件定位流程在于运维人员处理事件是通过分析关联告警以及关联告警的原始事件定位告警原因。...

【技术特征摘要】
1.基于Apriori算法的IT服务集中监控管理系统，其特征在于，该系统包括有：IT服务集中监控管理单元、IT服务集中监控系统核心流程单元；IT服务集中监控管理单元包含有：IT设备状态数据采集模块、状态告警触发模块、运维事件处理模块；IT服务集中监控系统核心流程单元包含有：IT设备状态数据并发采集流程、状态告警规则诊断流程、告警关联事件定位流程；IT设备状态数据采集模块是IT服务集中监控管理系统的基础功能模块之一，它是系统产生状态数据的基础模块，为数据规则诊断、数据聚合统计等功能提供了前提；状态告警触发模块是系统获得状态数据或者聚合统计数据后，通过对数据进行分析后，触发状态数据告警的模块，也是状态数据价值产生的所在，通过告警能够使得运维人员更快发现异常情况或未来可能发生的异常情况，并处理；运维事件处理模块是告警事件发生后运维人员管理告警事件以及运维事件流程的功能模块；IT设备状态数据并发采集流程主要包含：采集任务定时触发、采集任务执行，进入数据采集模块，系统接收到采集策略后需要根据采集策略新增采集策略任务，首先系统解析采集策略，循环采集策略列表内每个监控项ki，若该监控项ki开启采集，根据监控项采集策略中采集方式，判断需要新增的采集任务类型，根据采集任务类型匹配任务注册器中任务从而生成新任务，新任务添加到任务生成器队列；状态告警规则诊断流程是系统执行状态数据分析的重要组成部分，主要包含：状态告警数据预处理、状态告警规则诊断、状态告警关联规则诊断；告警关联事件定位流程在于运维人员处理事件是通过分析关联告警以及关联告警的原始事件定位告警原因。2.根据权利要求1所述的基于Apriori算法的IT服务集中监控管理系统，其特征在于，所述的IT设备状态数据采集模块分为采集策略管理、数据采集、数据格式化三个部分；采集策略管理主要由运维管理人员在配置管理模块配置监控项后调用接口触发，用以将运维人员配置的监控项转化为数据采集模块统一格式化的采集策略，并进行维护，主要功能包括：新增采集策略、更新采集策略、删除采集策略；采集策略内容包括：监控项基础信息(如监控项ID、名称、IP地址等)、是否开启采集、采集方法、采集时间间隔、采集脚本、采集参数、数据处理脚本、数据格式；新建一个采集策略，运维人员在配置管理模块选择一个系统提供的监控项模板，模板可以帮助用户快速新增监控项，在新增监控项后，系统通过调用数据采集模块新增采集策略接口新增采集策略；更新采集策略，运维人员在配置管理模块选择一个监控项，修改监控项内容，在修改监控项后，系统通过调用数据采集模块更新采集策略接口修改采集策略；删除采集策略的方法是运维人员在配置管理模块选择一个监控项，执行删除操作，在修改监控项后，系统通过调用数据采集模块删除采集策略接口删除采集策略；数据采集模块的采集策略管理功能保存当前需要进行的采集策略，根据采集时间间隔，任务生成器定时生成当前需要进行采集的采集任务，采集任务根据不同类别采集方式生成，为了适应目前系统需求，即能够采集包括网络设备、服务器、机房基础环境、中间件、应用、数据库、虚拟资源等在内的各项设备，系统目前提供的采集方式包括：jdbc连接、http连接、jmx连接、snmp连接、webservice、remotessh、telnet、email、wmic、jar包执行以及syslog等，采集任务包括主动建立连接采集以及被动监听采集，如jmx、jdbc、snmpget等均属于主动采集，而syslog、snmptrap等类型任务属于被动监听采集类型，对于主动采集任务，任务生成器生成采集任务后，采集任务激活，在采集执行器中执行，同指定设备建立不同类型连接，执行采集脚本等内容，获得原始状态数据，若该采集策略设置有数据处理脚本，系统根据数据处理脚本重新处理数据，得到状态数据，而对于被动监听类型采集，系统根据采集策略开启端口监听，若通过监听的端口收到状态数据，根据数据内容查找对应的采集策略，并进行关联，若未查找到策略，则数据抛弃；数据格式化的目的是为了能够将各种类型的状态数据整合，为接下来的数据聚合、数据分析、以及数据入库等做准备，在数据采集后，得到基础状态数据，数据处理模块根据状态数据关联的采集策略组装最终状态数据，最终状态数据首先组合数据关联设备基础信息、采集时间等，对于状态数据具体数值，根据策略中的数据格式定义，系统处理数据格式，组合得到最终的状态数据中，并通过activemq发送状态数据给后续模块。3.根据权利要求1所述的基于Apriori算法的IT服务集中监控管理系统，其特征在于，所述的状态告警触发模块采用接口触发，系统通过activemq中间件接收状态数据以及聚合统计数据，当数据到达时，则触发数据分析开始，包含有告警规则管理、状态数据或聚合统计数据触发告警、状态告警触发关联告警、生成告警事件及告警通知；告警规则管理主要由运维管理人员使用，主要功能包括：新增告警规则、更新告警规则、删除告警规则，告警规则内容包括：监控项告警规则基础信息(如监控项ID等)、告警规则ID、告警规则名称、告警规则表达式、告警规则有效时间、告警自动处理操作信息等；新建一个告警规则，运维人员在配置管理模块选择一个系统提供的监控项模板，模板可以帮助用户快速新增监控项告警规则，在新增监控项后，系统通过调用告警模块新增告警规则接口新增告警规则；更新告警规则，运维人员在配置管理模块选择一个监控项，修改监控项告警规则内容，在修改监控项后，系统通过调用告警模块更新告警规则接口修改告警规则；删除告警规则的方法是运维人员在配置管理模块选择一个监控项，删除监控项告警规则，删除后，系统通过调用数据采集模块删除告警规则接口删除告警规则；状态数据或聚合统计数据触发告警是系统收到新采集的状态数据或刚生成的聚合统计数据后，触发告警规则诊断操作，规则诊断阶段，系统根据接收到状态数据后首先对状态数据进行预处理，预处理的内容是对一条状态数据中多个子项数据扁平化处理，以便对各子项进行分别处理；数据经过预处理后，系统根据状态数据查找对应的告警规则，根据告警规则中定义的规则表达式，与事件数据进行匹配，目前的告警规则根据匹配次数分为两种：一种为一次匹配，即只要事件数据与表达式匹配则认为该数据异常，触发告警；第二种为多次匹配，则当事件数据与表达式匹配时，查看历史匹配结果，若在告警规则定义的条件内(如有效时间，或采集次数)，相同监控项的状态数据与表达式匹配次数达到要求，则认为触发告警，否则储存匹配规则，等待...

【专利技术属性】
技术研发人员：欧卫勇，李彦彬，郭志毅，
申请(专利权)人：上海瑞致软件有限公司，
类型：发明
国别省市：上海,31