一种IT系统事件标准化实现方法技术方案

本发明专利技术涉及一种IT系统事件标准化实现方法，将不同协议与内容的消息，转换成标准消息，并将标准消息与规则库匹配，通过标准消息的关键属性特征，应用规则库识别为标准事件；具体步骤如下：预先将不同协议包发送的原始消息，视为各个属性的集合，提取所有属性数据，采用统一的key‑value格式存储，key‑value存储的消息即为标准消息，然后提取标准消息的关键字段，应用规则库识别出消息所采用的协议类型，根据协议类型应用对应的规则，规则中定义需要匹配的关键属性，以及定义提取关键字段信息的表达式，当原始消息中的内容变更时，调整规则文件即可，无需修改代码，从而大大的提高了灵活性、准确性，以及加快了处理速度。

【技术实现步骤摘要】

本专利技术涉及IT运维领域，主要是一种IT系统事件标准化实现方法。
技术介绍
随着企业IT架构的不断扩展，服务器、存储设备的数量越来越多，网络环境也变得更加复杂，网络中的消息日志格式多种多样，没有一定的规律可寻，从而给运维工作带来了巨大的挑战，特别是分支机构众多的大型企业或垂直层级较多的政府单位，为了保障良好的用户体验和数据时效性，运维工作显得十分艰巨。IT监控系统每分钟要进行上万个数据采集，而对采集上来的海量数据进行处理和分析是更难的挑战。如果数据未经过处理，这就对运维没有任何意义和价值。因此，在大数据集中趋势越来越明显的今天，海量处理IT设备采集到的数据，使用不同协议采集IT设备信息差异较大，如系统日志、安全日志、性能越界事件、第三方事件等。其特点是数据量大，消息格式差别大，数据复杂，可读性差难于分析处理，那么就需要一套事件标准化技术来将不同设备或不同协议采集到的消息进行标准化处理，避免因不同协议采集同一个设备产生不同的告警，并通过提取关键信息，输出方便运维人员直观且容易理解的信息。有鉴于此，特提出本专利技术。
技术实现思路
本专利技术的目的在于克服现有技术存在的不足，而提供一种IT系统事件标准化实现方法，通过事件化技术，可以将接收到的各类IT系统原始消息，统一转成标准事件。本专利技术的目的是通过如下技术方案来完成的。这种IT系统事件标准化实现方法，将不同协议与内容的消息，转换成标准消息，并将标准消息与规则库匹配，通过标准消息的关键属性特征，应用规则库识别为标准事件；具体步骤如下：预先将不同协议包发送的原始消息，视为各个属性的集合，提取所有属性数据，采用统一的key-value格式存储，key-value存储的消息即为标准消息，然后提取标准消息的关键字段，应用规则库识别出消息所采用的协议类型，根据协议类型应用对应的规则，规则中定义需要匹配的关键属性，以及定义提取关键字段信息的表达式，当原始消息中的内容变更时，调整规则文件即可，无需修改代码，从而大大的提高了灵活性、准确性，以及加快了处理速度，并且有效的降低了IT运维成本。更进一步的，具体步骤如下：(S1)、接入各个IT软、硬件采集到的原始事件(syslog、snmp、日志等)，记为原始消息；(S2)、将S1接入的消息转换成key-value格式存储的标准消息，为后续标准化处理提供铺垫；(S3)、加载规则库，将已定义的规则文件加载到内存中；(S4)、提取S2得到的标准消息关键字段，将关键字段与S3中的规则库逐一匹配；(a)、规则匹配优先级由权值决定，权值越高，匹配的优先级越高；默认所有规则的权值为0。(b)、当某一个规则匹配成功后，会将该规则的权值+1；(S5)、若匹配成功，那么标准消息会归类到匹配成功的规则；若匹配失败，会流转到下个规则进行匹配，直到匹配成功后返回；若所有规则库都无法匹配，那么会将该消息归类为未知事件处理，未知事件默认会提取所有属性；(S6)、如S5所述，提取匹配成功的规则中定义的事件类型和字段提取表达式；将S2得到的标准消息增加事件类型属性，然后执行规则定义的表达式，来将标准消息中的属性转成标准事件中的属性；(S7)、规则权值计算，即将消息匹配的规则权值+1,提高已匹配规则的优先级，从而提高标准消息规则匹配速度。本专利技术的有益效果为：本专利技术用于标准化处理各类IT软件、硬件所产生的原始事件，提高了原始事件识别的准确性，减少因不同协议采集同一设备信息产生冗余事件；本专利技术可有效解决IT运维领域中，软硬件的原始消息难以理解，难以归类处理，并有助于提高告警平台的处理速度，降低运维成本，提高工作效率。附图说明图1为本专利技术中各模块的运行流程图；如上文所示描述了数据流向；各IT软硬件系统发送的消息，首先经过消息接入与消息转换，将接入的不同协议的消息转换形成系统易识别的标准消息；其次识别消息，将标准消息应用规则库进行匹配，匹配成为系统容易理解的标准事件；图2为本专利技术中的步骤S3到S6消息识别过程示意图；图3为本专利技术中描述了规则权值计算后的优先级变化示意图；具体实施方式下面将结合附图和实施例对本专利技术做详细的介绍：如图1所示，本专利技术所述的事件标准化技术，共涉及5个单元，包括原始消息接入单元、消息转换单元、规则解析单元、消息识别单元、规则算法单元。1.原始消息接入单元，用于采集监测设备或者IT业务系统后，将采集结果以syslog,snmp,日志系统发送到告警平台，采集结果可能是CPU事件，端口上下线事件，内存使用率事件，oracle数据库表空间事件等，告警平台的原始消息接入模块，接收到采集器的发送原始事件后，对原始事件进行数据包解析，消息解析方式根据协议类型处理，一般syslog协议数据包主要处理imestamp,hostName,isRepeat,facility这些字段数据。一般snmp则需要解析peerAddress、pdu、securityModel、securityLevel、maxSizeResponsePDU、pduHandle、stateReference等字段，还需要解析pdu、peerAddress子属性，以获得发送端的IP地址，端口。2.消息转换单元，将不同协议消息转换成标准消息；标准消息一般由一些列的key-value组成，把原始消息中的字段名称作为key和字段值作为value3.规则解析单元，即将规则库中的所有规则文件读取到内存中，并加载规则文件的内容，对规则中表达式做语法检查。4.消息识别单元，根据标准消息的关键属性特征与规则中的表达式计算结果匹配，匹配成功则生成标准事件，未成功则归类为未知事件；snmp一般采用oid的匹配表达式匹配，syslog一般采用是否包含某个特殊字符来匹配。5.规则算法单元，即为了提高规则匹配速度，增加了权值技术算法，让匹配次数大的规则，拥有更高的优先级。每一次匹配都会对权值进行一次累加，并与更高优先级的规则做一次比较，如果超过了更高优先级的规则，那么就会进行位置交换，位置交换在软件中的表达会复杂一些，具体可以看S7中的说明，以及查看效果如图3。本专利技术的目的即是解决统一告警平台的不足，标准消息通过key-value方式存储，可实现接入不同协议的消息转换为统一的消息格式，并通过预置的规则库，有效的将不同协议的消息识别为标准事件，避免同一个消息来源，不同协议采集产生重复告警，提高了告警信息的可读性，从而提高了运维人员处理告警的效率。本专利技术实现步骤如下：S1、启动原始事件数据包接收服务，服务包含snmp、syslog、日志等。用于接收软、硬件采集客户端发送的原始消息，其格式由通信协议决定。S2、转换S1接入的原始消息为标准消息，记为stdmsg，标准消息格式为key-value存储。其格式定义：stdmsg＝key1:value1+key2:value2+...+keyn:valuen；若是syslog协议包，根据其协议特性，一般包含timestamp,hostName,isRepeat,facility,serverity,message等字段，这些字段名称作为key值，这些字段的值作为value。若是snmptrap,根据其协议特性一般包含peerAddress、pdu、securityModel、secur本文档来自技高网...

【技术保护点】
一种IT系统事件标准化实现方法，其特征是：将不同协议与内容的消息，转换成标准消息，并将标准消息与规则库匹配，通过标准消息的关键属性特征，应用规则库识别为标准事件；具体步骤如下：预先将不同协议包发送的原始消息，视为各个属性的集合，提取所有属性数据，采用统一的key‑value格式存储，key‑value存储的消息即为标准消息，然后提取标准消息的关键字段，应用规则库识别出消息所采用的协议类型，根据协议类型应用对应的规则，规则中定义需要匹配的关键属性，以及定义提取关键字段信息的表达式，当原始消息中的内容变更时，调整规则文件即可。

【技术特征摘要】
1.一种IT系统事件标准化实现方法，其特征是：将不同协议与内容的消息，转换成标准消息，并将标准消息与规则库匹配，通过标准消息的关键属性特征，应用规则库识别为标准事件；具体步骤如下：预先将不同协议包发送的原始消息，视为各个属性的集合，提取所有属性数据，采用统一的key-value格式存储，key-value存储的消息即为标准消息，然后提取标准消息的关键字段，应用规则库识别出消息所采用的协议类型，根据协议类型应用对应的规则，规则中定义需要匹配的关键属性，以及定义提取关键字段信息的表达式，当原始消息中的内容变更时，调整规则文件即可。2.根据权利要求1所述的IT系统事件标准化实现方法，其特征在于：具体步骤如下：(S1)、接入各个IT软、硬件采集到的原始事件，记为原始消息；(S2)、将S1接入的消息转换成key-value格式存储的标准消息，为后续标准...

【专利技术属性】
技术研发人员：谢维发，蒋君伟，刘东海，庞辉富，徐育毅，
申请(专利权)人：杭州优云软件有限公司，
类型：发明
国别省市：浙江;33