一种批量日志异常数据告警方法及装置制造方法及图纸

本发明专利技术提供了一种批量日志异常数据告警方法及装置，方法包括：采集服务器运行的批量程序的日志数据；以预设的配置信息确定日志数据中的异常数据；将异常数据发送至Windows事件日志；利用SCOM监控平台对所述Windows事件日志中的异常数据进行告警。提出一种完善的及时的批量异常监控方法，可以及时发现批量运行异常，使故障及时得到处理。

A batch log abnormal data alarm method and device

The invention provides a batch log abnormal data alarm method and device, which includes: collecting log data of batch program running by server; determining abnormal data in log data by preset configuration information; sending abnormal data to Windows event log; and using SCOM monitoring platform to report the Windows event log. Abnormal data in the records are alerts. A perfect and timely monitoring method for batch anomalies is proposed, which can detect abnormal batch operations in time and deal with the faults in time.

【技术实现步骤摘要】
一种批量日志异常数据告警方法及装置
本专利技术涉及数据处理技术，具体的讲是一种批量日志异常数据告警方法及装置。
技术介绍
服务器运行批量程序越来越多，且批量程序有自研系统和外包系统多种方式，影响批量程序运行成功的因素有很多，例如：数据来源错误，网络错误，数据量过大，键值重复，码制问题等等。批量程序发生错误时，往往以文本日志的方式记录下来。目前，要发现批量程序运行中发生错误，需打开批量文本查看，而批量运行多在夜间进行，运维人员无法及时查看并获知错误。现有技术中对批量异常日志的监控无特别迅捷的解决方案，多采用人工巡检的方式，或由用户发现批量数据异常后运维人员进行处理。现有技术处理方式实时性低，人工巡检往往在上班后巡检，若发现异常，加上处理时间，往往造成解决时长较长。因此，需要解决现有技术中无法及时对批量文本类型的异常信息进行监控，并对异常进行告警的缺陷。
技术实现思路
为了完善的及时的进行批量异常的监控，本专利技术实施例提供了一种批量日志异常数据告警方法，包括：采集服务器运行的批量程序的日志数据；以预设的配置信息确定所述日志数据中的异常数据；将所述的异常数据发送至Windows事件日志；利用SCOM监控平台对所述Windows事件日志中的异常数据进行告警。本专利技术实施例中，利用数据采集插件按预设的时间段、频率采集服务器运行的批量程序的日志数据。本专利技术实施例中，预设的配置信息包括：预设的关键字。本专利技术实施例中，所述的将所述的异常数据发送至Windows事件日志包括：根据异常数据的类型将所述异常数据发送至Windows事件日志。同时，本专利技术还提供一种批量日志异常数据告警装置，包括：数据采集模块，用于采集服务器运行的批量程序的日志数据；异常数据确定模块，用于以预设的配置信息确定所述日志数据中的异常数据；发送模块，用于将所述的异常数据发送至Windows事件日志；SCOM监控平台，用于对所述Windows事件日志中的异常数据进行告警。本专利技术实施例中，所述的采数据采集模块利用数据采集插件采集服务器运行的批量程序的日志数据。本专利技术实施例中，所述的发送模块包括：类型确定模块，用于确定异常数据的类型；所述的发送模块根据异常数据的类型将所述异常数据发送至Windows事件日志。本专利技术提出一种完善的及时的批量异常监控方法，本专利技术主要解决了windows平台的多个实例中运行的多个批量程序运行时，无法及时获知批量运行异常并及时应对。本专利技术结合SCOM平台可以及时发现批量运行异常，使故障及时得到处理。为让本专利技术的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术公开的批量日志异常数据告警方法的流程图；图2为本专利技术实施例中的示意图；图3为本专利技术公开的批量日志异常数据告警装置的框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种批量日志异常数据告警方法，如图1所示，该方法包括：步骤S101，采集服务器运行的批量程序的日志数据；步骤S102，以预设的配置信息确定日志数据中的异常数据；步骤S103，将异常数据发送至Windows事件日志；步骤S104，利用SCOM监控平台对Windows事件日志中的异常数据进行告警。现有的SCOM监控平台可以对windows事件日志进行监控，并对发现的错误进行实时告警，但无法处理并告警文本日志。服务器的批量程序运行时会生成相应的日志。日志有两种保存方式：1)文本格式日志；2)数据库表日志。本专利技术实施例通过在服务器上配置相应代理服务，按照日志保存方式的不同，定时获取日志内容并进行筛选提取，发现有异常信息，则调用数据接口存入监控数据库，并报送至windows事件日志，由SCOM平台实时监控。如图2所示，为本专利技术实施方式的示意图。通过在其中的应用服务器201，数据库服务器202配置相应代理服务，利用插件采集日志数据，对采集的日志数据利用监控服务器203进行分析确定其中的异常信息，将确定的异常信息报送至监控服务器203的windows事件日志，由SCOM平台204实时监控。批量程序由不同的开发部门和提供商提供，日志记录方式各不相同。本实施例的系统通过插件和配置文件的方式可以在一个服务器代理中进行灵活搜集。1)可扩展的数据分析源。对不同的数据来源，采用不同的插件的形式。本实施例中可以收集文本日志、数据库日志。只要符合数据收集后的处理方式，日志分析工具具有很强的扩展性供各系统添加。2)搜集数据的时间段和频率可以按照不同的系统进行配置。3)收集内容可以灵活配置，包括收集项、关键字等；4)收集的数据送数据库记录，对累积数据可以进行在分析和展示。本实施例中包含模块及各模块功能如下：1、插件调度模块：根据配置信息，调用起各种数据采集插件进行数据采集。各数据采集插件根据配置的预设信息，定时不重复的提供批量日志数据源，并将日志内容送给数据分析模块。2、数据采集插件：对各种日志数据进行采集。采集数据做到：不漏采，不重复采集，不对源数据做任何修改。3、数据分析模块：对数据采集插件采集到的数据进行逐行或逐条处理，并与配置文件中配置的信息进行比对，若符合预订规则，则将信息送入日志记录数据库，并根据异常类型，送windows事件日志。数据分析模块对日志数据进行逐条分析，并与配置文件中的关键字进行匹配对比。若命中，则取出上下文数据，并记到windows事件日志中和数据库中。4、监控展示模块：对日志记录数据库中保存的信息：1)以工作台方式展示总体监控信息(分级别展示告警和错误信息)；2)图形化方式(饼状图、柱状图、曲线图)展示具体的监控信息。监控展示模块，根据条件，分别以工作台方式或图形化方式展示相应的监控信息。鉴于目前批量日志的现状和SCOM平台的功能限制，要能够及时对批量程序出现的异常进行告警，对批量日志进行及时扫描并处理是必不可少的。本实施例中利用数据采集插件可以定时对批量日志进行读取，数据分析模块可以对批量日志进行分析处理。本方案，具有如下进步：首先，从运维及时性上看，工具可以在第一时间发现批量运行的异常，并记到事件日志中。而SCOM平台可以实时对事件日志进行监控，若发现相应错误，可以触发短信等方式通知运维人员。其次，本工具可以对多个系统的批量日志进行监控，减少人员成本，提高工作效率及工作质量。再次，本工具可以提供多种方式展示批量运行情况，对全方位了解批量运行情况提供了一个很好的方式。另外，如图3所示，本专利技术还公开一种批量日志异常数据告警装置，包括：数据采集模块301，用于采集服务器运行的批量程序的日志数据；异常数据确定模块302，用于以预设的配置信息确定日志数据中的异常数据；发送模块3本文档来自技高网...

【技术保护点】
1.一种批量日志异常数据告警方法，其特征在于，所述的方法包括：采集服务器运行的批量程序的日志数据；以预设的配置信息确定所述日志数据中的异常数据；将所述的异常数据发送至Windows事件日志；利用SCOM监控平台对所述Windows事件日志中的异常数据进行告警。

【技术特征摘要】
1.一种批量日志异常数据告警方法，其特征在于，所述的方法包括：采集服务器运行的批量程序的日志数据；以预设的配置信息确定所述日志数据中的异常数据；将所述的异常数据发送至Windows事件日志；利用SCOM监控平台对所述Windows事件日志中的异常数据进行告警。2.如权利要求1所述的批量日志异常数据告警方法，其特征在于，所述的采集待监控的服务器运行的批量程序的日志数据包括：利用数据采集插件按预设的时间段、频率采集服务器运行的批量程序的日志数据。3.如权利要求1所述的批量日志异常数据告警方法，其特征在于，所述的预设的配置信息包括：预设的关键字。4.如权利要求1所述的批量日志异常数据告警方法，其特征在于，所述的将所述的异常数据发送至Windows事件日志包括：根据异常数据的类型将所述异常数据发送至Windows事件日志。5.一种批量日志异常数据告警装置，其特征在于，所述的装置包括：数据采集模块，用于采集服务器运行的批量程序的日志数据；异常数据确定模块，用于以预设的配置信息...

【专利技术属性】
技术研发人员：刘敬光，张俊伟，邹欣，田旭东，崔冠宁，于文鹏，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京,11