业务日志收集及预警系统和业务日志收集及预警方法技术方案

本申请公开了一种业务日志收集及预警系统和业务日志收集及预警方法，业务日志收集及预警系统包括：接收部，用于获取配置信息，配置信息包括待接收业务日志种类及接收规则，待接收业务日志种类为预设业务日志种类集合的子集，根据配置信息接收业务日志并按照预设要素创建索引存储于搜索服务器中；配置部，用于获取预警规则；调度部，用于根据预警规则调用预警任务；解析部，用于解析预警任务，并根据解析后的预警任务对存储于搜索服务器中的业务日志进行统计分析，生成预警结果存储于数据库中；显示部，用于显示预警结果。当需要对待接收业务日志种类进行更改时，只需要利用接收部输入新的配置信息即可根据新的配置信息进行业务日志的收集和存储。

【技术实现步骤摘要】

本申请设计数据收集及处理
，更具体地说，涉及一种业务日志收集及预警系统和业务日志收集及预警方法。
技术介绍
在IT
，巨量数据的集合称之为大数据，大数据是一种具有海量、高增长率和多样化特性的信息资产，这一信息资产对于某一行业或者某企业来讲都具有巨大应用意义。随着大数据技术的发展，业务日志的存储技术越来越被企业所重视，搭建业务日志的存储平台可以使企业对内部的业务日志进行收集和存储，并对存储的业务日志进行集中管理，提前发现这些业务日志中的异常并处理对减少企业的损失具有重大意义；并且业务日志的存储平台可以使企业的业务系统集成度更高，便于管理，另外业务日志的集中存储也便于进行企业不同业务日志之间的关联性分析，对企业管理和发展具有重大意义。但是，现有技术中的业务日志存储平台的通用性较差且不具有预警功能，当随着企业的发展出现新的业务日志种类需要存储或数据量过大需要业务日志存储平台进行自动预警时，需要专业的技术人员进行脚本编写以实现对业务日志存储平台的升级，这个过程不仅复杂而且一般的企业人员无法掌握脚本编写的技术。
技术实现思路
为解决上述技术问题，本专利技术提供了一种业务日志收集及预警系统和业务日志收集及预警方法，以实现提供一种通用性较好且具有预警功能的业务日志收集及预警系统的目的。为实现上述技术目的，本专利技术实施例提供了如下技术方案：一种业务日志收集及预警系统，包括：接收部，用于获取配置信息，所述配置信息包括待接收业务日志种类及接收规则，所述待接收业务日志种类为预设业务日志种类集合的子集，根据所述配置信息接收业务日志并按照预设要素创建索引存储于搜索服务器中；配置部，用于获取预警规则；调度部，用于根据所述预警规则调用预警任务；解析部，用于解析所述预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果存储于数据库中；显示部，用于显示所述预警结果。优选的，所述预设要素为日期。优选的，所述预警规则由至少一个预设参数构成，所述预设参数包括业务日志种类、时间段、字段值、预设规则和出现次数。优选的，所述调度部具体用于设定预设频率，并根据所述预设频率及预警规则调用预警任务。优选的，所述接收部为日志搜集处理框架。一种业务日志收集及预警方法，包括：获取配置信息，所述配置信息包括待接收业务日志种类及接收规则，所述待接收业务日志种类为预设业务日志种类集合的子集；根据所述配置信息接收业务日志并按照预设要素创建索引存储于搜索服务器中；获取预警规则；根据所述预警规则调用预警任务；解析所述预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果；将所述预警结果存储于数据库中；显示所述预警结果。优选的，所述预设要素为日期。优选的，所述预警规则由至少一个预设参数构成，所述预设参数包括日志种类、时间段、字段值、预设规则和出现次数。优选的，所述根据所述预警规则调用预警任务包括：设定预设频率；根据所述预设频率及预警规则调用预警任务。优选的，所述获取配置信息包括：通过日志搜集处理框架生成配置信息。从上述技术方案可以看出，本专利技术实施例提供了一种业务日志收集及预警系统和业务日志收集及预警方法，其中，所述业务日志收集及预警系统的接收部用于获取配置信息并根据所述配置信息接收业务日志并按照预设要素创建索引存储于搜索服务器中，所述配置信息中包括待接收业务日志种类及接收规则，所述待接收业务日志种类为预设业务日志种类集合的子集，当企业需要对待接收业务日志种类进行更改时，只需要利用所述接收部输入新的配置信息即可根据新的配置信息进行业务日志的收集和存储。另外，所述业务日志收集及预警系统还可以通过所述配置部进行预警规则的输入，通过所述调度部和解析部调用和解析预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果存储于数据库中，实现对业务日志的预警；同样的，当需要对预警规则进行更新时，只需要通过所述配置部输入新的预警规则即可，因此所述业务日志收集及预警系统的通用性更高，不需要专业的技术人员进行脚本编写对系统进行更新，可以仅通过简单的配置信息和预警规则的更新实现新的业务日志种类的收集存储，以及根据新的预警规则实现预警功能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请的一个实施例提供的一种业务日志收集及预警系统的结构示意图；图2为本申请的一个实施例提供的一种业务日志收集及预警方法的流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请实施例提供了一种业务日志收集及预警系统，如图1所示，包括：接收部100，用于获取配置信息，所述配置信息包括待接收业务日志种类及接收规则，所述待接收业务日志种类为预设业务日志种类集合的子集，根据所述配置信息接收业务日志并按照预设要素创建索引存储于搜索服务器中；配置部200，用于获取预警规则；调度部300，用于根据所述预警规则调用预警任务；解析部400，用于解析所述预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果存储于数据库中；显示部500，用于显示所述预警结果。需要说明的是，所述预设业务日志种类集合中包含有常用来源的业务日志种类，比如存储在数据库中的业务日志，syslog业务日志、以文本形式存储的业务日志以及以http方式或webservice方式发送的业务日志数据等。本申请对所述预设业务日志种类集合中所包括的具体的业务日志种类并不做限定，具体视实际情况而定。所述配置信息包括的待接收业务日志种类为所述预设业务日志种类集合的子集，即当企业需要对待接收业务日志种类进行更改时，可以通过向所述接收部100输入不同的配置信息即可实现对需要收集和预警的业务日志的更新，这种更新可以是在原来需要收集和预警的业务日志的种类的基础上的增加，也可以是在原来需要收集和预警的业务日志种类的基础上的删除，还可以是完全替换原来需要收集和预警的业务日志种类。另外，所述接收规则是针对不同种类的业务日志的数据密码，比如针对存储在数据库中的业务日志而言，由于数据库本身不具备发送功能，需要所述接收部100去数据库中获取数据，因此需要针对这种类型的业务日志设置相应的接收规则。同样的，其他种类的业务日志也同样需要相应的接收规则，由于根据不同种类的业务日志设置相应的接收规则的方法已为本领域技术人员所熟知，本申请在此不作赘述。另外，所述业务日志收集及预警系统还可以通过所述配置部200进行预警规则的输入，通过所述调度部300和解析部400调用和解析预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果存储于数据库中，实现对业务日志的预警；本文档来自技高网...

【技术保护点】
一种业务日志收集及预警系统，其特征在于，包括：接收部，用于获取配置信息，所述配置信息包括待接收业务日志种类及接收规则，所述待接收业务日志种类为预设业务日志种类集合的子集，根据所述配置信息接收业务日志并按照预设要素创建索引存储于搜索服务器中；配置部，用于获取预警规则；调度部，用于根据所述预警规则调用预警任务；解析部，用于解析所述预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果存储于数据库中；显示部，用于显示所述预警结果。

【技术特征摘要】
1.一种业务日志收集及预警系统，其特征在于，包括：接收部，用于获取配置信息，所述配置信息包括待接收业务日志种类及接收规则，所述待接收业务日志种类为预设业务日志种类集合的子集，根据所述配置信息接收业务日志并按照预设要素创建索引存储于搜索服务器中；配置部，用于获取预警规则；调度部，用于根据所述预警规则调用预警任务；解析部，用于解析所述预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果存储于数据库中；显示部，用于显示所述预警结果。2.根据权利要求1所述的业务日志收集及预警系统，其特征在于，所述预设要素为日期。3.根据权利要求1所述的业务日志收集及预警系统，其特征在于，所述预警规则由至少一个预设参数构成，所述预设参数包括业务日志种类、时间段、字段值、预设规则和出现次数。4.根据权利要求1所述的业务日志收集及预警系统，其特征在于，所述调度部具体用于设定预设频率，并根据所述预设频率及预警规则调用预警任务。5.根据权利要求1所述的业务日志收集及预警系统，其特征在于，所述接收部为日志搜集处理框架...

【专利技术属性】
技术研发人员：张峥嵘，邓智，李宗继，
申请(专利权)人：北京北信源软件股份有限公司，
类型：发明
国别省市：北京;11