一种非结构化事件日志数据的实时监控方法与装置制造方法及图纸

本发明专利技术提供了一种非结构化事件日志数据的实时监控方法与装置，此存储装置包括：事件分类器、指标计算器、指标内存数据库、事件分片与存储模块、监控平台、指标历史数据库、分布文件系统，此方法步骤包括：事件初筛：将收集的数据信息进行初步筛选；事件分类：利用事件分类器根据事件的内容进行初步的探查，根据事件的类别进行划分；指标计算：分类后的事件通过指标计算器根据一系列指标进行计算；事件划分：计算后的事件按事件类型及ID进行Hash划分，便于后续存储；事件存储：将划分好的事件保存到分布式文件系统。本发明专利技术实现了对事件的实时监控，及时处理事件日志数据，防止数据丢失。

【技术实现步骤摘要】

本专利技术涉及一种数据存储技术，尤其涉及一种非结构化事件日志数据的实时监控方法与装置。
技术介绍
随着各类企业信息系统的建设和完善，非结构化数据存储技术快速发展。一旦企业各业务系统出现安全事件、发生故障或形成性能瓶颈，不能被及时发现、及时处理、及时恢复，势必会直接影响承载在其上所有业务的运行，影响企业的正常运营秩序，企业业务不能正常开展。因此，对于政府和企业IT基础实施的安全保障就显得格外重要。随着信息化程度地不断提高，各业务系统间联系越来越密切，数据交换越来越频繁，各系统有着复杂网络或逻辑连接，存在大量数据交换，如果一个故障就可以引发成为企业全网故障，一点系统出现漏洞感染病毒或受到攻击，将迅速波及其它业务系统及网络，甚至导致企业全网瘫痪。企业IT系统产生了丰富的日志数据，随着存储设备成本的降低，没有理由丢弃这些数据，然而，缺乏相应的分析工具来存储和关联这些异构的日志数据，使得进行大数据分析更为艰难，而且对于事件信息的实时监控也是非常重要的，直接影响着数据是否能及时处理。
技术实现思路
针对上述问题，本专利技术提出了一种非结构化事件日志数据的实时监控方法与装置，实现事件的实时持续监控，防止数据丢失。本专利技术提出了一种非结构化事件日志数据的实时监控方法，包括：a.事件初筛：将收集的数据信息进行初步筛选，将信息数据根据字段条件进行筛选过滤，提取重要属性；b.事件分类：利用事件分类器根据事件的内容进行初步的探查，根据事件的类别进行划分，基于关键字或主题模型对事件信息进行分类；c.指标计算：分类后的事件通过指标计算器根据一系列指标进行计算；d.事件划分：计算后的事件按事件类型及ID进行Hash划分，便于后续存储；e.事件存储：将划分好的事件保存到分布式文件系统。进一步，所述指标计算是指把各个指标的计算过程合并为一个处理流程，一旦事件流过这个流程，各个指标可以适时计算出来，然后提交给一个内存数据库缓存，便于进行事件数据展示。进一步，所述指标计算转化成一个查询计划树，所述查询计划树的操作步骤包括扫描、过滤、投影、分组、聚集，便于后续检索查询事件。进一步，所述指标计算在内存中都维护一个Hash表，当指标的计算完成，事件已经从上一分钟结束，到达下一分钟，完成的统计指标交给指标内存数据库，同时通知监控平台更新仪表板，便于对事件进行实时监控。进一步，所述内存数据库保存最近的指标，历史指标不断转存到指标历史数据库，防止事件数据丢失。本专利技术还提供一种非结构化事件日志数据的实时监控装置，包括：事件分类器、指标计算器、指标内存数据库、事件分片与存储模块、监控平台、指标历史数据库、分布文件系统，所述事件分类器与指标计算器相连通，指标计算器连通指标内存数据库，指标内存数据库与监控平台连通，指标内存数据库一个端口与指标历史数据库连接，指标内存数据库的下端设有事件分片与存储模块，事件分布与存储模块与分布式文件系统连接。进一步，所述指标计算器安装在单独的事件处理服务器中，便于各个指标的计算。进一步，所述指标计算器是指把各个指标的计算过程合并为一个处理流程，一旦事件流过这个流程，各个指标可以适时计算出来，然后提交给指标内存数据库缓存，将事件数据进行指标计算处理，便于事件的分类处理。进一步，所述指标计算器计算完成后，完成的统计指标交给指标内存数据库，同时监控平台上更新仪表板。本专利技术的有益效果为：一种非结构化事件日志数据的实时监控方法与装置，将带有时间、地理位置、来源、事件描述等不同来源的事件信息进行持续监控，实时了解事件发展态势，及时处理事件日志，防止数据丢失，提高了事件数据分析的效率和准确性。附图说明图1为本专利技术一种非结构化事件日志数据的实时监控方法流程图；图2为本专利技术一种非结构化事件日志数据的实时监控装置示意图；图3为本专利技术所述查询计划树的示意图。具体实施方式结合图1所示，一种非结构化事件日志数据的实时监控方法，包括：a.事件初筛：将收集的数据信息进行初步筛选，将信息数据根据字段条件进行筛选过滤，提取重要属性；b.事件分类：利用事件分类器根据事件的内容进行初步的探查，根据事件的类别进行划分，基于关键字或主题模型对事件信息进行分类；c.指标计算：分类后的事件通过指标计算器根据一系列指标进行计算；d.事件划分：计算后的事件按事件类型及ID进行Hash划分，便于后续存储；e.事件存储：将划分好的事件保存到分布式文件系统。结合图3所示，指标计算是指把各个指标的计算过程合并为一个处理流程，一旦事件流过这个流程，各个指标可以适时计算出来，然后提交给一个内存数据库缓存。所述指标计算转化成一个查询计划树，所述查询计划树的操作步骤包括扫描、过滤、投影、分组、聚集。所述指标计算在内存中都维护一个Hash表，当指标的计算完成，事件已经从上一分钟结束，到达下一分钟，完成的统计指标交给指标内存数据库，同时通知监控平台更新仪表。所述内存数据库保存最近的指标，历史指标不断转存到指标历史数据库。结合图2所示，一种非结构化事件日志数据的实时监控装置，包括：事件分类器、指标计算器、指标内存数据库、事件分片与存储模块、监控平台、指标历史数据库、分布文件系统，所述事件分类器与指标计算器相连通，指标计算器连通指标内存数据库，指标内存数据库与监控平台连通，指标内存数据库一个端口与指标历史数据库连接，指标内存数据库的下端设有事件分片与存储模块，事件分布与存储模块与分布式文件系统连接。所述指标计算器安装在单独的事件处理服务器中，便于各个指标的计算。所述指标计算器是指把各个指标的计算过程合并为一个处理流程，一旦事件流过这个流程，各个指标可以适时计算出来，然后提交给指标内存数据库缓存，将事件数据进行指标计算处理，便于事件的分类处理。所述指标计算器计算完成后，完成的统计指标交给指标内存数据库，同时监控平台上更新仪表板。实施例：首先将事件进行初筛，然后通过事件分类器对不同事件类别进行分类处理，事件分类器根据事件的内容进行初步探查，根据关键字或主题模型对事件信息进行分类，分类处理好的事件被传输到指标计算器中进行指标计算，根据特定的分组标准或是时间周期建立指标，指标的计算可以转化成一个查询计划树，该查询计划树主要的操作包括扫描、过滤、投影、分组、聚集等，我们把各个指标计算的扫描整合到一起，形成一个查询计划树，便于后续事件的检索查询，我们在内存中为每个指标的计算，维护了一个Hash表，当指标的计算完成，计算后的事件按事件类型及ID进行Hash划分，便于后续存储，比如事件已经从上一分钟结束，而到达下一分钟，则上一分钟的统计指标计算完成，交给指标内存数据库，同时通知监控平台进行仪表板更新，以此达到事件实时监控，此指标内存数据库仅仅保存最近的指标数据，历史的指标数据不断转存到指标历史数据库，必要时可以查询出来，进行显示和对比，本专利技术支持历史明细信息的查询，在某些特定字段上建有轻量级索引，支持对历史数据的查询，当需要针对某个指标进行查询时，可以把相关查询条件发送给历史信息查询器，由其从分布式文件系统中提取具体指标信息，进行深入探查。以上显示和描述了本专利技术的基本原理和主要特征以及本专利技术的优点。本行业的技术人员应该了解，本专利技术不受上述实施例的限制，上述实施例和说明书中描述的只是说明本专利技术的原理，在不脱离本专利技术本文档来自技高网...

【技术保护点】
一种非结构化事件日志数据的实时监控方法，其特征在于，包括以下步骤：a.事件初筛：将收集的数据信息进行初步筛选，将信息数据根据字段条件进行筛选过滤，提取重要属性；b.事件分类：利用事件分类器根据事件的内容进行初步的探查，根据事件的类别进行划分，基于关键字或主题模型对事件信息进行分类；c.指标计算：分类后的事件通过指标计算器根据一系列指标进行计算；d.事件划分：计算后的事件按事件类型及ID进行Hash划分，便于后续存储；e.事件存储：将划分好的事件保存到分布式文件系统。

【技术特征摘要】
1.一种非结构化事件日志数据的实时监控方法，其特征在于，包括以下步骤：a.事件初筛：将收集的数据信息进行初步筛选，将信息数据根据字段条件进行筛选过滤，提取重要属性；b.事件分类：利用事件分类器根据事件的内容进行初步的探查，根据事件的类别进行划分，基于关键字或主题模型对事件信息进行分类；c.指标计算：分类后的事件通过指标计算器根据一系列指标进行计算；d.事件划分：计算后的事件按事件类型及ID进行Hash划分，便于后续存储；e.事件存储：将划分好的事件保存到分布式文件系统。2.根据权利要求1所述的一种非结构化事件日志数据的实时监控方法，其特征在于，所述指标计算是指把各个指标的计算过程合并为一个处理流程，一旦事件流过这个流程，各个指标可以适时计算出来，然后提交给一个内存数据库缓存。3.根据权利要求2所述的一种非结构化事件日志数据的实时监控方法，其特征在于，所述指标计算转化成一个查询计划树，所述查询计划树的操作步骤包括扫描、过滤、投影、分组、聚集。4.根据权利要求3所述的一种非结构化事件日志数据的实时监控方法，其特征在于，所述指标计算在内存中都维护一个Hash表，当指标的计算完成，事件已经从上一分钟结束，到达下一分钟，完成的统计指标交给指标内存...

【专利技术属性】
技术研发人员：陈凌岳，
申请(专利权)人：安徽天枢信息科技有限公司，
类型：发明
国别省市：安徽;34