一种海量事件的处理方法及装置制造方法及图纸

本发明专利技术公开了一种海量事件的处理方法及装置，其方法包括：事件处理引擎通过多线程的方式，将接收到的不同时间范围的事件数据依据预定的时间范围分段规则存储到每个时间分段所对应的时间分段数据表中；事件查询引擎根据用户输入的时间范围，从时间范围所包含的时间分段所对应的时间分段数据表中查询相应的事件数据。采用本发明专利技术，可以在提高查询速度的同时，不降低事件的入库速度，且基本不增加磁盘占用空间。

【技术实现步骤摘要】
一种海量事件的处理方法及装置
本专利技术涉及计算机系统信息安全应用技术，尤其涉及一种海量事件的处理方法及装置。
技术介绍
随着信息技术的飞速发展，政府和企事业单位的核心业务的信息化程度越来越高，信息设备也越来越多，同时，随着信息系统网络化的程度越来越高，面临的信息安全风险也日益增加。信息系统相关的各种软硬件设备、主机、应用系统、安全防护设施都会产生日志，并且这些设备都分散在网络拓扑中的不同位置，它们各自产生日志，由于每种设备类型的日志格式都不相同，并且每个设备或应用系统都有自己的日志查看控制台，因此，对于审计人员来说信息量太大了，根本没有精力去查看这么多控制台，更不要说去分析其中的日志信息了。另一方面，为了加强内控，国家机关和行业的主管部门也相继颁布了各种合规和内控方面的法律法规和指引，在这种情况下，针对网络中业务系统进行全方位审计的系统是越来越重要，日志审计系统就是为了应对这种挑战而出现的。在日志审计系统的应用环境中，很多设备，尤其是网络安全设备产生的日志量十分巨大，单个防火墙每秒就可能产生成千上万条的日志信息，而全网的设备每天产生的日志量就更加可观，可能数以百GB计。日志审计系统能够实现对分散的海量日志进行收集，同时对这些日志格式进行规范化统一描述，以实现对日志的集中化存储、分析、审计和展示，并满足相关法规标准的符合性要求。日志审计系统最主要的应用环境是海量日志的保存、取证，同时，对于海量日志的查询，也是日志审计系统或安全管理平台必需的功能。但是，随着系统里存储的事件越来越多，查询的速度却越来越慢，用户的体验也会越来越差，这是目前日志审计系统与安全管理平台普遍面临的难题之一。综上所述，当前日志审计系统主要面临如下问题:1)事件入库速度与事件查询速度互相制约的矛盾；2)入库事件量越来越大与事件查询速度越来越慢的矛盾。
技术实现思路
本专利技术解决的技术问题是提供一种海量事件的处理方法及装置，在提高查询速度的同时，不降低事件的入库速度，且基本不增加磁盘占用空间。为解决上述技术问题，本专利技术提供了一种海量事件的处理方法，所述方法包括:事件处理引擎通过多线程的方式，将接收到的不同时间范围的事件数据依据预定的时间范围分段规则存储到每个时间分段所对应的时间分段数据表中；事件查询引擎根据用户输入的时间范围，从所述时间范围所包含的时间分段所对应的时间分段数据表中查询相应的事件数据。其中，上述方法还包括:所述事件处理引擎还依据预定的时间范围分片规则，将同一个时间分段的事件数据存储到所述时间分段内的多个时间分片所对应的时间分片数据表中；所述事件查询引擎根据用户输入的时间范围，依次查询所述时间范围所包含的各时间分片所对应的时间分片数据表中的事件数据。其中，所述不同时间分段时间表或者不同时间分片数据表存储在相同的数据库服务器上，或者存储在多个数据库服务器上。其中，上述方法还包括:对查询到的所述时间分段数据表或者所述时间分片数据表中的事件数据进行展/Jn ο其中，将查询到的所述时间分段数据表或者所述时间分片数据表中的事件数据以柱状图的方式进行展示。本专利技术还提供了一种海量事件的处理装置，所述装置包括:存储模块，通过多线程的方式，将接收到的不同时间范围的事件数据依据预定的时间范围分段规则存储到每个时间分段所对应的时间分段数据表中；查询模块，根据用户输入的时间范围，从所述时间范围所包含的时间分段所对应的时间分段数据表中查询相应的事件数据。其中，展示模块，对查询到的所述时间分段数据表或者所述时间分片数据表中的事件数据进行展示。其中，所述存储模块，还用于依据预定的时间范围分片规则，将同一个时间分段的事件数据存储到所述时间分段内的多个时间分片所对应的时间分片数据表中；所述查询模块，用于根据用户输入的时间范围，依次查询所述时间范围所包含的各时间分片所对应的时间分片数据表中的事件数据。其中，所述存储模块，用于将不同时间分段时间表或者不同时间分片数据表存储在相同的数据库服务器上，或者存储在多个数据库服务器上。其中，所述展示模块，用于将查询到的所述时间分段数据表或者所述时间分片数据表中的事件数据以柱状图的方式进行展示。本申请针对目前的技术方案中存在的主要问题而设计了一种高性能的海量事件的处理方法，包括了事件的存储方法与事件查询方法，通过分段处理与并发处理的技术，通过对时间进行分段及进一步切片，大幅度地提高了事件查询速度，极大地提高了事件查询处理能力与用户体验。【附图说明】此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中:图1为本专利技术实施例的海量事件处理方法的示意图；图2为本专利技术实施例的单机部署方案的海量事件处理装置的示意图；图3为本专利技术实施例的分布式部署方案的海量事件处理装置的示意图。【具体实施方式】为了便于阐述本专利技术，以下将结合附图及具体实施例对本专利技术技术方案的实施作进一步详细描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。本实施例提供一种海量事件处理方法，其具体包括如下内容:分段存储、分段查询、分段展示。分段存储，具体是指对接收到的事件数据按照时间进行分段存储，依据预定的时间范围分段规则存储到每个时间分段所对应的时间分段数据表中；或者，依据预定的时间范围分片规则，将同一个时间分段的事件数据存储到所述时间分段内的多个时间分片所对应的时间分片数据表中；分段查询，具体是指对查询时间进行分段，根据用户输入的时间范围，从所述时间范围所包含的时间分段或者时间分片所对应的时间分段数据表或者时间分片数据表中查询相应的事件数据；分段展示，具体是指将分段/分片查询的结果分段展示给用户。本实施例提供一种海量事件处理装置，该装置主要由存储模块、查询模块(也称为查询引擎)、展示模块三部分组成。其中，存储模块主要负责对接收到的事件流进行存储，为了加快查询速度，本实施例采用了分段存储的方式，事件存储是事件查询的基础；查询引擎，主要负责从存储模块中快速查询相关数据并返回，具体可根据用户输入的查询条件的时间范围，通过一定的算法，将查询时间分段，然后分段进行查询；或者再根据对时间分段的切片进行分片查询；展示模块是系统与用户交互的直接接口，主要功能是与查询模块结合，将分段和/或分片查询的结果分段展现给用户。其中，存储模块，通过多线程的方式，将接收到的不同时间范围的事件数据依据预定的时间范围分段规则存储到每个时间分段所对应的时间分段数据表中；查询模块，根据用户输入的时间范围，从所述时间范围所包含的时间分段所对应的时间分段数据表中查询相应的事件数据。其中，展示模块，对查询到的所述时间分段数据表或者所述时间分片数据表中的事件数据进行展示。其中，所述存储模块，还用于依据预定的时间范围分片规则，将同一个时间分段的事件数据存储到所述时间分段内的多个时间分片所对应的时间分片数据表中；所述查询模块，用于根据用户输入的时间范围，依次查询所述时间范围所包含的各时间分片所对应的时间分片数据表中的事件数据。其中，所述存储模块，用于将不同时间分段时间表或者不同时间分片数据表存储在相同的数据库服务器上，或者存储在多个数据库服务器上。其中，所述展示模块，用于本文档来自技高网...

【技术保护点】
一种海量事件的处理方法，所述方法包括：事件处理引擎通过多线程的方式，将接收到的不同时间范围的事件数据依据预定的时间范围分段规则存储到每个时间分段所对应的时间分段数据表中；事件查询引擎根据用户输入的时间范围，从所述时间范围所包含的时间分段所对应的时间分段数据表中查询相应的事件数据。

【技术特征摘要】
1.一种海量事件的处理方法，所述方法包括: 事件处理引擎通过多线程的方式，将接收到的不同时间范围的事件数据依据预定的时间范围分段规则存储到每个时间分段所对应的时间分段数据表中； 事件查询引擎根据用户输入的时间范围，从所述时间范围所包含的时间分段所对应的时间分段数据表中查询相应的事件数据。2.如权利要求1所述的方法，还包括: 所述事件处理引擎还依据预定的时间范围分片规则，将同一个时间分段的事件数据存储到所述时间分段内的多个时间分片所对应的时间分片数据表中； 所述事件查询引擎根据用户输入的时间范围，依次查询所述时间范围所包含的各时间分片所对应的时间分片数据表中的事件数据。3.如权利要求1或2所述的方法，其中: 所述不同时间分段时间表或者不同时间分片数据表存储在相同的数据库服务器上，或者存储在多个数据库服务器上。4.如权利要求1或2所述的方法，还包括: 对查询到的所述时间分段数据表或者所述时间分片数据表中的事件数据进行展示。5.如权利要求4所述的方法，其中: 将查询到的所述时间分段数据表或者所述时间分片数据表中的事件数据以柱状图的方式进行展示。6.一种海量事件的处理...

【专利技术属性】
技术研发人员：赵俊峰，裴泽龙，
申请(专利权)人：北京启明星辰信息技术股份有限公司，北京启明星辰信息安全技术有限公司，
类型：发明
国别省市：北京;11