一种分布式实时入侵检测方法及检测系统技术方案

本发明专利技术公开了一种分布式实时入侵检测方法，其中，所述分布式实时入侵检测方法包括：采集不同类型服务器的日志数据；将所述日志数据进行缓存；同步进行对缓存的所述日志数据的存储以及对缓存的所述日志数据的安全分析，得到日志安全分析结果；输出所述日志安全分析结果。本发明专利技术还公开了一种分布式实时入侵检测系统。本发明专利技术提供的分布式实时入侵检测方法提高了入侵检测的实时性，同时克服了日志数据量较大时，单点集中式日志处理的低效问题。

【技术实现步骤摘要】
一种分布式实时入侵检测方法及检测系统
本专利技术涉及计算机网络安全
，尤其涉及一种分布式实时入侵检测方法及一种分布式实时入侵检测系统。
技术介绍
互联网的开放性、共享性，以及越来越多的基于互联网的web网站的应用，使得更多的安全缺口被暴露，对web网站的攻击逐渐取代网络服务器的攻击成为更多攻击者的选择。针对自身网站建立完善的安全防护策略以及入侵检测机制将会给网站运维人员带来福音。web日志记录了网站访问操作的所有行为，是分析异常入侵行为的最好方式，但是攻击日志的隐蔽性、日志数据的大量性以及日志格式的异构性，对传统的人为分析方式和日志集中式分析方式提出了很大的挑战。且当前的基于日志的入侵检测大都着重于事后分析，进行事件的检测、追踪以及事后的追责，缺乏对实时日志流数据的即时分析，不能在第一时间发现攻击行为并及时做出响应。如图1所示，传统的入侵检测系统采用先入库再分析的架构模型，且安全分析引擎采用集中式单节点分析。数据先入库再集中分析，在实时性上就已经有所损耗，且集中式分析引擎在数据量较大的情况下延时较高，在分析节点不稳定的情况下容易造成单点故障。因此，如何能够对于网站的访问日志进行实时入侵分析成为本领域技术人员亟待解决的技术问题。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一，提供一种分布式实时入侵检测方法及一种分布式实时入侵检测系统，以解决现有技术中的问题。作为本专利技术的第一个方面，提供一种分布式实时入侵检测方法，其中，所述分布式实时入侵检测方法包括：采集不同类型服务器的日志数据；将所述日志数据进行缓存；同步进行对缓存的所述日志数据的存储以及对缓存的所述日志数据的安全分析，得到日志安全分析结果；输出所述日志安全分析结果。优选地，所述日志数据包括时间敏感性数据，且带有时间戳。优选地，所述同步进行对缓存的所述日志数据的存储以及对缓存的所述日志数据的安全分析，得到日志安全分析结果包括：对缓存的所述日志数据进行时序数据专用操作以及对缓存的所述日志数据进行冗余操作；对缓存的所述日志数据进行实时预处理得到预处理数据；对所述预处理数据进行入侵行为分析，得到日志安全分析结果。优选地，所述对缓存的所述日志数据进行实时预处理得到预处理数据包括：对缓存的所述日志数据进行类型匹配；将类型匹配得到的不完整数据或错误数据进行清理；对经过清理后的日志数据进行日志格式化；对经过日志格式化的日志数据通过增加标签的方式进行日志标记。优选地，所述对所述预处理数据进行入侵行为分析，得到日志安全分析结果包括：对所述预处理数据采用误用检测的方式判断所述预处理数据是否为异常访问日志；若所述预处理数据与特征库的特征匹配成功，则判定所述预处理数据为异常访问日志，并对所述预处理数据进行报警显示；若所述预处理数据与特征库的特征匹配不成功，则对所述预处理数据采用异常检测的方式判断所述预处理数据是否为异常访问日志；若所述预处理数据的特定特征值与正常访问模块的偏离程度达到设定阈值，则判定所述预处理数据为异常访问日志，否则判定为正常访问日志。优选地，所述分布式实时入侵检测方法还包括：对所述日志安全分析结果和存储的所述日志数据进行查询检索，得到查询检索结果；输出所述查询检索结果。作为本专利技术的第二个方面，提供一种分布式实时入侵检测系统，其中，所述分布式实时入侵检测系统包括：日志采集模块，所述日志采集模块用于采集不同类型服务器的日志数据；日志缓存模块，所述日志缓存模块用于将所述日志数据进行缓存，并将缓存的所述日志数据同步发送至日志存储模块和日志安全分析模块；日志存储模块，所述日志存储模块用于对缓存的所述日志数据的存储；日志安全分析模块，所述日志安全分析模块用于对缓存的所述日志数据的安全分析，得到日志安全分析结果；输出模块，所述输出模块用于输出所述日志安全分析结果。优选地，所述日志存储模块包括数据库和分布式文件系统，所述数据库用于对缓存的所述日志数据进行时序数据专用操作；所述分布式文件系统用于对缓存的所述日志数据进行冗余操作。优选地，所述日志安全分析模块包括日志预处理单元和日志安全分析单元，所述日志预处理单元用于对缓存的所述日志数据进行实时预处理得到预处理数据；所述日志安全分析单元用于对所述预处理数据进行入侵行为分析，得到日志安全分析结果。优选地，所述分布式实时入侵检测系统还包括：日志查询检索模块，所述日志查询检索模块用于对所述日志安全分析结果和存储的所述日志数据进行查询检索，得到查询检索结果。本专利技术提供的分布式实时入侵检测方法，在对日志数据进行缓存后，将日志数据的存储和日志数据的安全分析同步进行，使得日志数据能够在第一时间得以处理，减少了数据入库和出库的延时，提高了入侵检测的实时性，同时克服了日志数据量较大时，单点集中式日志处理的低效问题。附图说明附图是用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术，但并不构成对本专利技术的限制。在附图中：图1为传统的入侵检测系统。图2为本专利技术提供的分布式实时入侵检测方法流程图。图3为本专利技术提供的分布式实时入侵检测方法中日志预处理的流程示意图。图4为本专利技术提供的分布式实时入侵检测方法中安全分析的流程示意图。图5为本专利技术提供的分布式实时入侵检测方法中检测方式示意图。图6为本专利技术提供的分布式实时入侵检测系统的结构示意图。图7为本专利技术提供的分布式实时入侵检测系统的部分结构示意图。图8为本专利技术提供的分布式实时入侵检测系统的具体实施方式的结构示意图。具体实施方式以下结合附图对本专利技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术，并不用于限制本专利技术。作为本专利技术的第一个方面，提供一种分布式实时入侵检测方法，其中，如图2所示，所述分布式实时入侵检测方法包括：S110、采集不同类型服务器的日志数据；S120、将所述日志数据进行缓存；S130、同步进行对缓存的所述日志数据的存储以及对缓存的所述日志数据的安全分析，得到日志安全分析结果；S140、输出所述日志安全分析结果。本专利技术提供的分布式实时入侵检测方法，在对日志数据进行缓存后，将日志数据的存储和日志数据的安全分析同步进行，使得日志数据能够在第一时间得以处理，减少了数据入库和出库的延时，提高了入侵检测的实时性，同时克服了日志数据量较大时，单点集中式日志处理的低效问题。需要说明的是，为了实现实时入侵检测，在处理流程中使用stom流处理框架，根据处理逻辑，创建多个不同的流处理流程，这些流程可实现并行分布式运行，提高了处理的效率，更好地实现实时分析检测。应当理解的是，通过采集不同类型的服务器的日志数据，实现了分布式的日志数据的采集，从而能够实现分布式实时入侵的检测。具体地，所述日志数据包括时间敏感性数据，且带有时间戳。作为一种具体地实施方式，所述同步进行对缓存的所述日志数据的存储以及对缓存的所述日志数据的安全分析，得到日志安全分析结果包括：对缓存的所述日志数据进行时序数据专用操作以及对缓存的所述日志数据进行冗余操作；对缓存的所述日志数据进行实时预处理得到预处理数据；对所述预处理数据进行入侵行为分析，得到日志安全分析结果。进一步地，所述对缓存的所述日志数据进行实时预处理得到预处理数据包括：对缓存的所述日志数本文档来自技高网...

【技术保护点】
一种分布式实时入侵检测方法，其特征在于，所述分布式实时入侵检测方法包括：采集不同类型服务器的日志数据；将所述日志数据进行缓存；同步进行对缓存的所述日志数据的存储以及对缓存的所述日志数据的安全分析，得到日志安全分析结果；输出所述日志安全分析结果。

【技术特征摘要】
1.一种分布式实时入侵检测方法，其特征在于，所述分布式实时入侵检测方法包括：采集不同类型服务器的日志数据；将所述日志数据进行缓存；同步进行对缓存的所述日志数据的存储以及对缓存的所述日志数据的安全分析，得到日志安全分析结果；输出所述日志安全分析结果。2.根据权利要求1所述的分布式实时入侵检测方法，其特征在于，所述日志数据包括时间敏感性数据，且带有时间戳。3.根据权利要求2所述的分布式实时入侵检测方法，其特征在于，所述同步进行对缓存的所述日志数据的存储以及对缓存的所述日志数据的安全分析，得到日志安全分析结果包括：对缓存的所述日志数据进行时序数据专用操作以及对缓存的所述日志数据进行冗余操作；对缓存的所述日志数据进行实时预处理得到预处理数据；对所述预处理数据进行入侵行为分析，得到日志安全分析结果。4.根据权利要求3所述的分布式实时入侵检测方法，其特征在于，所述对缓存的所述日志数据进行实时预处理得到预处理数据包括：对缓存的所述日志数据进行类型匹配；将类型匹配得到的不完整数据或错误数据进行清理；对经过清理后的日志数据进行日志格式化；对经过日志格式化的日志数据通过增加标签的方式进行日志标记。5.根据权利要求3所述的分布式实时入侵检测方法，其特征在于，所述对所述预处理数据进行入侵行为分析，得到日志安全分析结果包括：对所述预处理数据采用误用检测的方式判断所述预处理数据是否为异常访问日志；若所述预处理数据与特征库的特征匹配成功，则判定所述预处理数据为异常访问日志，并对所述预处理数据进行报警显示；若所述预处理数据与特征库的特征匹配不成功，则对所述预处理数据采用异常检测的方式判断所述预处理数据是否为异常访问日志；若所述预处理数据的特定特征值与正常访问模块的偏离程...

【专利技术属性】
技术研发人员：吴梦悦，赵旦谱，台宪青，
申请(专利权)人：江苏物联网研究发展中心，
类型：发明
国别省市：江苏,32