一种日志流异常检测的方法及系统技术方案

本申请公开了一种日志流异常检测的方法，所述方法包括：利用检测模型对待检日志流进行异常检测，并根据检测结果判断所述待检日志流是否存在异常；其中，所述检测模型为通过根据训练日志流按照异常检测算法训练初始模型得到；若所述待检日志流存在所述异常，则判断所述异常是否为已知威胁；若所述异常不是所述已知威胁，则根据接收的异常复检信息更新所述检测模型；该方法对日志流中的异常进行识别并对新的异常进行自主学习，既可以识别已知威胁，也能够学习未知事件，提升了网络环境的安全性；本申请还公开了一种日志流异常检测的系统，具有以上有益效果。

Method and system for abnormal detection of log stream

The invention discloses a method of log flow anomaly detection, the method includes a detection model of detected log stream anomaly detection, and judging whether the detected log stream is abnormal according to the detection result; among them, the detection model according to the training log stream according to the anomaly detection algorithm for initial training model; if the detected the presence of the abnormal log stream, judging the abnormal or known threat; if the anomaly is not a known threat, according to the abnormal examination information update received by the detection model; the method of anomaly recognition log stream and the new anomaly independently study can identify known threats, also can learn unknown events, to enhance the security of the network environment of the system; the invention also discloses a log stream anomaly detection, Have the above beneficial effect.

【技术实现步骤摘要】
一种日志流异常检测的方法及系统
本专利技术涉及网络安全领域，特别涉及一种日志流异常检测的方法及系统。
技术介绍
在科技迅猛发展的今天，保证网络的安全已经成为互联网技术发展的前提，若网络安全出现问题，会对某些企业造成难以想象的打击，因此网络安全成为各种互联网技术的重中之重。随着数据处理、分析能力的提升，以及机器学习等人工智能技术的成熟，解决网络安全问题的技术层出不穷，但是在技术层面上来，这些技术的原理基本相同。现有技术在网络安全领域中通过对各类日志流分析，进行异常发现、安全检测，进而保护网络安全，但是由于攻击方式、攻击手法具有多样性、不可预测性，签名、特征、规则等基于先验知识检测手法难以应对新的异常。因此，如何对日志流中的异常进行识别并对新的异常进行自主学习，是本领域技术人员目前需要解决的技术问题。
技术实现思路
本申请的目的是提供一种日志流异常检测的方法及系统，能够在验证数据完整性的过程中保证数据安全。为解决上述技术问题，本申请提供一种日志流异常检测的方法及系统，该方法包括：利用检测模型对待检日志流进行异常检测，并根据检测结果判断所述待检日志流是否存在异常；其中，所述检测模型为通过根据训练日志流按照异常检测算法训练初始模型得到；若所述待检日志流存在所述异常，则判断所述异常是否为已知威胁；若所述异常不是所述已知威胁，则根据接收的异常复检信息更新所述检测模型。可选的，所述检测模型为通过根据训练日志流按照异常检测算法训练初始模型得到包括：获取并初始化所述训练日志流，生成与应用相关的静态统计数据；提取所述静态统计数据的特征，并将所述特征输入所述初始模型；根据所述特征与所述异常检测算法对所述初始模型进行训练，生成所述检测模型；其中，所述检测模型中存有基于所述训练日志流构建的安全场景。可选的，所述利用检测模型对待检日志流进行异常检测，并根据检测结果判断所述待检日志流是否存在异常包括：获取所述待检日志流，并对所述待检日志流采样及切片，获得待检日志流片段；将所述待检日志流片段输入所述检测模型，检测所述待检日志流片段是否存在所述异常。可选的，若所述待检日志流存在所述异常，则判断所述异常是否为已知威胁包括：若所述待检日志流存在所述异常，则根据所述安全场景判断所述异常是否为已知威胁。可选的，若所述异常不是所述已知威胁，则根据接收的异常复检信息更新所述检测模型包括：若所述异常不是所述已知威胁，则上报所述异常至云端；当收到所述云端返回的异常复检信息后，根据所述异常复检信息更新所述静态统计数据；根据更新后的所述静态统计数据更新所述检测模型。本申请还提供了一种日志流异常检测的系统，所述系统包括：异常检测模块，用于利用检测模型对待检日志流进行异常检测，并根据检测结果判断所述待检日志流是否存在异常；其中，所述检测模型为通过根据训练日志流按照异常检测算法训练初始模型得到的；威胁判断模块，用于当所述待检日志流存在所述异常时，判断所述异常是否为已知威胁；更新模块，用于当所述异常不是所述已知威胁时，根据接收的异常复检信息更新所述检测模型。可选的，该系统还包括：获取模块，用于获取并初始化所述训练日志流，生成与应用相关的静态统计数据；提取模块，用于提取所述静态统计数据的特征，并将所述特征输入所述初始模型；训练模块，用于根据所述特征与所述异常检测算法对所述初始模型进行训练，生成所述检测模型；其中，所述检测模型中存有基于所述训练日志流构建的安全场景。可选的，所述异常检测模块包括：待检日志获取单元，用于获取所述待检日志流，并对所述待检日志流采样及切片，获得待检日志流片段；异常检测单元，用于将所述待检日志流片段输入所述检测模型，检测所述待检日志流片段是否存在所述异常。可选的，所述威胁判断模块具体为若所述待检日志流存在所述异常，则根据所述安全场景判断所述异常是否为已知威胁的模块。可选的，所述更新模块包括：上报单元，用于当所述异常不是所述已知威胁时，上报所述异常至云端；数据更新单元，用于当收到所述云端返回的异常复检信息后，根据所述异常复检信息更新所述静态统计数据；模型更新单元，用于根据更新后的所述静态统计数据更新所述检测模型。本专利技术提供了一种日志流异常检测的方法，利用检测模型对待检日志流进行异常检测，并根据检测结果判断所述待检日志流是否存在异常；其中，所述检测模型为通过根据训练日志流按照异常检测算法训练初始模型得到；若所述待检日志流存在所述异常，则判断所述异常是否为已知威胁；若所述异常不是所述已知威胁，则根据接收的异常复检信息更新所述检测模型。本方法中使用的检测模型是利用训练日志流和异常检测算法训练得到的，也就是说训练日志流中全部的数据特征都被检测模型所学习，可以通过先验知识进行判断的异常称为已知威胁。但是如果遇到检测模型无法通过先验知识进行判断的异常称为未知事件，可以将该未知事件交由第三方判断来是否存在威胁，经第三方判断后根据该未知事件对应的日志流更新检测模型。若再次遇到同样的异常时，可以利用更新后的检测模型进行判断。该方法对日志流中的异常进行识别并对新的异常进行自主学习，既可以识别已知威胁，也能够学习未知事件，提升了网络环境的安全性。本申请同时还提供了一种日志流异常检测的系统，具有上述有益效果，在此不再赘述。附图说明为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例所提供的一种日志流异常检测的方法的流程图；图2为本申请实施例所提供的另一种日志流异常检测的方法的流程图；图3为图2所示实施例中云端对检测结果进行误报判断的示意图；图4为本申请提供的一种日志流异常检测的系统的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面请参见图1，图1为本申请实施例所提供的一种日志流异常检测的方法的流程图；具体步骤可以包括：步骤S101：利用检测模型对待检日志流进行异常检测，并根据检测结果判断所述待检日志流是否存在异常；其中，所述检测模型为通过根据训练日志流按照异常检测算法训练初始模型得到；其中，本方法的实施主体是系统，本步骤的目的是判断待检日志流是否存在异常。本步骤是通过检测模型来实现对待检日志流的检测，检测模型是一种具有学习能力的虚拟装置，由未进行过学习的初始模型进行训练得到。对初始模型进行训练的方法有很多，可以选择一些具有代表性的出现异常的日志流对初始模型进行训练，使生成的检测模型能够识别一些常见的异常日志流，再将检测模型放置在实际工作环境中，在实际检测中增加其可以识别的异常种类。可以理解的是，也可以在一开始检测时便使用初始模型，让初始模型在实际工作中进行训练，不断积累各种异常的类型，当然若使用该方法在初始模型训练初期需要用户频繁地、长期地帮助初始模型进行训练。当然生成检测模型的异常检测算法并不固定，本文档来自技高网...

【技术保护点】
一种日志流异常检测的方法，其特征在于，所述方法包括：利用检测模型对待检日志流进行异常检测，并根据检测结果判断所述待检日志流是否存在异常；其中，所述检测模型为通过根据训练日志流按照异常检测算法训练初始模型得到；若所述待检日志流存在所述异常，则判断所述异常是否为已知威胁；若所述异常不是所述已知威胁，则根据接收的异常复检信息更新所述检测模型。

【技术特征摘要】
1.一种日志流异常检测的方法，其特征在于，所述方法包括：利用检测模型对待检日志流进行异常检测，并根据检测结果判断所述待检日志流是否存在异常；其中，所述检测模型为通过根据训练日志流按照异常检测算法训练初始模型得到；若所述待检日志流存在所述异常，则判断所述异常是否为已知威胁；若所述异常不是所述已知威胁，则根据接收的异常复检信息更新所述检测模型。2.根据权利要求1所述方法，其特征在于，所述检测模型为通过根据训练日志流按照异常检测算法训练初始模型得到包括：获取并初始化所述训练日志流，生成与应用相关的静态统计数据；提取所述静态统计数据的特征，并将所述特征输入所述初始模型；根据所述特征与所述异常检测算法对所述初始模型进行训练，生成所述检测模型；其中，所述检测模型中存有基于所述训练日志流构建的安全场景。3.根据权利要求2所述方法，其特征在于，所述利用检测模型对待检日志流进行异常检测，并根据检测结果判断所述待检日志流是否存在异常包括：获取所述待检日志流，并对所述待检日志流采样及切片，获得待检日志流片段；将所述待检日志流片段输入所述检测模型，并检测所述待检日志流片段是否存在所述异常。4.根据权利要求3所述方法，其特征在于，若所述待检日志流存在所述异常，则判断所述异常是否为已知威胁包括：若所述待检日志流存在所述异常，则根据所述安全场景判断所述异常是否为已知威胁。5.根据权利要求4所述方法，其特征在于，若所述异常不是所述已知威胁，则根据接收的异常复检信息更新所述检测模型包括：若所述异常不是所述已知威胁，则上报所述异常至云端；当收到所述云端返回的异常复检信息后，根据所述异常复检信息更新所述静态统计数据；根据更新后的所述静态统计数据更新所...

【专利技术属性】
技术研发人员：梁玉，陈瑞钦，王大伟，古亮，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：广东,44