基于增量学习的异常流量检测方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于增量学习的异常流量检测方法、装置及存储介质检测方法，获取用户端的流量数据；利用异常检测设备中预先构建的流量检测分类器对所述流量数据进行异常检测；当检测出异常数据时，基于所述异常数据，得到训练样本数据，并利用所述训练样本数据对所述流量检测分类器进行在线训练。本发明专利技术通过增加训练样本的多样性、提高了分类器的泛化能力。 1

Abnormal traffic detection method, device and storage medium based on incremental learning

The invention discloses an abnormal flow detection method, a device and a storage medium detection method based on incremental learning, to obtain the flow data of the user end, and to detect the traffic data abnormally by using a traffic detection classifier in advance in the anomaly detection device, and when the abnormal data is detected, it is based on the abnormal constant. According to the training sample data, the flow detection classifier is trained online based on the training sample data. The invention improves the generalization ability of the classifier by increasing the diversity of training samples. One

【技术实现步骤摘要】
基于增量学习的异常流量检测方法、装置及存储介质
本专利技术涉及网络流量异常检测技术，具体涉及一种基于增量学习的异常流量检测方法、装置及存储介质。
技术介绍
网络流量异常是指网络流量偏离其正常轨迹的情形，如:占用资源的操作行为、攻击性行为等，尤其是攻击行为产生的异常将威胁到整个网络的安全。流量异常检测的目的就是要及时发现这些异常，并做出快速的反映。目前流量异常检测的方法包括基于统计分析的检测方法和基于机器学习的检测方法。基于统计分析的方法，可以根据时间序列对数据流量采样进行分析，从数据分布、流量变化、子资源占用情况等多个维度进行统计分析，提取描述流量的特征，再利用这些特征数据通过分类器分析出一些阈值结果作为判别标准；也可以通过分析数据包载荷部分的字符串来识别异常异常流量。基于机器学习的检测方法，一般是对正常和异常流量分别建模构成分类器，然后分别预测属于正常和异常的概率，取概率大者作为最终类别结果。对于上述两种方案均存在以下问题:1.实时性较差，无论是基于统计分析的阈值的选择，还是基于机器学习的模型的构建都是需要先对线下数据进行分析，然后再线上部署生产环境，而流量数据是每时每刻都在不断变化的，这样的模型或阈值显然容易产生误判，甚至失效，即使定时更新，也必然有时间上的滞后性。2.模型是基于大量正反例样本构建的，由于反例样本稀缺，模型泛化能力差。
技术实现思路
本专利技术的目的是为了提供基于增量学习的异常流量检测方法、装置及存储介质，该方法增加训练样本的多样性、提高分类器的泛化能力。依据本专利技术的一个方面，提供一种基于增量学习的异常流量检测方法，获取用户端的流量数据；利用异常检测设备中预先构建的流量检测分类器对所述流量数据进行异常检测；当检测出异常数据时，基于所述异常数据，得到训练样本数据，并利用所述训练样本数据对所述流量检测分类器进行在线训练。可选地，本专利技术所述方法中，所述基于所述异常数据，得到训练样本数据，包括：抽取所述异常数据中的有效数据；对抽取的有效数据进行模式挖掘；对模式挖掘得到的数据进行归一化处理，得到训练样本数据。可选地，本专利技术所述方法中，当检测出异常数据时，所述方法还包括：发出警报。可选地，本专利技术所述方法中，所述方法还包括：采集历史流量数据；基于所述历史流量数据，得到历史训练样本数据；利用所述历史训练样本数据，对所述流量检测分类器进行离线训练，离线训练更新的流量检测分类器实时同步至所述异常监测设备。可选地，本专利技术所述方法中，采用深度学习算法或者迁移学习算法，对所述流量检测分类器进行在线或者离线训练。依据本专利技术的另一个方面，提供一种基于增量学习的异常流量检测装置，包括数据采集模块和在线增量学习模块，所述数据采集模块，用于获取用户端的流量数据；所述在线增量学习模块，用于利用异常检测设备中预先构建的流量检测分类器对所述流量数据进行异常检测；当检测出异常数据时，基于所述异常数据，得到训练样本数据，并利用所述训练样本数据对所述流量检测分类器进行在线训练。可选地，本专利技术所述装置中，所述当检测出异常数据时，所述方法还包括：发出警报。可选地，本专利技术所述装置中，所述装置还包括：离线增量学习模块，所述数据采集模块，还用于采集历史流量数据；所述离线增量学习模块，用于基于所述历史流量数据，得到历史训练样本数据；利用所述历史训练样本数据，对所述流量检测分类器进行离线训练，离线训练更新的流量检测分类器实时同步至所述异常监测设备。依据本专利技术的第二个方面，一种基于增量学习的异常流量检测设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述所述基于增量学习的异常流量检测方法的步骤。依据本专利技术的第三个方面，一种计算机可读存储介质，所述计算机可读存储介质上存储有基于增量学习的异常流量检测程序，所述基于增量学习的异常流量检测程序被处理器执行时实现如上述所述基于增量学习的异常流量检测方法的步骤。与现有技术相比，本专利技术的效果如下：本专利技术提供的基于增量学习的异常流量检测方法、装置及存储介质，通过在线增量学习的方式，实时捕获新样本，增加了训练样本的多样性，在实际生产中，以保证模型泛化能力的不断增强，最终实现预测准确、实时的目的。本专利技术通过离线增量学习和在线增量学习相结合的方式，对离线训练和在线训练的分类器实时同步更新，进一步增加了样本的多样性。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术基于增量学习的异常流量检测方法在线训练的流程图；图2是本专利技术基于异常数据，得到训练样本数据的流程图；图3是本专利技术采用卷积神经网络算法的网络结构图；图4是本专利技术基于增量学习的异常流量检测方法离线训练的流程图；图5是本专利技术具体示例的流程图；图6是本专利技术基于增量学习的异常流量检测装置的原理框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见图1所示，为了解决现有技术中的问题，本专利技术提供一种基于增量学习的异常流量检测方法，步骤S100：获取用户端的流量数据；步骤S200：利用异常检测设备中预先构建的流量检测分类器对所述流量数据进行异常检测；步骤S300：当检测出异常数据时，基于所述异常数据，得到训练样本数据，并利用所述训练样本数据对所述流量检测分类器进行在线训练。可能地/可选地，本实施例，所述基于所述异常数据，得到训练样本数据，如图2所示，包括：步骤S301：抽取所述异常数据中的有效数据；步骤S302：对抽取的有效数据进行模式挖掘；步骤S303：对模式挖掘得到的数据进行归一化处理，得到训练样本数据。可能地/可选地，本实施例，当检测出异常数据时，所述方法还包括：发出警报。可能地/可选地，本实施例，采用深度学习算法或者迁移学习算法，对所述流量检测分类器进行在线训练。所述迁移学习是一种应用已有知识对不同但相关领域的问题进行求解的方法，它适用于带标签的样本较少甚至没有的的情形。它也可用于克服某些方案只能检测已知类型异常的弊端，例如可以训练正常数据和一种类型攻击引起的流量异常，用于检测另一种来源的异常。因此采用迁移学习算法能够达到提高模型泛化能力效果。本专利技术的一个具体实施例，本专利技术分类器训练过程采用深度学习算法中的卷积神经网络算法，其包含三种类型的神经网络层:卷积层5：学习识别输入数据的特性表征。采样层6：也叫池化层，其具体操作与卷积层的操作基本相同，只不过下采样的卷积核为只取对应位置的最大值、平均值等(最大池化、平均池化)，并且不经过反向传播的修改。全连接层7：前本文档来自技高网...

【技术保护点】
1.一种基于增量学习的异常流量检测方法，其特征在于：

【技术特征摘要】
1.一种基于增量学习的异常流量检测方法，其特征在于：获取用户端的流量数据；利用异常检测设备中预先构建的流量检测分类器对所述流量数据进行异常检测；当检测出异常数据时，基于所述异常数据，得到训练样本数据，并利用所述训练样本数据对所述流量检测分类器进行在线训练。2.根据权利要求1所述的方法，其特征在于:所述基于所述异常数据，得到训练样本数据，包括：抽取所述异常数据中的有效数据；对抽取的有效数据进行模式挖掘；对模式挖掘得到的数据进行归一化处理，得到训练样本数据。3.根据权利要求1或2所述的方法，其特征在于:当检测出异常数据时，所述方法还包括：发出警报。4.根据权利要求1所述的方法，其特征在于：所述方法还包括：采集历史流量数据；基于所述历史流量数据，得到历史训练样本数据；利用所述历史训练样本数据，对所述流量检测分类器进行离线训练，离线训练更新的流量检测分类器实时同步至所述异常监测设备。5.根据权利要求1或4所述的方法，其特征在于：采用深度学习算法或者迁移学习算法，对所述流量检测分类器进行在线或者离线训练。6.一种基于增量学习的异常流量检测装置，其特征在于：包括数据采集模块和在线增量学习模块，所述数据采集模块，用于获取用户端的流量数...

【专利技术属性】
技术研发人员：薛智慧，潘季明，贾蓉，高宏建，
申请(专利权)人：北京天融信网络安全技术有限公司，北京天融信科技有限公司，北京天融信软件有限公司，
类型：发明
国别省市：北京,11