检测异常流量数据的方法、装置及存储介质制造方法及图纸

本申请公开了一种检测异常流量数据的方法、装置及存储介质，属于网络技术领域。在本申请中，在获取到每个端口的流量数据集合之后，可以从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型从多个流量数据集合中检测候选流量数据集合，若检测到多个流量数据集合中存在候选流量数据集合，则可以通过甄别模型对每个候选流量数据集合中的第一候选流量数据进行进一步的甄别，以此来确定每个第一候选流量数据是否为异常流量数据。由于本申请中可以通过不止一种筛查模型来对流量数据集合进行处理，因此，降低了漏检的概率。并且，在获取到第一候选流量数据之后，再次通过甄别模型进行甄别，降低了误检的概率。

Method, Device and Storage Media for Detecting Abnormal Flow Data

The application discloses a method, device and storage medium for detecting abnormal traffic data, which belongs to the field of network technology. In this application, after obtaining the traffic data set of each port, at least one screening model corresponding to each port can be determined from a variety of screening models, and candidate traffic data sets can be detected from multiple traffic data sets by at least one screening model corresponding to each port. The first candidate traffic data in each candidate traffic data set can be further screened by the screening model to determine whether each first candidate traffic data is abnormal traffic data. Since more than one screening model can be used to process traffic data sets in this application, the probability of missing detection is reduced. Furthermore, after obtaining the first candidate traffic data, the screening model is used again to reduce the probability of false detection.

【技术实现步骤摘要】
检测异常流量数据的方法、装置及存储介质
本申请涉及网络
，特别涉及一种检测异常流量数据的方法、装置及存储介质。
技术介绍
当前，监控终端可以实时获取网络接入设备的多个端口的流量数据，并从获取的流量数据中检测是否存在异常流量数据，以此来实现对网络性能的监控。相关技术中，监控终端中存储有用户根据经验设置的流量阈值范围，当获取到流量数据之后，监控终端可以检测获取的流量数据是否处于该流量阈值范围之内，若获取的流量数据不处于该流量阈值范围之内，则可以确定该流量数据为异常流量数据。然而，由于端口的流量数据的波动范围比较大，因此，若该流量阈值范围设置的较小，则某些正常流量数据可能会被误检为异常流量数据。若该流量值范围设置的较大，则某些异常流量数据将无法检测出来，容易造成漏检。
技术实现思路
本申请提供了一种检测异常流量数据的方法、装置及存储介质，可以用于解决相关技术中容易误检或漏检的问题。所述技术方案如下：第一方面，提供了一种检测异常流量数据的方法，所述方法包括：获取多个端口中每个端口的流量数据集合，所述流量数据集合中包括多个流量数据；从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型检测相应端口的流量数据集合是否为候选流量数据集合，所述候选流量数据集合是指包含有至少一个第一候选流量数据的流量数据集合；若检测到多个流量数据集合中包括至少一个候选流量数据集合，则通过甄别模型检测每个候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。在本申请实施例中，在获取到每个端口的流量数据集合之后，可以从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型对相应端口的流量数据集合中的流量数据进行初步筛选，若相应端口的流量数据集合中包含有至少一个第一候选流量数据，则可以将相应端口的流量数据集合确定为候选流量数据集合。之后，通过甄别模型对候选流量数据集合中至少一个第一候选流量数据进行进一步的甄别，以此来确定每个第一候选流量数据是否为异常流量数据。其中，由于本申请实施例中可以通过不止一种筛查模型来对流量数据集合进行处理，因此，相较于仅仅通过一种算法模型进行检测，本申请实施例中得到的第一候选流量数据更加全面，降低了漏检的概率。并且，在获取得到至少一个第一候选流量数据之后，再次通过甄别模型进行甄别，降低了误检的概率。可选地，从多种筛查模型中确定每个端口对应的至少一种筛查模型的实现过程可以为：获取每个端口的端口标识；从存储的端口标识和模型标识之间的映射关系中获取每个端口的端口标识对应的至少一个模型标识；根据每个端口的端口标识对应的至少一个模型标识确定相应端口对应的至少一种筛查模型。其中，每个端口标识可以对应有至少两个模型标识。可选地，通过甄别模型检测每个候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据的实现过程可以为：获取第一候选流量数据集合中每个第一候选流量数据的关联数据，每个第一候选流量数据的关联数据包括第一端口在采集到相应第一候选流量数据之前采集的多个流量数据，所述第一候选流量数据集合是指所述至少一个候选流量数据集合中的任一个，所述第一端口是指所述第一候选流量数据集合对应的端口；根据所述第一候选流量数据集合中每个第一候选流量数据的关联数据以及相应第一候选流量数据，生成相应第一候选流量数据对应的时序曲线；通过所述甄别模型提取每个第一候选流量数据对应的时序曲线的曲线特征，并根据每个第一候选流量数据对应的时序曲线的曲线特征确定相应第一候选流量数据对应的异常概率，所述异常概率用于指示相应第一候选流量数据为异常流量数据的概率；根据所述第一候选流量数据集合中每个第一候选流量数据对应的异常概率，确定所述第一候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。其中，甄别模型是预先通过历史流量数据集合训练得到。由于甄别模型学习了异常流量数据的特征，因此，通过该甄别模型对第一候选流量数据进行甄别，相对于单纯的通过数学算法来进行甄别，具备更高的准确性。可选地，在从存储的端口标识和模型标识之间的映射关系中获取每个端口的端口标识对应至少一个模型标识之前，该方法还可以包括：获取所述多个端口中每个端口的历史流量数据集合，所述历史流量数据集合中包括多个历史流量数据；根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对所述多个端口的历史流量数据集合进行分组，得到强周期分组和弱周期分组；当所述强周期分组内包括至少两个历史流量数据集合时，根据所述强周期分组内的至少两个历史流量数据集合之间的互相关性，对所述强周期分组内的至少两个历史流量数据集合进行分类，得到至少一个子分组，每个子分组内任意两个历史流量数据集合之间的互相关性系数大于第一阈值；根据每个子分组包括的历史流量数据集合分别对循环神经网络RNN中的一个子网络以及孤立森林模型中的一个子模型进行训练，得到每个子分组对应的两个训练模型；将每个子分组内每个历史流量数据集合对应的端口的端口标识和每个子分组对应的两个训练模型的模型标识对应存储在所述映射关系中；当所述弱周期分组内包括至少一个历史流量数据集合时，将所述弱周期分组内每个历史流量数据集合对应的端口的端口标识与剩余筛查模型的模型标识对应存储在所述映射关系中，所述剩余筛查模型是指所述多种筛查模型中除所述RNN和孤立森林模型之外的筛查模型。在本申请实施例中，可以预先通过历史流量数据集合对多种筛查模型中的RNN和孤立森林模型进行训练。在训练时，可以按照历史流量数据集合之间的相似性进行分类的，并按照每类历史流量数据集合训练得到一个训练模型，相对于根据每个历史流量数据集合训练得到一个模型，大大减少了模型训练的工作量。可选地，根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对所述多个端口的历史流量数据集合进行分组，得到强周期分组和弱周期分组的实现过程可以为：确定每个历史流量数据集合的周期性系数，所述周期性系数用于指示相应历史流量数据集合包括的多个历史流量数据的周期特性；若所述多个历史流量数据集合中存在周期性系数大于第二阈值的历史流量数据集合，则将所述周期性系数大于所述第二阈值的历史流量数据集合划分为一组，得到所述强周期分组；若所述多个历史流量数据集合中存在周期性系数不大于第二阈值的历史流量数据集合，将所述周期性系数不大于所述第二阈值的历史流量数据集合划分为一组，得到所述弱周期分组。可选地，所述历史流量数据集合中还包括每个历史流量数据对应的采集时间；在根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对所述多个端口的历史流量数据集合进行分组之前，该方法还可以包括：基于第一端口的流量数据的采集步长，对第一历史流量数据集合中每个历史流量数据对应的采集时间进行校验，所述第一端口是指所述多个端口中的任一端口，所述第一历史流量数据集合是指所述第一端口的历史流量数据集合；基于所述第一历史流量数据集合中每个历史流量数据对应的采集时间，对所述第一历史流量数据集合中的多个历史流量数据进行处理，处理后的多个历史流量数据中每相邻的两个历史流量数据对应的采集时间之间的差值等于所述采集步长。可选地，在将所述弱周期分组内每个历史流量数据集合对应的端口的端口标识与本文档来自技高网...

【技术保护点】
1.一种检测异常流量数据的方法，其特征在于，所述方法包括：获取多个端口中每个端口的流量数据集合，所述流量数据集合中包括多个流量数据；从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型检测相应端口的流量数据集合是否为候选流量数据集合，所述候选流量数据集合是指包含有至少一个第一候选流量数据的流量数据集合；若检测到多个流量数据集合中包括至少一个候选流量数据集合，则通过甄别模型检测每个候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。

【技术特征摘要】
1.一种检测异常流量数据的方法，其特征在于，所述方法包括：获取多个端口中每个端口的流量数据集合，所述流量数据集合中包括多个流量数据；从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型检测相应端口的流量数据集合是否为候选流量数据集合，所述候选流量数据集合是指包含有至少一个第一候选流量数据的流量数据集合；若检测到多个流量数据集合中包括至少一个候选流量数据集合，则通过甄别模型检测每个候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。2.如权利要求1所述的方法，其特征在于，所述从多种筛查模型中确定每个端口对应的至少一种筛查模型，包括：获取每个端口的端口标识；从存储的端口标识和模型标识之间的映射关系中获取每个端口的端口标识对应的至少一个模型标识；根据每个端口的端口标识对应的至少一个模型标识确定相应端口对应的至少一种筛查模型。3.如权利要求2所述的方法，其特征在于，所述通过甄别模型检测每个候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据，包括：获取第一候选流量数据集合中每个第一候选流量数据的关联数据，每个第一候选流量数据的关联数据包括第一端口在采集到相应第一候选流量数据之前采集的多个流量数据，所述第一候选流量数据集合是指所述至少一个候选流量数据集合中的任一个，所述第一端口是指所述第一候选流量数据集合对应的端口；根据所述第一候选流量数据集合中每个第一候选流量数据的关联数据以及相应第一候选流量数据，生成相应第一候选流量数据对应的时序曲线；通过所述甄别模型提取每个第一候选流量数据对应的时序曲线的曲线特征，并根据每个第一候选流量数据对应的时序曲线的曲线特征确定相应第一候选流量数据对应的异常概率，所述异常概率用于指示相应第一候选流量数据为异常流量数据的概率；根据所述第一候选流量数据集合中每个第一候选流量数据对应的异常概率，确定所述第一候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。4.如权利要求2或3所述的方法，其特征在于，所述从存储的端口标识和模型标识之间的映射关系中获取每个端口的端口标识对应至少一个模型标识之前，还包括：获取所述多个端口中每个端口的历史流量数据集合，所述历史流量数据集合中包括多个历史流量数据；根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对所述多个端口的历史流量数据集合进行分组，得到强周期分组和弱周期分组；当所述强周期分组内包括至少两个历史流量数据集合时，根据所述强周期分组内的至少两个历史流量数据集合之间的互相关性，对所述强周期分组内的至少两个历史流量数据集合进行分类，得到至少一个子分组，每个子分组内任意两个历史流量数据集合之间的互相关性系数大于第一阈值；根据每个子分组包括的历史流量数据集合分别对循环神经网络RNN中的一个子网络以及孤立森林模型中的一个子模型进行训练，得到每个子分组对应的两个训练模型；将每个子分组内每个历史流量数据集合对应的端口的端口标识和每个子分组对应的两个训练模型的模型标识对应存储在所述映射关系中；当所述弱周期分组内包括至少一个历史流量数据集合时，将所述弱周期分组内每个历史流量数据集合对应的端口的端口标识与剩余筛查模型的模型标识对应存储在所述映射关系中，所述剩余筛查模型是指所述多种筛查模型中除所述RNN和孤立森林模型之外的筛查模型。5.如权利要求4所述的方法，其特征在于，所述根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对所述多个端口的历史流量数据集合进行分组，得到强周期分组和弱周期分组，包括：确定每个历史流量数据集合的周期性系数，所述周期性系数用于指示相应历史流量数据集合包括的多个历史流量数据的周期特性；若多个历史流量数据集合中存在周期性系数大于第二阈值的历史流量数据集合，则将所述周期性系数大于所述第二阈值的历史流量数据集合划分为一组，得到所述强周期分组；若所述多个历史流量数据集合中存在周期性系数不大于第二阈值的历史流量数据集合，将所述周期性系数不大于所述第二阈值的历史流量数据集合划分为一组，得到所述弱周期分组。6.如权利要求4所述的方法，其特征在于，所述历史流量数据集合中还包括每个历史流量数据对应的采集时间；所述根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对所述多个端口的历史流量数据集合进行分组之前，还包括：基于第一端口的流量数据的采集步长，对第一历史流量数据集合中每个历史流量数据对应的采集时间进行校验，所述第一端口是指所述多个端口中的任一端口，所述第一历史流量数据集合是指所述第一端口的历史流量数据集合；基于所述第一历史流量数据集合中每个历史流量数据对应的采集时间，对所述第一历史流量数据集合中的多个历史流量数据进行处理，处理后的多个历史流量数据中每相邻的两个历史流量数据对应的采集时间之间的差值等于所述采集步长。7.如权利要求4所述的方法，其特征在于，所述将所述弱周期分组内每个历史流量数据集合对应的端口的端口标识与剩余筛查模型的模型标识对应存储在所述映射关系中之后，还包括：获取第二历史流量数据集合中的至少一个第二候选流量数据；获取所述第二历史流量数据集合中每个第二候选流量数据的标注信息，每个第二候选流量数据的标注信息用于指示相应第二候选流量数据是否为异常流量数据；获取所述第二历史流量数据集合的每个第二候选流量数据的关联数据，每个第二候选流量数据的关联数据包括第二端口在采集相应第二候选流量数据之前采集的多个流量数据，所述第二端口是指所述第二历史流量数据集合对应的端口；根据所述第二历史流量数据集合中的每个第二候选流量数据、每个第二候选流量数据的关联数据以及每个第二候选流量数据的标注信息，对所述甄别模型进行训练。8.一种检测异常流量数据的装置，其特征在于，所述装置包括：获取模块，用于获取多个端口中每个端...

【专利技术属性】
技术研发人员：秦纲，林钰鑫，戴强，李渤，杜伟林，王神迪，
申请(专利权)人：华为技术服务有限公司，
类型：发明
国别省市：河北,13