基于多源网络流量数据的网络流量分析方法和装置制造方法及图纸

本申请涉及一种基于多源网络流量数据的网络流量分析方法和装置。所述方法包括：在网络流数据源部署预训练分类器池，对于每一个数据源，接收当前时刻的多源网络流数据，通过在线分类器对多源网络流数据进行流量分类，每间隔预设时间，将每个网络流数据源收集的数据进行特征处理和变换，将处理得到的流量数据特征和特征变换矩阵传输至流量漂移检测模块；流量漂移检测模块包含历史概念数据，以根据流量数据特征、特征变换矩阵以及历史概念数据，对概念漂移进行检测，若检测到概念漂移，则对多源部署的在线分类器进行重置。采用本方法能对多源网络流量数据进行持续实时准确的分析。源网络流量数据进行持续实时准确的分析。源网络流量数据进行持续实时准确的分析。

【技术实现步骤摘要】
基于多源网络流量数据的网络流量分析方法和装置


[0001]本申请涉及网络流量分析
，特别是涉及一种基于多源网络流量数据的网络流量分析方法和装置。

技术介绍

[0002]为了对网络空间流量进行分析和挖掘，充分理解网络空间中业务流转和信息传递，基于网络空间数据传输的基础手段，对网络空间中的目标流量进行识别。
[0003]现实的网络流量数据的往往通过部署在不同类型的终端设备上的网络探针采集，每一个网络探针作为一个采集信息的源头，采集到的网络流量数据以网络数据流的形式进行存储和利用。面对网络瞬息万变的复杂形势，传统的数据采集、汇集处理，标注训练、发布模型的处理方式需要耗费大量的时间进行数据和模型传输部署，具有较强的滞后性，难以做到对于网络流量实时的分析处理。另外，由于网络环境和网络行为的动态变化，从而引起数据特征和数据标签映射函数产生变化的概念漂移现象，影响流量分析的准确率。网络流量分析方法需要对概念漂移进行动态的检测和应对，提高流量分析能力。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够针对多源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源网络流量数据的网络流量分析方法，其特征在于，所述方法包括：在网络流数据源部署分类器池；其中所述分类器池包括多个训练好的在线分类器，每个网络流数据源部署一个训练好的在线分类器；在每个时刻，对于每一个网络流数据源，将网络流量采集器采集到当前时刻的网络流量数据作为网络流量数据样本，使用部署在对应网络流数据源的在线分类器对网络流量数据样本进行分类；概念漂移检测：每间隔预设时间，将每个网络流数据源收集的网络流量数据进行特征处理和变换，将处理得到的流量数据特征和特征变换矩阵传输至流量漂移检测模块；所述流量漂移检测模块包含历史概念数据，以根据所述流量数据特征、所述特征变换矩阵以及所述历史概念数据，对概念漂移进行检测；若检测到概念漂移，则对部署在对应网络流数据源的在线分类器进行更新。2.根据权利要求1所述的方法，其特征在于，所述在网络流数据源部署预训练分类器池，包括：分类器池中包含多个采用增量式更新的在线分类器，将所述分类器池中的在线分类器，分别部署在每个网络流数据源，通过网络流量采集器接收网络流数据样本，对所述网络流数据样本进行分类。3.根据权利要求1所述的方法，其特征在于，将每个网络流数据源收集的数据进行特征处理和变换，处理得到流量数据特征和特征变换矩阵，包括：对所述样本特征的矩阵中的每个样本特征进行中心化处理，得到处理后的样本特征其中x
i
表示样本特征矩阵的第i个特征；采用处理后的样本特征更新所述数据特征矩阵，得到更新后的数据特征矩阵S；计算所述更新后的数据特征矩阵的协方差矩阵计算所述协方差矩阵对应的特征值和特征向量，并将特征值和特征向量按照特征值降序进行排序；选择排序靠前的d个特征值对应的特征向量，组成特征变换矩阵U＝[w1,
…
,w
d
]；根据所述数据样本和所述特征变换矩阵，求解Z＝S
×
U，得到降维后的数据特征矩阵。4.根据权利要求3所述的方法，其特征在于，根据所述流量数据特征、所述特征变换矩阵以及所述历史概念数据，对概念漂移进行检测，包括：使用特征变换矩阵对历史概念数据的数据特征矩阵进行变换，得到特征变换后的历史概念数据特征矩阵；对所述降维后的数据特征矩阵和变换后的历史数据特征矩阵求均值，得到数据均值；根据所述降维后的数据特征矩阵和所述数据均值的KL散度，所述变换后的历史数据特征矩阵和所述数据均值的KL散度，得到所述数据特征矩阵和历史数据特征矩阵之间的JS散度；当JS散度大于预先设置的显著性参数时，确定对应数据源的网络流量数据发生漂移。5.根据权利要求4所述的方...

【专利技术属性】
技术研发人员：朱承，张航，陆敏，丁兆云，刘蔚柯，朱先强，周鋆，刘斌，刘毅，黄松平，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：