一种跨域异常流量检测方法、系统、电子设备和存储介质技术方案

本公开提供了一种跨域异常流量检测方法，包括：将源域流量集与目标域流量集分别转换为流量图片；对流量图片进行特征提取分别得到共有特征与特有特征；根据共有特征与特有特征分别得到源域特征和目标域特征，并计算源域特征与目标域特征的相似度，分别得到全连接层的特征距离；判断全连接层的特征距离与损失函数数值之和是否大于等于一阈值，并根据阈值调整卷积层及全连接层的权值，直至ALexNet神经网络的周期性训练结束；采用源域流量图片对ALexNet神经网络进行训练，并利用训练后的ALexNet神经网络对目标域流量进行分类，得到异常流量。本公开还提供了一种的跨域异常流量检测系统、入侵检测电子设备以及计算机可读存储介质。储介质。储介质。

【技术实现步骤摘要】
一种跨域异常流量检测方法、系统、电子设备和存储介质


[0001]本公开涉及跨域异常流量检测方法、系统、电子设备和存储介质。

技术介绍

[0002]近年来，随着信息网络的普及，网络安全问题逐渐受到越来越多人的关注。根据国家互联网应急中心2020年7月发布的《网络安全信息与动态周报》可知，第四周境内被木马或僵尸程序控制的主机约45.5 万个，给用户的隐私和经济安全带来了巨大的挑战。为了保护网络用户的信息安全，对网络流量进行异常检测变得尤为重要。
[0003]常规的异常流量检测任务往往基于网络流量的统计特征进行检测分类，因此特征的提取在任务中起到了关键作用。近些年机器学习方法因其在学习特征表示方面的优势在异常检测领域大放异彩，诸如支持向量机、随机森林等机器学习方法在异常流量检测任务中均取得了较好的效果。例如，有的研究者使用基于分类回归树的递归式特征消除对网络异常流量数据集进行特征提取，以减少数据集中的冗余以及无效特征，进而提升检测准确率以及缩短训练时间，此外通过参考特征提取后保留的特征，可以在收集流量数据时减少所需的特征。但是，由于部分流量特征具有多样性，且维度高、计算复杂度大，机器学习方法并不总能取得令人满意的效果。因此，深度学习方法逐渐被引入了异常流量检测任务。深度学习模型通过不断自主学习，调整自身各层神经元之间的权值，以实现对隐性特征的学习并完成相应检测任务。相关研究者曾提出一种使用深度生成模型的半监督网络流量检测方案，通过特征提取器模块提取低维特征空间中原始流量数据的表示特征，并由半监督模块进行检测，该方法在三种不同的数据集上均有良好的表现。相较于其他方法，深度学习在处理大数据任务中不仅表现出了较高的准确率，且同时大幅度提升了检测速度。
[0004]尽管深度学习方法在异常检测领域备受青睐，但以往的深度学习方法均建立在假设训练流量与实际应用场景流量具有相同分布的基础上，而现实中的流量随着时间地点等因素的变化，其特征分布也在不断改变。常规深度模型只建立在源域特征分布的基础上，因此无法应用于与源域特征分布存在差异的目标域数据中。为了解决这个问题，迁移学习的思想被引入到异常流量检测任务中。
[0005]本专利技术提出一种跨域异常流量检测方法，该方法解决了上述由于域偏移而导致的检测准确率下降的问题，在降低流量获取成本的同时提高了跨域异常流量检测准确率。

技术实现思路

[0006]本公开的一个方面提供了一种跨域异常流量检测方法，其基于 ALexNet神经网络基础对源域与目标域流量特征进行迁移，包括以下步骤：
[0007]S1，将源域流量集与目标域流量集分别转换为图像流量，得到源域流量及目标域流量；
[0008]S2，采用第一数量的卷积层对源域流量及目标域流量进行特征提取，得到源域流量与目标域流量之间的共有特征；
[0009]S3，采用第二数量的卷积层对源域流量及目标域流量进行特征提取，得到源域流量与目标域流量之间的特有特征，特有特征包括属于源域流量的第一特有特征以及属于目标域流量的第二特有特征；
[0010]S4，将共有特征及第一特有特征作为源域特征，将共有特征及第二特有特征作为目标域特征，采用第三数量的全连接层分别计算源域特征与目标域特征之间的相似度，分别得到第三数量的特征距离；
[0011]S5，判断第三数量的特征距离与ALexNet神经网络的损失函数数值之和是否大于等于一阈值；若是，调整第二数量的卷积层及第三数量的全连接层的相应权值，并重复S3-S4步骤；否则，执行S6步骤；
[0012]S6，采用源域流量对ALexNet神经网络进行训练，并利用训练后的ALexNet神经网络对目标域流量进行分类，得到异常流量。
[0013]可选地，S2中得到源域流量与目标域流量之间的共有特征的步骤包括：
[0014]S21，采用第一卷积层对源域流量及目标域流量进行特征提取，得到第一共有特征；
[0015]S22，采用第二卷积层对第一共有特征进行特征提取，得到第二共有特征；
[0016]S23，采用第三卷积层对第二共有特征进行特征提取，得到共有特征。
[0017]可选地，S3中得到源域流量与目标域流量之间的特有特征的步骤包括：
[0018]S31，采用第四卷积层对源域流量及目标域流量进行特征提取，得到源域流量与目标域流量之间的特有特征；
[0019]S32，采用第五卷积层对特有特征提取，得到属于源域流量的第一特有特征及目标域流量的第二特有特征。
[0020]可选地，S4中分别得到第三数量的特征距离的步骤包括：
[0021]S41，采用第一全连接层将共有特征及第一特有特征作为源域特征，将共有特征及第二特有特征作为目标域特征，并计算源域特征与目标域特征之间的相似度，得到第一特征距离；
[0022]S42，采用第二全连接层计算源域特征与目标域特征之间的相似度，得到第二特征距离；
[0023]S43，采用第三全连接层计算源域特征与目标域特征之间的相似度，得到第三特征距离。
[0024]可选地，S4中采用第三数量的全连接层分别计算源域特征与目标域特征之间的相似度，包括：将源域特征与目标域特征进行最大平均差异计算，得到源域特征与目标域特征之间的特征距离。
[0025]可选地，源域流量为有标签的网络流量，目标域流量为无标签的网络流量，其中，S6中得到异常流量的步骤包括：
[0026]采用源域流量对ALexNet神经网络进行训练；利用训练后的ALexNet神经网络对目标域流量进行分类，得到目标域流量的标签；根据目标域流量的标签识别出该目标域流量是否为异常流量。
[0027]可选地，源域流量集为有标签的源域流量，例如某个时间段或是某个站点中已经采集的内外网之间交互流量、内网与内网之间交互流量及外网与外网之间的交互流量等；
目标域流量集为无标签的目标域流量，例如当前某一网络下内外网之间的交互流量、内网与内网之间交互流量及外网与外网之间的交互流量等。
[0028]本公开的另一个方面提供了一种跨域异常流量检测系统，其基于 ALexNet神经网络基础对源域与目标域流量特征进行迁移，包括：
[0029]流量预处理模块，用于将源域流量集与目标域流量集分别转换为图像流量，得到源域流量及目标域流量；
[0030]共有特征提取模块，用于采用第一数量的卷积层对源域流量及目标域流量进行特征提取，得到源域流量与目标域流量之间的共有特征；
[0031]特有特征提取模块，用于采用第二数量的卷积层对源域流量及目标域流量进行特征提取，得到源域流量与目标域流量之间的特有特征，特有特征包括属于源域流量的第一特有特征以及属于目标域流量的第二特有特征；
[0032]特征距离计算模块，用于将共有特征及第一特有特征作为源域特征，将共有特征及第二特有特征作为目标域特征，并采用第三数量的全连接层分别计算源域特征与目标域特征之间的相似度，分别得到第三数量的特征距离；
[0033]神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨域异常流量检测方法，其基于ALexNet神经网络基础对源域与目标域流量特征进行迁移，其特征在于，方法包括：S1，将源域流量集与目标域流量集分别转换为图像流量，得到源域流量及目标域流量；S2，采用第一数量的卷积层对所述源域流量及所述目标域流量进行特征提取，得到所述源域流量与目标域流量之间的共有特征；S3，采用第二数量的卷积层对所述源域流量及所述目标域流量进行特征提取，得到所述源域流量与所述目标域流量之间的特有特征，所述特有特征包括属于所述源域流量的第一特有特征以及属于所述目标域流量的第二特有特征；S4，将所述共有特征及所述第一特有特征作为源域特征，将所述共有特征及所述第二特有特征作为目标域特征，采用第三数量的全连接层分别计算所述源域特征与所述目标域特征之间的相似度，分别得到第三数量的特征距离；S5，判断所述第三数量的特征距离与所述ALexNet神经网络的损失函数数值之和是否大于等于一阈值；若是，调整所述第二数量的卷积层及所述第三数量的全连接层的相应权值，并重复所述S3-S4步骤；否则，执行S6步骤；S6，采用所述源域流量对所述ALexNet神经网络进行训练，并利用训练后的所述ALexNet神经网络对所述目标域流量进行分类，得到异常流量。2.根据权利要求1所述的跨域异常流量检测方法，其特征在于，所述S2包括：S21，采用第一卷积层对所述源域流量及所述目标域流量进行特征提取，得到第一共有特征；S22，采用第二卷积层对所述第一共有特征进行特征提取，得到第二共有特征；S23，采用第三卷积层对所述第二共有特征进行特征提取，得到所述共有特征。3.根据权利要求1所述的跨域异常流量检测方法，其特征在于，所述S3包括：S31，采用第四卷积层对所述源域流量及所述目标域流量进行特征提取，得到所述源域流量与目标域流量之间的特有特征；S32，采用第五卷积层对所述特有特征提取，得到属于所述源域流量的第一特有特征及属于所述目标域流量的第二特有特征。4.根据权利要求1所述的跨域异常流量检测方法，其特征在于，所述S4包括：S41，采用第一全连接层将所述共有特征及所述第一特有特征作为源域特征，将所述共有特征及所述第二特有特征作为目标域特征，并计算所述源域特征与所述目标域特征之间的相似度，得到第一特征距离；S42，采用第二全连接层计算所述源域特征与所述目标域特征之间的相似度，得到第二特征距离；S43，采用第三全连接层计算所述源域特征与所述目标域特征之...

【专利技术属性】
技术研发人员：陈双武，彭雨荷，杨坚，张勇东，姜晓枫，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：