一种基于免模型联邦元学习的网络流量异常检测方法技术

本发明专利技术涉及信息安全技术与人工智能技术领域，其公开了一种基于免模型联邦元学习的网络流量异常检测方法，解决现有技术难以同时兼顾数据隐私安全保护和小样本场景下异常流量检测的问题。本发明专利技术包括：元学习数据集构建：首先对各节点服务器上目标网络流量进行采集并进行标记，其次将各节点服务器上标记好的流量数据重建为可用于小样本学习的元学习数据集；本地模型构建与训练：在各节点服务器上部署用于本地模型训练的流量检测元学习模型；联邦学习模型加密训练，在协同服务器主导下，对数据进行加密训练迭代，得到最终的小样本流量检测元学习模型。元学习模型。元学习模型。

【技术实现步骤摘要】
一种基于免模型联邦元学习的网络流量异常检测方法


[0001]本专利技术涉及信息安全技术与人工智能
，尤其涉及一种基于免模型联邦元学习的网络流量异常检测方法。

技术介绍

[0002]随着互联网信息的高速发展与应用，人们生活变得便利的同时，网络安全的问题也是层出不穷，给网络环境和社会发展带来了复杂多样的安全隐患问题，例如攻击、漏洞等安全问题。而这些问题，往往会引起网络流量的变化。网络异常行为产生的流量与用户正常行为产生的流量有着本质的区别，并且网络异常行为理论上都是可以被检测出来。因此，在此背景下应运而生的网络流量异常检测技术是保障网络安全的重要手段之一。
[0003]虽然目前在机器学习技术的普遍应用下，具有大量样本的异常流量样本能够被很好的训练检测出来。但是在少样本情况下，例如零日攻击、突发异常攻击等，短时间内由于缺乏训练数据，机器学习技术并不能很好地适用并检测出来。目前深度学习领域元学习方法能够应用于小样本的场景下的流量检测，实现在仅有少量样本情况下的网络流量异常检测。但是在实现小样本网络流量异常检测的同时如何兼顾数据隐私安全成为亟待解决的一项技术问题。

技术实现思路

[0004]本专利技术所要解决的技术问题是：提出一种基于免模型联邦元学习的网络流量异常检测方法，解决现有技术难以同时兼顾数据隐私安全保护和小样本场景下异常流量检测的问题。
[0005]本专利技术解决上述技术问题采用的技术方案是：
[0006]一种基于免模型联邦元学习的网络流量异常检测方法，应用于包括一个协同服务器和多个节点服务器的检测系统，该方法包括以下步骤：
[0007]a.对各个节点服务器目标网络流量进行采集和标记，对标记好的流量数据通过数据集构建获得元学习数据集并保存在本地；
[0008]b.在各节点服务器上部署流量检测元学习模型；
[0009]c.各节点服务器利用保存在本地的元学习数据集对部署的流量检测元学习模型进行模型训练，获得相应的模型参数更新梯度；
[0010]d.各节点服务器将本地训练获得的相应的模型参数更新梯度加密上传至协同服务器，协同服务器对收到各节点服务器的模型参数更新梯度进行融合，得到模型联合参数更新梯度并下发给各节点服务器；
[0011]e.各节点服务器根据所述模型联合参数更新梯度更新各自的模型参数，计算更新后的模型对流量分类的准确率,进行步骤c
‑
e的迭代，直至准确率的提升小于阈值，则获得最终的流量检测元学习模型；
[0012]f.各节点服务器利用所述最终的流量检测元学习模型进行网络流量异常检测。
[0013]作为进一步优化，步骤a具体包括：
[0014]a1.从各个节点服务器目标网络上抓取各类型的流量数据，分类打标签后存储在本地服务器上；
[0015]a2.将采集的流量数据组合成数据流，以数据流为单位随机划分出采样集、查询集，并基于训练与测试任务划分为元训练集与元测试集。
[0016]作为进一步优化，所述将采集的流量数据组合成数据流具体为：
[0017]将具有相同的五元组(源地址、源端口、目的地址、目的端口、协议)的网络流量数据包按时间先后顺序组合在一起，得到数据流。
[0018]作为进一步优化，步骤a1中，存储在本地服务器上的样本包括正常流量样本和至少两类不同的恶意流量样本，其中正常流量样本和一部分类别的恶意流量样本属于大样本场景，另一部分类别的恶意流量样本属于小样本场景。
[0019]作为进一步优化，步骤b中，部署的所述流量检测元学习模型包括：
[0020]特征提取子网络以及特征比较子网络，其中特征提取子网络包括两个模块I和Ⅱ，模块I包括顺次相连的卷积层、归一化层、激活函数层和随机失活层；模块Ⅱ包括顺次相连的卷积层、拟归一化层和激活函数层；特征比较子网络包括顺次相连的拼接层、两个模块Ⅲ、两个全连接层以及激活函数层；其中，模块Ⅲ包括顺次相连的卷积层、拟归一化层、激活函数层和随机失活层。
[0021]作为进一步优化，步骤c中，所述模型训练的过程具体为：
[0022]c1.输入元训练集的数据对x
i
,x
j
，通过特征提取子网络提取浅层特征分别表示为feature
i
＝f1(x
i
)，feature
j
＝f1(x
j
)，其中frature＝f1(x)为特征提取网络的数学函数表示；
[0023]c2.将特征提取到的两组特征feature
i
、feature
j
输入到特征比较子网络中，得出一个差异值δ，δ＝f2(feature
i
，feature
j
)为特征比较深度网络的数学函数表示；
[0024]c3.对于每一个训练任务，查询集里的每一个样本会和采样集里的样本一一对比分别得出差异值，根据采样集里样本标签分类分别计算查询集里的样本和采样集里正常样本的平均差异MSE
‑
δ
m
，以及与恶意样本的平均差异值MSE
‑
δ
n
，公式如下：
[0025][0026]其中，δ
i
为查询集样本与每一个正常样本的差异值，δ
j
为查询集样本与每一个恶意样本的差异值；
[0027]则有，预测的查询集里样本的标签是和采样集里样本平均差异值最小的那一类样本的标签：
[0028]若MSE
‑
δ
m
≤MSE
‑
δ
n
，预测标签为正常样本，反之MSE
‑
δ
m
＞MSE
‑
δ
n
，则预测标签为异常样本；
[0029]c4.计算单一训练任务损失函数F
X
(w)，进而计算目标函数F
i
(w):
[0030][0031]其中，w为训练参数，y
i
为预测标签类别，为实际标签类别，x为训练任务的个数；
[0032]c5.根据目标函数，通过误差反向传播算法计算并输出对模型参数的更新梯度g。
[0033]作为进一步优化，步骤d中，所述协同服务器对收到各节点服务器的模型参数梯度进行聚合，具体采用联合梯度加权方式：
[0034][0035]其中，m为节点服务器个数，p
i
为对应节点服务器的影响权重，g(w)是联合模型参数梯度，g
i
(w)是第i个节点服务器的模型参数梯度；p
i
具有如下性质：p
i
≥0，并且
[0036]本专利技术的有益效果是：
[0037]通过联邦学习方法，在保证模型性能情况下，解决了各节点服务器间网络流量数据孤岛问题，并通过引入元学习方法，即使在小样本场景下，也能够利用少量恶意样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于免模型联邦元学习的网络流量异常检测方法，应用于包括一个协同服务器和多个节点服务器的检测系统，其特征在于，该方法包括以下步骤：a.对各个节点服务器目标网络流量进行采集和标记，对标记好的流量数据通过数据集构建获得元学习数据集并保存在本地；b.在各节点服务器上部署流量检测元学习模型；c.各节点服务器利用保存在本地的元学习数据集对部署的流量检测元学习模型进行模型训练，获得相应的模型参数更新梯度；d.各节点服务器将本地训练获得的相应的模型参数更新梯度加密上传至协同服务器，协同服务器对收到各节点服务器的模型参数更新梯度进行融合，得到模型联合参数更新梯度并下发给各节点服务器；e.各节点服务器根据所述模型联合参数更新梯度更新各自的模型参数，计算更新后的模型对流量分类的准确率，进行步骤c
‑
e的迭代，直至准确率的提升小于阈值，则获得最终的流量检测元学习模型；f.各节点服务器利用所述最终的流量检测元学习模型进行网络流量异常检测。2.如权利要求1所述的一种基于免模型联邦元学习的网络流量异常检测方法，其特征在于，步骤a具体包括：a1.从各个节点服务器目标网络上抓取各类型的流量数据，分类打标签后存储在本地服务器上；a2.将采集的流量数据组合成数据流，以数据流为单位随机划分出采样集、查询集，并基于训练与测试任务划分为元训练集与元测试集。3.如权利要求2所述的一种基于免模型联邦元学习的网络流量异常检测方法，其特征在于，所述将采集的流量数据组合成数据流具体为：将具有相同的五元组的网络流量数据包按时间先后顺序组合在一起，得到数据流。4.如权利要求2所述的一种基于免模型联邦元学习的网络流量异常检测方法，其特征在于，步骤a1中，存储在本地服务器上的样本包括正常流量样本和至少两类不同的恶意流量样本，其中正常流量样本和一部分类别的恶意流量样本属于大样本场景，另一部分类别的恶意流量样本属于小样本场景。5.如权利要求1所述的一种基于免模型联邦元学习的网络流量异常检测方法，其特征在于，步骤b中，部署的所述流量检测元学习模型包括：特征提取子网络以及特征比较子网络，其中特征提取子网络包括两个模块I和II，模块I包括顺次相连的卷积层、归一化层、激活函数层和随机失活层；模块II包括顺次相连的卷积层、拟归一化层和激活函数层；特征比较子网络包括顺次相连的拼接层、两个模块III、两个全连接层以及激活函数层；其中，模块III包括顺次相连的卷积层、拟归一化层、激活函数层和随机失活层。6.如权利要求1所述的一种基于免模型联邦元学习的网络流量异常检测方法，其特征在于，步骤c中，所述模型训练的过程具体为：c1.输入元训练集的数据对x
i
，x<...

【专利技术属性】
技术研发人员：刘金松，闫科，施扬，解修蕊，何跃武，
申请(专利权)人：成都卓拙科技有限公司，
类型：发明
国别省市：