一种基于元数据辅助和联邦学习的未知网络流量分类方法技术

本发明专利技术公开了一种基于元数据辅助和联邦学习的未知网络流量分类方法，所述方法包括：获取真实未知网络流量，并提取所述真实未知网络流量中的真实元数据；其中，所述真实元数据为网络流量数据的部分字节数据；将所述真实元数据输入至联邦学习全局模型，通过所述联邦学习全局模型输出未知网络流量的类别；其中，所述联邦学习全局模型基于若干已训练的二分类器得到。本发明专利技术实施例基于元数据和二分类器，根据联邦学习全局模型来对未知网络流量进行分类识别，使得本发明专利技术能够一个具有未知网络流量的客户端在保护数据隐私和安全的情况下能从其他客户端学习到未知流量的分类方法。从其他客户端学习到未知流量的分类方法。从其他客户端学习到未知流量的分类方法。

【技术实现步骤摘要】
一种基于元数据辅助和联邦学习的未知网络流量分类方法


[0001]本专利技术涉及互联网
，尤其涉及的是一种基于元数据辅助和联邦学习的未知网络流量分类方法。

技术介绍

[0002]网络流量分类是将网络流量划分为不同的类别，在网络异常检测、QoS(Quality of Service)、网络监控、流量工程(Traffic Engineering)等网络管理中发挥着重要作用。但是现有技术中进行未知网络流量识别都是采用集中式的分类模型，会出现数据隐私和安全问题，并且对未知网络流量的分类精度不高。
[0003]因此，现有技术还有待改进和发展。

技术实现思路

[0004]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于元数据辅助和联邦学习的未知网络流量分类方法，旨在解决现有技术中进行未知网络流量识别都是采用集中式的分类模型，会出现数据隐私和安全问题，并且对未知网络流量的分类精度不高的问题。
[0005]本专利技术解决问题所采用的技术方案如下：
[0006]第一方面，本专利技术实施例提供一种基于元数据辅助和联邦学习的未知网络流量分类方法，其中，所述方法包括：
[0007]获取真实未知网络流量，并提取所述真实未知网络流量中的真实元数据；其中，所述真实元数据为网络流量数据的部分字节数据；
[0008]将所述真实元数据输入至联邦学习全局模型，通过所述联邦学习全局模型输出未知网络流量的类别；其中，所述联邦学习全局模型基于若干已训练的二分类器得到。
[0009]在一种实现方式中，所述联邦学习全局模型的训练方法包括：
[0010]获取训练未知网络流量，并提取所述训练未知网络流量中的训练元数据；
[0011]将所述训练元数据发送至各个客户端；
[0012]从所有客户端中随机选取若干客户端组成客户端集合；
[0013]针对客户端集合中的所有客户端，基于所述训练元数据，将成功识别训练未知网络流量的类别的客户端对应的二分类器上传至服务器；
[0014]根据服务器中接收到的若干成功识别训练未知网络流量的类别的二分类器，得到初始全局模型；
[0015]对所述初始全局模型进行训练，得到全局模型；
[0016]通过所述服务器将所述全局模型发送至各客户端，并迭代执行从所有客户端中随机选取若干客户端组成客户端集合的步骤；
[0017]当迭代满足预设条件时，停止迭代，得到联邦学习全局模型。
[0018]在一种实现方式中，每个所述客户端的二分类器基于训练得到。
[0019]在一种实现方式中，每个所述客户端的二分类器均基于预设的损失函数训练得到。
[0020]在一种实现方式中，所述针对客户端集合中的所有客户端，基于所述训练元数据，将成功识别训练未知网络流量的类别的客户端对应的二分类器上传至服务器包括：
[0021]将所述训练元数据输入至每个客户端对应的二分类器，输出与每个二分类器对应的类别概率值；
[0022]将类别概率值大于预设概率阈值的二分类器上传至服务器。
[0023]在一种实现方式中，所述根据服务器中接收到的若干成功识别训练未知网络流量的类别的二分类器，得到初始全局模型包括：
[0024]基于联邦平均算法，将所有成功识别训练未知网络流量的类别的二分类器进行聚合，得到初始全局模型。
[0025]在一种实现方式中，所述当迭代满足预设条件时，停止迭代，得到联邦学习全局模型包括：
[0026]当迭代次数达到预设次数阈值时，停止迭代，得到联邦学习全局模型。
[0027]第二方面，本专利技术实施例还提供一种基于元数据辅助和联邦学习的未知网络流量分类装置，其中，所述装置包括：
[0028]获取和提取模块，用于获取真实未知网络流量，并提取所述真实未知网络流量中的真实元数据；其中，所述真实元数据为网络流量数据的部分字节数据；
[0029]分类模块，用于将所述真实元数据输入至联邦学习全局模型，通过所述联邦学习全局模型输出未知网络流量的类别；其中，所述联邦学习全局模型基于若干已训练的二分类器得到。
[0030]第三方面，本专利技术实施例还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的基于元数据辅助和联邦学习的未知网络流量分类方法。
[0031]第四方面，本专利技术实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述的基于元数据辅助和联邦学习的未知网络流量分类方法。
[0032]本专利技术的有益效果：本专利技术实施例首先获取真实未知网络流量，并提取所述真实未知网络流量中的真实元数据；其中，所述真实元数据为网络流量数据的部分字节数据；然后将所述真实元数据输入至联邦学习全局模型，通过所述联邦学习全局模型输出未知网络流量的类别；其中，所述联邦学习全局模型基于若干已训练的二分类器得到；可见，本专利技术实施例基于元数据和二分类器，根据联邦学习全局模型来对未知网络流量进行分类识别，使得本专利技术能够一个具有未知网络流量的客户端在保护数据隐私和安全的情况下能从其他客户端学习到未知流量的分类方法。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1为本专利技术实施例提供的基于元数据辅助和联邦学习的未知网络流量分类方法流程示意图。
[0035]图2为本专利技术实施例提供的一种实现方式的基于元数据辅助和联邦学习的未知网络流量分类方法流程示意图。
[0036]图3为本专利技术实施例提供的基于元数据辅助和联邦学习的未知网络流量分类装置的原理框图。
[0037]图4为本专利技术实施例提供的智能终端的内部结构原理框图。
具体实施方式
[0038]本专利技术公开了一种基于元数据辅助和联邦学习的未知网络流量分类方法，为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0039]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元数据辅助和联邦学习的未知网络流量分类方法，其特征在于，所述方法包括：获取真实未知网络流量，并提取所述真实未知网络流量中的真实元数据；其中，所述真实元数据为网络流量数据的部分字节数据；将所述真实元数据输入至联邦学习全局模型，通过所述联邦学习全局模型输出未知网络流量的类别；其中，所述联邦学习全局模型基于若干已训练的二分类器得到。2.根据权利要求1所述的基于元数据辅助和联邦学习的未知网络流量分类方法，其特征在于，所述联邦学习全局模型的训练方法包括：获取训练未知网络流量，并提取所述训练未知网络流量中的训练元数据；将所述训练元数据发送至各个客户端；从所有客户端中随机选取若干客户端组成客户端集合；针对客户端集合中的所有客户端，基于所述训练元数据，将成功识别训练未知网络流量的类别的客户端对应的二分类器上传至服务器；根据服务器中接收到的若干成功识别训练未知网络流量的类别的二分类器，得到初始全局模型；对所述初始全局模型进行训练，得到全局模型；通过所述服务器将所述全局模型发送至各客户端，并迭代执行从所有客户端中随机选取若干客户端组成客户端集合的步骤；当迭代满足预设条件时，停止迭代，得到联邦学习全局模型。3.根据权利要求2所述的基于元数据辅助和联邦学习的未知网络流量分类方法，其特征在于，每个所述客户端的二分类器基于训练得到。4.根据权利要求2所述的基于元数据辅助和联邦学习的未知网络流量分类方法，其特征在于，每个所述客户端的二分类器均基于预设的损失函数训练得到。5.根据权利要求2所述的基于元数据辅助和联邦学习的未知网络流量分类方法，其特征在于，所述针对客户端集合中的所有客户端，基于所述训练元数据，将成功识别训练未知网络流量的类别的客户端对应的二分类器上...

【专利技术属性】
技术研发人员：王丹，
申请(专利权)人：香港理工大学深圳研究院，
类型：发明
国别省市：