用于分析网络威胁情报的设备和方法技术

提供了一种用于分析和监控网络流量以获取网络威胁情报的设备。设备包括特征选择模型、特征分类模型、威胁计算模型、网络威胁情报引擎和监控系统。特征选择模型被配置为从网络流中的数据集中选择基于流的特征以生成网络流元。特征分类模型被配置为分析网络流元的基于流的特征以生成分类特征。威胁计算模型被配置为使用可交换预测模型从分类特征中预测威胁特征。网络威胁情报引擎用于收集并组合基于流的特征、分类特征和威胁特征，形成一个或多个网络威胁联合特征。监控系统用于输出网络威胁联合特征。胁联合特征。胁联合特征。

【技术实现步骤摘要】
【国外来华专利技术】用于分析网络威胁情报的设备和方法


[0001]本专利技术涉及分析和监控网络流以获得网络威胁情报的机器学习技术。

技术介绍

[0002]近年来，随着互联网使用的增加，网络威胁已成为一个严重的问题，这使得个人信息和财产容易被盗取。对应于此，已在开发网络威胁情报分析方法的方面，投入了大量精力。大多数现有方法都是基于网络数据包产生的，因此当前面临到的挑战是，缺乏用于基于机器学习(machine learning；ML)的分析信息。另一方面，网络流提供了更多可用作ML特征的信息。某些攻击只能在网络流或会话中检测到。然而，网络数据包信息量大，对边缘计算和大规模网络威胁情报分析提出了挑战。
[0003]对于现有的分析或分类方法，例如安全信息和事件管理(Security Information and Event Management；SIEM)，提供了两种主要能力：(1)关于安全事件的报告和取证，以及(2)基于与特定规则集合匹配的分析，可发出警报以指出安全问题。然而，SIEM是基于规则而产生的，其需要专业知识来分析和部署。SIEM等基于规则的分类方法也很容易被绕过，从而在系统中留下漏洞。举例来说，此类攻击包括同步(synchronize；SYN)攻击或SYN分布式拒绝服务(distributed denial
‑
of
‑
service；DDoS)攻击，此将会耗尽受害系统的资源。在这方面，也很容易被频率低于熵的SYN DDoS数据包绕过。
[0004]目前，市场上还没有存在能基于ML的网络威胁情报预测算法。因此，需要开发一种能够更有效地启用网络威胁情报的系统。也需要一个能够检测甚至能预测攻击并减少误报的系统，以便可以帮助分析人员更有效地识别和响应威胁。

技术实现思路

[0005]本专利技术的一个目的是提供一种设备和方法来解决现有技术中的上述缺点和未满足的需求。根据本专利技术的第一方面，提供了一种用于分析和监控网络流量以获取网络威胁情报的设备。设备包括流量检测器、特征提取模型、特征选择模型、特征分类模型、威胁计算模型、网络威胁情报引擎、用户界面和监控系统。特征选择模型由至少一个处理器执行，并被配置为从网络流中的数据集中选择一个或多个基于流的特征以生成一个或多个网络流元。特征分类模型由至少一个处理器执行，并被配置为分析网络流元的基于流的特征以生成分类特征。威胁计算模型由至少一个处理器执行，并配置为使用能够将分类特征映射到威胁特征(即，网络攻击威胁将发生在一个特定的未来时间段)。网络威胁情报引擎由至少一个处理器执行，并被配置为收集并组合基于流的特征、分类特征和威胁特征，从而形成一个或多个网络威胁联合特征。监控系统由至少一处理器执行，用以接收网络威胁联合特征以进行监控。
[0006]根据本专利技术的第二方面，提供了一种用于分析和监控网络流量以获取网络威胁情报的方法。方法包括以下步骤：判断接收到的网络流原始数据是否为网络流类型；在为后者的情况下，从网络流中提取基于流的特征；选择网络流中的一个或多个基于流的特征生成
网络流元，网络流元是网络的描述性信息，例如网络通信协议的结构和数据包；分析网络流元的基于流的特征以生成分类特征；基于可交换预测模型从分类特征中预测威胁特征；收集并组合基于流的特征、分类特征和威胁特征，从而形成一个或多个网络威胁联合特征；将网络威胁联合特征输出至监控系统。
[0007]根据本专利技术的第三方面，提供了一种为网络威胁情报训练设备的特征选择模型的方法。方法包括以下步骤：获得训练数据集，该训练数据集包括具有一个或多个网络攻击模拟的数据包或流格式的网络流量数据；将训练数据集的多个数据包解析为多个会话；从会话中提取网络流量统计特征；分别计算前向和后向的网络流量统计特征；计算分配给网络流量统计特征的权重；以及，丢弃一组被特征选择模型分配零权重的网络流量统计特征。
[0008]根据本专利技术的第四方面，提供了一种为网络威胁情报训练设备的特征分类模型的方法。方法包括以下步骤：获得包括与已知网络攻击事件相关的网络流量数据的训练数据集；将训练数据集的网络流量统计特征反馈给特征选择，以减少网络流量统计特征的数量；使用选定的网络流量统计特征训练特征分类模型的深度神经网络(DNN)模型；在不经过任何特征选择的情况下，将训练数据集的网络流量统计特征馈送给训练好的DNN模型进行测试，从而在选定的网络流量统计特征的子集上评估DNN模型，从而测量和调整DNN模型的权重分布，其与已知网络攻击事件的网络流量统计特征的特性是相关的。
[0009]通过本专利技术的实施例，实现了基于ML的网络威胁情报分析，为目标网络流中的网络攻击提供了更准确的分类。此外，随着特征选择的进行，需要处理的特征数量减少，进而提高了所应用的深度学习模型的性能，降低了系统负载。
附图说明
[0010]下文将参照附图更详细地描述本专利技术的实施例，其中：
[0011]图1描绘了根据本专利技术的第一方面的用于生成网络威胁情报的设备的示意图；
[0012]图2描绘了根据本专利技术的第二方面的示意图，其为使用图1的根据本专利技术第二方面的设备生成网络威胁情报的方法；
[0013]图3描绘了根据本专利技术实施例的特征提取的示意图；
[0014]图4描绘了根据本专利技术实施例的特征提取的示例性结果；
[0015]图5描绘了根据本专利技术实施例的特征选择的示例性结果；
[0016]图6描绘了根据本专利技术的实施例的训练特征选择模型的方法的图示；
[0017]图7描绘了根据本专利技术实施例的特征分类的示例性结果；和
[0018]图8描绘了根据本专利技术的实施例的训练特征分类模型的方法的图示。
具体实施方式
[0019]在下面的描述中，用于网络威胁情报等的基于ML的分析的设备和方法作为优选示例被阐述。对于熟悉本领域的人员来说，可以进行修改，包括添加和/或替换，而不脱离本专利技术的范围和精神。可能省略具体细节，以避免混淆专利技术；但是，撰写本公开是为了使本领域的技术人员能够在不进行过多实验的情况下实施本专利技术的教导。
[0020]图1描绘了根据本专利技术第一方面的用于生成网络威胁情报的设备100的示意图。根据一个实施例，用于分析和监控网络威胁情报的网络流的设备100包括流量检测器110、特
征提取模型112、特征选择模型114、特征分类模型116、威胁计算模型118、网络威胁情报引擎120、用户接口122和监控系统124，其由至少一个处理器执行，并且可被配置为用来操作如图2所示的方法。
[0021]在设备100接收到网络原始数据102作为输入之后，可由流量检测器110执行步骤200。流量检测器110用以确定网络原始数据102是否为网络流类型。在网络原始数据102是网络流类型的情况下，可执行步骤202，以收集网络原始数据102并将其配置到网络流数据集之中。另一方面，在网络原始数据102不是网络流类型的情况下，可由特征提取模型112执行步骤204以进行特征提取。
[0022]在步骤204的方本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于分析和监控网络威胁情报的网络流的设备，其特征在于，包括：特征选择模型，由至少一个处理器执行，并被配置为从网络流中的数据集中选择基于流的特征以生成网络流元；特征分类模型，由至少一个处理器执行，并被配置为分析所述网络流元的基于流的特征以生成分类特征；威胁计算模型，由至少一个处理器执行，并被配置为使用可交换预测模型从所述分类特征预测一个或多个威胁特征；网络威胁情报引擎，由至少一个处理器执行，并被配置为收集和组合所述基于流的特征、所述分类特征和所述威胁特征，以形成一个或多个网络威胁联合特征；和监控系统，由至少一个处理器执行，并被配置为输出所述网络威胁联合特征。2.根据权利要求1所述的设备，其特征在于，其中，所述威胁计算模型的预测模型是线性回归模型；其中，所述分类特征包括一个或多个网络攻击分类威胁的指示及其计数；其中，所述网络攻击分类威胁的指示充当所述线性回归模型的一组因变量，并且所述网络攻击分类威胁发生或记录的对应时间充当所述线性回归模型的自变量；和其中，所述线性回归模型预测在未来时间段内发生的一个或多个网络攻击威胁，以作为所述威胁特征输出，其是根据在时间窗口期间已经发生或记录的所述网络攻击威胁的计数来作为预测依据。3.根据权利要求1所述的设备，其特征在于，进一步包括：流量检测器，由至少一个处理器执行，并被配置为确定网络原始数据是否处于网络流类型；和特征提取模型，由至少一个处理器执行，并被配置为当所述网络原始数据不是网络流类型时，从所述网络原始数据提取所述基于流的特征，将其提取并输出到所述数据集。4.根据权利要求1所述的设备，其特征在于，所述网络威胁情报引擎还被配置为将所述网络威胁联合特征馈送到所述监控系统，并且所所述监测系统还被配置成将所述网络威胁联合特征可视化为用于显示的绘图或图形。5.根据权利要求1所述的设备，其特征在于，所述网络威胁情报引擎还被配置为响应于所述网络威胁联合特征来发送警报或警告信号，以报告一个或多个特定的网络攻击事件。6.根据权利要求1所述的设备，其特征在于，所述特征分类模型至少由深度神经网络(deep neutral network；DNN)来实现。7.一种用于训练根据权利要求1的所述设备的所述特征选择模型的方法，其特征在于，包括：获得训练数据集，所述训练数据集包括一个或多个网络攻击模拟的数据包或流格式的网络流量；将所述训练数据集的所述数据包解析为会话；从所述会话中提取网络流量统计特征；分别计算前向和后向上的所述网络流量统计特征；计算要分配给所述网络流量统计特征的权重；和丢弃由所述特征选择模型分配为零权重的一组网络流量统计特征。
8.根据权利要求7所述的方法，其特征在于，所述一组网络流量统计特征包括后向数据包PSH标志、前向数据包URG标志、后向数据包URLG标志、URG标志设置的数据包总数、前向流量每个数据块的平均字节数、前向流量每个数据块的平均数据包数、前向流量每...

【专利技术属性】
技术研发人员：梁鼎忠，梁伟基，李家钰，黎艳青，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：