一种网络异常流量检测方法和装置制造方法及图纸

一种网络异常流量检测方法和装置，所述方法包括：接收待检测的数据包，其中，所述数据包包括流标识符；根据所述数据包的流标识符，在预先设置的数据结构中查找具有相同流标识符的元素，其中，该数据结构包括多个元素；对于查找到的元素，根据该数据包对该元素执行更新操作；如果执行更新操作后的元素符合预设条件，则上报所述元素，以供进行检测网络异常行为。以供进行检测网络异常行为。以供进行检测网络异常行为。

【技术实现步骤摘要】
一种网络异常流量检测方法和装置


[0001]本申请涉及网络
，尤指一种网络异常流量检测方法和装置。

技术介绍

[0002]在海量的网络流量中高效、准确、即时地发现异常网络行为，主要关注海量流量中的基数计数(cardinality counting)问题，即有多少个不同的元素。如附图1所示，DDoS受害者的特征是一个IP地址接收到来自大量其他IP地址的数据。扫描攻击的特征是某个攻击者向大量IP地址或端口发送信息。网络管理员可以通过识别流量中的此类行为，发现可能存在的网络攻击行为。

技术实现思路

[0003]本申请提供了一种网络异常流量检测方法及装置，实现了一种运算效率高、内存使用量少、可以实时上报基数值超过阈值的流标识符的方法。
[0004]本申请提供了一种网络异常流量检测方法，所述方法包括：
[0005]接收待检测的数据包，其中，所述数据包包括流标识符；
[0006]根据所述数据包的流标识符，在预先设置的数据结构中查找具有相同流标识符的元素，其中，该数据结构包括多个元素；
[0007]对于查找到的元素，根据该数据包对该元素执行更新操作；
[0008]如果执行更新操作后的元素符合预设条件，则上报所述元素，以供进行检测网络异常行为。
[0009]一种示例性的实施例中，所述预先设置的数据结构包含r
×
c个元素；
[0010]所述数据结构中的每行对应不同的哈希函数；
[0011]其中，r为数据结构的行数，c为数据结构的列数，r、c均为大于1的正整数。
[0012]一种示例性的实施例中，所述数据包还包括属性信息；所述元素包括(bitmap)位图；
[0013]所述对于查找到的元素，根据该数据包对该元素执行更新操作包括：
[0014]根据流标识符、属性信息和每行对应的哈希函数确定所查找到的元素的(bitmap)位图中对应的位；
[0015]若该位上为“0”，则将该位上的值更新为“1”，并将该元素的计数器值加1；
[0016]若该位上为“1”，则结束更新操作。
[0017]一种示例性的实施例中，所述流标识符为源IP地址或目的IP地址；所述属性信息为目的IP地址或源IP地址。
[0018]一种示例性的实施例中，所述根据所述数据包的流标识符，在预先设置的数据结构中查找具有相同流标识符的元素，包括：
[0019]根据所述数据包的流标识符，利用比对元素确认公式确定待比对的数据结构中的元素集；
[0020]对所确定的元素集中的每个元素分别与所述数据包的流标识符进行一一比对，找到和数据包具有相同流标识符的元素；
[0021]其中，所述比对元素确认公式为：
[0022]hash
i
(流标识符)mod c；
[0023]上述公式中，hash为哈希函数，mod为取余计算，c为数据结构的列数。
[0024]一种示例性的实施例中，方法还包括：
[0025]所述根据所述数据包的流标识符，在预先设置的数据结构中未查找具有相同流标识符的元素，则确定待比对的元素集中计数器值最小的元素；
[0026]从预先建立的基数估计值表中确定该计数器值最小的元素所对应的值，并用随机生成的概率值进行命中判断；
[0027]如果命中该概率值则将所述数据包的流标识符替换为该计数器值最小的元素的流标识符。
[0028]一种示例性的实施例中，所述如果执行更新操作后的元素符合预设条件，则上报所述元素，包括：
[0029]判断该执行更新操作后的元素的位图中“1”的数量是否大于或等于阈值T1；
[0030]若该元素更新后的计数器值大于或等于位图中的“1”的数量，则将该元素的流标识符和位图进行上报，并将该元素进行清空。
[0031]一种示例性的实施例中，所述阈值是通过以下步骤确定的：
[0032]预先设置目标流标识符和属性信息、上报信息所对应的基数值；
[0033]并根据该属性信息确定位图的位数；
[0034]根据该基数值和基数估计值表确定位图中的“1”的数量。
[0035]一种示例性的实施例中，所述基数估计值表是计数器值与基数估计值对应关系的表；
[0036]其中，所述计数器值与基数估计值对应关系是通过预先设置的位图的位数和数据流中的计数器的值根据基数值估计公式计算确定的。
[0037]本申请还提供了一种网络异常流量检测装置，所述装置包括：存储器和处理器；所述存储器用于保存网络异常流量检测的程序，所述处理器用于读取执行所述用于网络异常流量检测的程序，执行上述实施例中任一项所述的网络异常流量检测方法。
[0038]与相关技术相比，本申请提供一种网络异常流量检测方法和装置，所述方法包括：接收待检测的数据包，其中，所述数据包包括流标识符；根据所述数据包的流标识符，在预先设置的数据结构中查找具有相同流标识符的元素，其中，该数据结构包括多个元素；对于查找到的元素，根据该数据包对该元素执行更新操作；如果执行更新操作后的元素符合预设条件，则上报所述元素，以供进行检测网络异常行为。本申请利用流标识符和预先设置的数据结构可以实现一种效率高、内存使用量少、并实时上报基数值超过阈值的流标识符的方法。
[0039]本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
[0040]附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
[0041]图1为一示例性实施例中扫描攻击示意图；
[0042]图2本申请实施例的网络异常流量检测方法流程图；
[0043]图3为本申请实施例的网络异常流量检测装置示意图；
[0044]图4为一示例性实施例中内存中的数据状态及处理流程示意图；
[0045]图5为一示例性实施例中更新、替换操作完成后的数据状态示意图。
具体实施方式
[0046]本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
[0047]本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的专利技术方案。任何实施例的任何特征或元件也可以与来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络异常流量检测方法，其特征在于，所述方法包括：接收待检测的数据包，其中，所述数据包包括流标识符；根据所述数据包的流标识符，在预先设置的数据结构中查找具有相同流标识符的元素，其中，该数据结构包括多个元素；对于查找到的元素，根据该数据包对该元素执行更新操作；如果执行更新操作后的元素符合预设条件，则上报所述元素，以供进行检测网络异常行为。2.根据权利要求1所述的网络异常流量检测方法，其特征在于，所述预先设置的数据结构包含r
×
c个元素；所述数据结构中的每行对应不同的哈希函数；其中，r为数据结构的行数，c为数据结构的列数，r、c均为大于1的正整数。3.根据权利要求2所述的网络异常流量检测方法，其特征在于，所述数据包还包括属性信息；所述元素包括位图；所述对于查找到的元素，根据该数据包对该元素执行更新操作包括：根据流标识符、属性信息和每行对应的哈希函数确定所查找到的元素的位图中对应的位；若该位上为“0”，则将该位上的值更新为“1”，并将该元素的计数器值加1；若该位上为“1”，则结束更新操作。4.根据权利要求3所述的网络异常流量检测方法，其特征在于，所述流标识符为源IP地址或目的IP地址；所述属性信息为目的IP地址或源IP地址。5.根据权利要求4所述的网络异常流量检测方法，其特征在于，所述根据所述数据包的流标识符，在预先设置的数据结构中查找具有相同流标识符的元素，包括：根据所述数据包的流标识符，利用比对元素确认公式确定待比对的数据结构中的元素集；对所确定的元素集中的每个元素分别与所述数据包的流标识符进行一一比对，找到和数据包具有相同流标识符的元素；其中，所述比对元素确认公式为：hash
i
(流标识符)mod c；上述公式中，hash为哈希函数，mod为取余计算，c为数据结构的列数。6.根据权利要求5所述的网络异常流量检...

【专利技术属性】
技术研发人员：施新刚，奚枭天，赵宗义，尹霞，王之梁，张晗，
申请(专利权)人：清华大学，
类型：发明
国别省市：