【技术实现步骤摘要】
本专利技术属于网络安全监测，尤其涉及一种用于网络异常检测的高效高精度基数测量方法及系统。
技术介绍
1、网络异常检测是保证网络安全性的重要手段。其中，超级传播者识别是网络异常检测的核心任务，目的是识别具有高基数的网络流。因此，基数估计是准确识别超级传播者的前提。与流大小估计相比，基数估计侧重计算网络流中的不同数据包，具有不可累加性，需要在估计过程中删除重复数据包。随着网络流速和网络规模的不断增加，监控每个网络流中不同数据包的成本变得越来越大。概要结构常被用于监控高速网络环境中网络流的信息。该方法使用随机哈希技术将大量网络流映射到一个紧凑且内存固定的结构中，可以实时估计网络流的基数。与传统逐个监控网络流的方法相比，概要结构占用较小内存并提供误差可控的基数估计，适合实际应用。
2、目前超级传播者检测的研究工作分为三种。第一种是基于位图的概要结构，但该方法存在由哈希冲突引起的精度问题以及高内存占用的低效率问题。第二种是基于概率计数的概要结构，但这种方法对小基数主机估计精度较低，并且无法实现超级传播者的溯源。第三种是基于计数器共享的概要结构，但大基数和小基数主机共享内存的过程会引起估计误差，且不支持超级主机地址的重建。综上所述，超级传播者检测仍存在无法平衡检测准确性和效率的问题。通过在概要结构中分配大计数器可以获得较高的检测精度，但在监控小基数主机时会造成内存的浪费。在概要结构中设置小计数器可以实现内存效率，但无法准确测量大基数主机。
3、为了实现准确和高效的超级传播者检测，应解决以下问题：
4、1)
5、2)真实网络流量主机基数分布高度不均匀，大基数主机只占一小部分，无法合理设置适当的计数器大小来实现准确主机测量。
6、3)大多数概要结构通过哈希方法来处理流量信息，无法一一存储主机的id信息。但在一些网络测量任务中，需要溯源超级传播者的来执行进一步的安全性分析。
7、综上所述，需要设计一种可以同时实现准确的基数估计、内存效率、高吞吐量和可逆性的概要结构在高速率网络环境中检测超级传播者。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种用于网络异常检测的高效高精度基数测量方法及系统。
2、本专利技术是这样实现的，一种用于网络异常检测的高效高精度基数测量系统，该系统通过结合哈希和采样技术动态地扩展网络流量测量上限，可以实现准确且内存高效地同时监控大基数流和小基数流，并且利用网络异常的特点，在网络流量采集过程中自动筛选出潜在潜在异常，提高网络异常检测效率高。
3、所述系统包括功能模块、运算模块；
4、所述功能模块包括可变形概要结构；
5、所述可变形概要结构，有w个数组和s桶；第i个数组和第j个桶表示为m(i，j)，其中1≤i≤w和1≤j≤s；每个桶m(i，j)包含五个字段；
6、所述运算模块包括：
7、(1)哈希函数hi(k)(1≤i≤w)和h(v)；可变形概要结构的每一行都与hi(k)相关联，将流的id映射到每一行的桶s中m(i，hi(k))；h(v)用于查找映射元素v在cij中的位置m(i，hi(k))；
8、(2)哈希函数g(v)；所有行共享全局哈希函数g(v)，该函数将元素哈希为位满足几何分布的二进制比特表示；指示器函数ρ(g(v))用于返回来自g(v)最小有效位的前导0的数量。
9、进一步，所述可变形概要结构采用自适应采样位图，在数据采集过程中，可变形概要结构使用均匀哈希技术和自适应采样来记录数据，确保每个数据包只有在第一次出现时才被记录；
10、所述可变形概要结构能够根据基数分布变化构建逻辑位图，自适应地扩大估计上界，保证了在有限内存源下的基数测量准确性和存储效率；通过比较到达的不同数据包数量，挑选基数最大异常流来检测超级传播者。
11、进一步，所述可变形概要结构中每个桶m(i，j)包含五个字段分别为：
12、(1)用于记录基数信息的大小为m比特的自变形位图计数器cij；该计数器根据监测的基数信息自适应地构建逻辑位图来扩大估计上限；
13、(2)用于记录计数器cij变化程度的指示器tij；该指示器表示当前位图更新的次数；
14、(3)记录逻辑位图深度的指示器rij；位图越深，其估计的上界就越高；rij也用于计算当前位图深度的采样概率，即
15、(4)记录计数器触发更新次数的指示器uij；增加或减少uij取决于到达数据包id与iij的比较结果和cij的状态变化情况；
16、(5)存储候选超级传播者id的记录器iij。
17、进一步，所述存储候选超级传播者id的记录器iij，如果uij变为零，iij也会产生变化；因此，对于触发计数器cij大量更新的超级传播者，它们的id将被存储在它们所在的桶中。
18、本专利技术的另一目的在于提供一种实施所述用于网络异常检测的高效高精度基数测量系统的用于网络异常检测的高效高精度基数测量方法，所述方法包括如下步骤：
19、s1：网络流采集；将哈希技术和采样相结合，将网络流基数信息存储到可变形概要结构中，哈希技术用于在高速网络环境下对数据包进行高效处理，采样技术用于提高大基数主机的更新吞吐量和估计精度；
20、s2：网络基数查询；返回查询流的基数信息，用于检测超级传播者；
21、s3：超级传播者检测；为了检测可变形概要结构中的超级扩传播者，首先遍历可变形概要结构中的所有桶，找到计数器深度超过预定阈值的可疑桶；其次，执行可变形概要结构的查询操作来估算可疑桶中记录id的基数；如果一个可疑流的估计基数大于预定义阈值，那么将该可疑流报告为超级传播者。
22、进一步，所述s1的网络流采集具体为将每个桶中的功能模块都设置为零；当数据包<k，v>到达时，通过计算hi(k)(1≤i≤w)定位桶m(i，hi(k))并执行哈希计算g(v)得到v的二进制；给定一个用于测量变化程度cij的阈值t，更新m(i，hi(k))。
23、进一步，所述更新m(i，hi(k))需要以下四个步骤：
24、步骤1：如果进入下一步，否则不采样；
25、步骤2：如果不更新；否则，设置并将加1，进入下一步；
26、步骤3：如果设置否则，将uij减小如果uij≤0，那么将替换成k，设置转到下一步；
27、步骤4：如果tij≥t，设置rij+＝1并将tij初始化为0。
28、进一步，所述s2返回查询流的基数信息，用于检测超级传播者具体为：
29、为了估计网络流k的基数信息，首先计算hi(k)(1≤i≤w)来找到每一行中所在的桶；其次，检查每个桶中的字段；假设tij＝t和rij＝r(≠0)，基于可变形概要结构计算网本文档来自技高网...
【技术保护点】
1.一种用于网络异常检测的高效高精度基数测量系统其特征在于，所述系统包括功能模块、运算模块；
2.如权利要求1所述用于网络异常检测的高效高精度基数测量系统，其特征在于，所述可变形概要结构采用自适应采样位图，在数据采集过程中，可变形概要结构使用均匀哈希技术和自适应采样来记录数据，确保每个数据包只有在第一次出现时才被记录；
3.如权利要求1所述用于网络异常检测的高效高精度基数测量系统，其特征在于，所述可变形概要结构中每个桶M(i，j)包含五个字段分别为：
4.如权利要求3所述用于网络异常检测的高效高精度基数测量系统，其特征在于，所述存储候选超级传播者ID的记录器Iij，如果Uij变为零，Iij也会产生变化；因此，对于触发计数器Cij大量更新的超级传播者，它们的ID将被存储在它们所在的桶中。
5.一种实施如权利要求1-4所述用于网络异常检测的高效高精度基数测量系统的用于网络异常检测的高效高精度基数测量方法，其特征在于，所述方法包括如下步骤：
6.如权利要求5所述用于网络异常检测的高效高精度基数测量方法，其特征在于，所述S1的网
7.如权利要求6所述用于网络异常检测的高效高精度基数测量方法，其特征在于，所述更新M(i，hi(k))需要以下四个步骤：
8.如权利要求5所述用于网络异常检测的高效高精度基数测量方法，其特征在于，所述S2返回查询流的基数信息，用于检测超级传播者具体为：
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求5-8任意一项所述用于网络异常检测的高效高精度基数测量方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求1-4任意一项所述用于网络异常检测的高效高精度基数测量系统。
...【技术特征摘要】
1.一种用于网络异常检测的高效高精度基数测量系统其特征在于，所述系统包括功能模块、运算模块；
2.如权利要求1所述用于网络异常检测的高效高精度基数测量系统，其特征在于，所述可变形概要结构采用自适应采样位图，在数据采集过程中，可变形概要结构使用均匀哈希技术和自适应采样来记录数据，确保每个数据包只有在第一次出现时才被记录；
3.如权利要求1所述用于网络异常检测的高效高精度基数测量系统，其特征在于，所述可变形概要结构中每个桶m(i，j)包含五个字段分别为：
4.如权利要求3所述用于网络异常检测的高效高精度基数测量系统，其特征在于，所述存储候选超级传播者id的记录器iij，如果uij变为零，iij也会产生变化；因此，对于触发计数器cij大量更新的超级传播者，它们的id将被存储在它们所在的桶中。
5.一种实施如权利要求1-4所述用于网络异常检测的高效高精度基数测量系统的用于网络异常检测的高效高精度基数测量方法，其特征在于，所述方法包括如下步骤：
6.如权利要求5所述用于网络异常检测的高效高精...
【专利技术属性】
技术研发人员：宋首友，王普，姜伟，李阳春，孟庆顺，赵高华，林浩，
申请(专利权)人：中国网络空间研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。