一种基于滑动窗口的流基数测量方法及系统技术方案

技术编号：39970251 阅读：8 留言：0更新日期：2024-01-09 00:43

本发明专利技术涉及一种基于滑动窗口的流基数测量方法及系统，所述方法包括：获取高速网络数据包流；所述高速网络数据包流包括数据包；根据所述数据包生成流元素，且将所述数据包解析生成流标签和流元素标签；将所述流元素标签进行哈希运算生成运算结果；根据所述运算结果将所述流元素存储至虚拟寄存器组；将所述虚拟寄存器组合并生成合并结果；对所述合并结果进行流基数估计生成估计结果。通过引入虚拟寄存器技术，降低了片上空间资源开销，解决了目前无法同时测量多条流基数的问题。通过分别对虚拟寄存器的第一部分和第二部分进行基数估计并相减的方法消除噪声，降低了每次基数估计的寄存器访问次数，进而提高了基数查询的效率。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及网络测量，尤其是指一种基于滑动窗口的流基数测量方法及系统。

技术介绍

1、近年来的高速网络中，对流量进行准确估计为实现攻击检测、负载均衡等应用的重要基础数据。随着大数据时代的发展，网络规模和流速不断增长和扩大。根据ericsson提供的统计数据，2022年第三季度每月的移动网络流量达到108eb，相比于2020年同期的55eb增长了近乎一倍。在高速网络环境下，流量测量方法需要耗费大量的高速存储资源，然而这种资源十分稀缺且昂贵，这对在有限高速处理资源条件下进行精确的流量测量提出了严峻的挑战。因此有必要改进在高速网络中流量测量的方法。

2、当前业界有多种流量测量模型，我们所关注的是滑动时间窗口模型下的流基数测量。滑动时间窗口模型下的流基数测量的主要难点在于如何在保证测量精度的同时动态更新存储的流信息。现有的流基数测量算法由于元素在sketch中的插入操作具有随机化的特点且上述算法为了节省片上的空间消耗丢失了流元素的时间信息，无法适用于滑动时间窗口模型。

3、为了解决滑动时间窗口模型下流基数测量算法问题，我们要在保证一定准确性的前提下降低检测系统所需要的计算和存储开销，同时最大程度的减少该系统对网络的影响。其中需要解决关键技术问题如下：降低存储所有流信息的空间开销，保证采样流量的实时性，有效性；保证流元素信息的完整性；提高算法的准确性，鲁棒性。

4、需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。</p>

技术实现思路

1、为此，本专利技术所要解决的技术问题在于克服现有技术中基于紧凑数据摘要的流基数估计算法为了减小片上空间开销，需要进行位级别或者寄存器级别的内存共享，导致流信息混杂在一起，估计每条流的基数时需要考虑到其他流带来的噪声。并且每次进行流基数估计需要扫描整个sketch，因此无法支持实时查询。同时由于存储空间的限制，无法记录流元素的时间信息，因此不能适用于滑动时间窗口模型。

2、为解决上述技术问题，本专利技术的第一方面提供了一种基于滑动窗口的流基数测量方法，所述方法包括：

3、获取高速网络数据包流；所述高速网络数据包流包括数据包；

4、根据所述数据包生成流元素，且将所述数据包解析生成流标签和流元素标签

5、将所述流元素标签进行哈希运算生成运算结果；

6、根据所述运算结果将所述流元素存储至虚拟寄存器组；

7、将所述虚拟寄存器组合并生成合并结果；

8、对所述合并结果进行流基数估计生成估计结果。

9、在本专利技术的一个实施例中，根据所述运算结果将所述流元素存储至虚拟寄存器组的步骤还包括：

10、若所述运算结果小于预设阈值，则所述流元素存储至所述虚拟寄存器的第一部分；

11、若所述运算结果大于或等于所述预设阈值，则所述流元素存储至所述虚拟寄存器的第二部分。

12、在本专利技术的一个实施例中，所述流元素根据预设比例存储至所述虚拟寄存器组的所述第一部分和所述第二部分。

13、在本专利技术的一个实施例中，将所述虚拟寄存器组合并生成合并结果的步骤还包括：

14、所述合并结果为所述虚拟寄存器中的最大值。

15、在本专利技术的一个实施例中，对所述合并结果进行流基数估计生成估计结果的步骤还包括：

16、对所述第一部分中的流元素进行流基数估计，生成第一结果；

17、对所述第二部分中的流元素进行流基数估计，生成第二结果；

18、根据所述第一结果和所述第二结果计算所述估计结果。

19、在本专利技术的一个实施例中，对所述第一部分中的流元素进行流基数估计，生成第一结果采用以下公式：

20、

21、其中，α是偏差修正常量，s为数据包流所分配的虚拟寄存器的数量，vf为流标签对应的所述虚拟寄存器的值。

22、在本专利技术的一个实施例中，对所述第二部分中的流元素进行流基数估计，生成第二结果采用以下公式：

23、

24、其中，α是偏差修正常量，s为数据包流所分配的虚拟寄存器的数量，vf为流标签对应的所述虚拟寄存器的值。

25、在本专利技术的一个实施例中，根据所述第一结果和所述第二结果计算所述估计结果采用以下公式：

26、

27、其中，为第二结果，为第一结果。

28、在本专利技术的一个实施例中，根据所述第一结果和所述第二结果计算所述估计结果的步骤还包括：

29、若所述第二结果小于所述第一结果，则所述估计结果为所述第二结果。

30、本专利技术的第二方面提供了一种基于滑动窗口的流基数测量系统，所述系统包括：获取模块，解析模块，计算模块；

31、所述获取模块被配置为：获取高速网络数据包流；所述高速网络数据包流包括数据包；

32、所述解析模块被配置为：根据所述数据包生成流元素，且将所述数据包解析生成流标签和流元素标签；

33、所述计算模块被配置为：将所述流元素标签进行哈希运算生成运算结果；根据所述运算结果将所述流元素存储至虚拟寄存器组；将所述虚拟寄存器组合并生成合并结果；对所述合并结果进行流基数估计生成估计结果。

34、本专利技术的上述技术方案相比现有技术具有以下优点：

35、本专利技术所述的一种基于滑动窗口的流基数测量方法及系统，通过引入虚拟寄存器技术，降低了片上空间资源开销，解决了目前无法同时测量多条流基数的问题。通过分别对虚拟寄存器的第一部分和第二部分进行基数估计并相减的方法消除噪声，降低了每次基数估计的寄存器访问次数，进而提高了基数查询的效率。

本文档来自技高网...

【技术保护点】

1.一种基于滑动窗口的流基数测量方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于滑动窗口的流基数测量方法，其特征在于，根据所述运算结果将所述流元素存储至虚拟寄存器组的步骤还包括：

3.根据权利要求2所述的一种基于滑动窗口的流基数测量方法系统，其特征在于：所述流元素根据预设比例存储至所述虚拟寄存器组的所述第一部分和所述第二部分。

4.根据权利要求1所述的一种基于滑动窗口的流基数测量方法，其特征在于，将所述虚拟寄存器组合并生成合并结果的步骤还包括：

5.根据权利要求1所述的一种基于滑动窗口的流基数测量方法，其特征在于，对所述合并结果进行流基数估计生成估计结果的步骤还包括：

6.根据权利要求5所述的一种基于滑动窗口的流基数测量方法，其特征在于，对所述第一部分中的流元素进行流基数估计，生成第一结果采用以下公式：

7.根据权利要求5所述的一种基于滑动窗口的流基数测量方法，其特征在于，对所述第二部分中的流元素进行流基数估计，生成第二结果采用以下公式：

8.根据权利要求5所述的一种基于滑动窗口

9.根据权利要求5所述的一种基于滑动窗口的流基数测量方法，其特征在于，根据所述第一结果和所述第二结果计算所述估计结果的步骤还包括：

10.一种基于滑动窗口的流基数测量系统，其特征在于，所述系统包括：获取模块，解析模块，计算模块；

...

【技术特征摘要】

1.一种基于滑动窗口的流基数测量方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于滑动窗口的流基数测量方法，其特征在于，根据所述运算结果将所述流元素存储至虚拟寄存器组的步骤还包括：

4.根据权利要求1所述的一种基于滑动窗口的流基数测量方法，其特征在于，将所述虚拟寄存器组合并生成合并结果的步骤还包括：

5.根据权利要求1所述的一种基于滑动窗口的流基数测量方法，其特征在于，对所述合并结果进行流基数估计生成估计结果的步骤还包括：

6.根据权利要求...

【专利技术属性】
技术研发人员：黄河，孙玉娥，杜扬，仇忠骏，吴晗，
申请(专利权)人：苏州大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人