用于汇聚分流设备的报文去重方法及其系统技术方案

本申请公开了一种用于汇聚分流设备的报文去重方法及其系统

【技术实现步骤摘要】
用于汇聚分流设备的报文去重方法及其系统


[0001]本申请涉及汇聚分流设备领域，且更为具体地，涉及一种用于汇聚分流设备的报文去重方法及其系统
。

技术介绍

[0002]汇聚分流设备是网络中常用的设备之一，用于将来自不同源的数据流汇聚到一个或多个目标设备上
。
在汇聚过程中，可能会存在大量的重复报文，这些重复报文将严重影响网络处理器的处理
、
传输速度，导致汇聚分流设备处理性能较低，并会增加网络负载和处理开销
。
因此，需要使用报文去重方法来识别和删除重复的报文，以提高网络性能和效率
。
[0003]报文去重是一种在汇聚分流设备中提高网络效率和安全性的技术，它可以消除网络中重复的报文，从而减少网络负载和延迟
。
报文去重的核心是去重表，它是一种存储报文特征的数据结构，用于判断报文是否重复
。
去重表的设计和管理对去重系统的性能和适应性有着重要的影响
。
然而，传统的去重表设计管理通常采用固定的参数和策略，例如固定的表大小
、
哈希算法和清理策略等，这些参数和策略往往不能适应网络流量的动态变化，导致去重效果不理想或者资源浪费
。
[0004]因此，期望一种优化的用于汇聚分流设备的报文去重方案
。

技术实现思路

[0005]有鉴于此，本申请提出了一种用于汇聚分流设备的报文去重方法及其系统，其可以有效地减少网络流量和存储空间的占用，同时也可以防止重放攻击等网络威胁
。
[0006]根据本申请的一方面，提供了一种用于汇聚分流设备的报文去重方法，其包括：获取待处理汇聚分流设备在预定时间段内多个预定时间点的网络流量数据和报文数据；从所述报文数据中提取报文特征，其中，所述报文特征包括报文的大小
、
协议类型
、
源地址和目的地址；对所述各个预定时间点的报文特征进行特征间时序关联编码以得到报文特征间时序关联特征；对所述多个预定时间点的网络流量数据进行时序特征分析以得到网络流量时序特征；对所述报文特征间时序关联特征和所述网络流量时序特征进行特征融合分析以得到报文特征
‑
网络流量时序融合特征；以及基于所述报文特征
‑
网络流量时序融合特征，确定增大去重表的容量或者减小去重表的容量
。
[0007]根据本申请的另一方面，提供了一种用于汇聚分流设备的报文去重系统，其包括：数据获取模块，用于获取待处理汇聚分流设备在预定时间段内多个预定时间点的网络流量数据和报文数据；
报文特征提取模块，用于从所述报文数据中提取报文特征，其中，所述报文特征包括报文的大小
、
协议类型
、
源地址和目的地址；特征间时序关联编码模块，用于对所述各个预定时间点的报文特征进行特征间时序关联编码以得到报文特征间时序关联特征；时序特征分析模块，用于对所述多个预定时间点的网络流量数据进行时序特征分析以得到网络流量时序特征；特征融合分析模块，用于对所述报文特征间时序关联特征和所述网络流量时序特征进行特征融合分析以得到报文特征
‑
网络流量时序融合特征；以及去重表容量分析模块，用于基于所述报文特征
‑
网络流量时序融合特征，确定增大去重表的容量或者减小去重表的容量
。
[0008]根据本申请的实施例，其首先获取待处理汇聚分流设备在预定时间段内多个预定时间点的网络流量数据和报文数据，接着，从所述报文数据中提取报文特征，然后，对所述各个预定时间点的报文特征进行特征间时序关联编码以得到报文特征间时序关联特征，接着，对所述多个预定时间点的网络流量数据进行时序特征分析以得到网络流量时序特征，然后，对所述报文特征间时序关联特征和所述网络流量时序特征进行特征融合分析以得到报文特征
‑
网络流量时序融合特征，最后，基于所述报文特征
‑
网络流量时序融合特征，确定增大去重表的容量或者减小去重表的容量
。
这样，可以有效减少网络流量和存储空间的占用
。
[0009]根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚
。
附图说明
[0010]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例
、
特征和方面，并且用于解释本申请的原理
。
[0011]图1示出根据本申请的实施例的用于汇聚分流设备的报文去重方法的流程图
。
[0012]图2示出根据本申请的实施例的用于汇聚分流设备的报文去重方法的架构示意图
。
[0013]图3示出根据本申请的实施例的用于汇聚分流设备的报文去重方法的子步骤
S130
的流程图
。
[0014]图4示出根据本申请的实施例的用于汇聚分流设备的报文去重方法的子步骤
S140
的流程图
。
[0015]图5示出根据本申请的实施例的用于汇聚分流设备的报文去重系统的框图
。
[0016]图6示出根据本申请的实施例的用于汇聚分流设备的报文去重方法的应用场景图
。
具体实施方式
[0017]下面将结合附图对本申请实施例中的技术方案进行清楚
、
完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例
。
基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于
本申请保护的范围
。
[0018]如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和
/
或“该”等词并非特指单数，也可包括复数
。
一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素
。
[0019]以下将参考附图详细说明本申请的各种示例性实施例
、
特征和方面
。
附图中相同的附图标记表示功能相同或相似的元件
。
尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图
。
[0020]另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节
。
本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施
。
在一些实例中，对于本领域技术人员熟知的方法
、
手段
、
元件和电路未作详细描述，以便于凸显本申请的主旨
。
[0021]报文去重方法是一种用于汇聚分流设备的技术，它可以在不影响报文传输的情况下，消除报文的重复内容，从而提高网络效率和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于汇聚分流设备的报文去重方法，其特征在于，包括：获取待处理汇聚分流设备在预定时间段内多个预定时间点的网络流量数据和报文数据；从所述报文数据中提取报文特征，其中，所述报文特征包括报文的大小
、
协议类型
、
源地址和目的地址；对所述各个预定时间点的报文特征进行特征间时序关联编码以得到报文特征间时序关联特征；对所述多个预定时间点的网络流量数据进行时序特征分析以得到网络流量时序特征；对所述报文特征间时序关联特征和所述网络流量时序特征进行特征融合分析以得到报文特征
‑
网络流量时序融合特征；以及基于所述报文特征
‑
网络流量时序融合特征，确定增大去重表的容量或者减小去重表的容量
。2.
根据权利要求1所述的用于汇聚分流设备的报文去重方法，其特征在于，对所述各个预定时间点的报文特征进行特征间时序关联编码以得到报文特征间时序关联特征，包括：对所述各个预定时间点的报文特征进行编码以得到多个报文编码向量；以及将所述多个报文编码向量通过基于
Bi
‑
LSTM
模型的时序上下编码器以得到报文特征间时序关联特征向量作为所述报文特征间时序关联特征
。3.
根据权利要求2所述的用于汇聚分流设备的报文去重方法，其特征在于，对所述多个预定时间点的网络流量数据进行时序特征分析以得到网络流量时序特征，包括：将所述多个预定时间点的网络流量数据按照时间维度排列为网络流量时序输入向量后通过向量
‑
图像格式转换器以得到网络流量时序图像；以及将所述网络流量时序图像通过基于卷积神经网络模型的特征提取器以得到网络流量时序特征图作为所述网络流量时序特征
。4.
根据权利要求3所述的用于汇聚分流设备的报文去重方法，其特征在于，对所述报文特征间时序关联特征和所述网络流量时序特征进行特征融合分析以得到报文特征
‑
网络流量时序融合特征，包括：将所述网络流量时序特征图和所述报文特征间时序关联特征向量通过
Meta
融合模块以得到报文特征
‑
网络流量时序融合特征图作为所述报文特征
‑
网络流量时序融合特征
。5.
根据权利要求4所述的用于汇聚分流设备的报文去重方法，其特征在于，基于所述报文特征
‑
网络流量时序融合特征，确定增大去重表的容量或者减小去重表的容量，包括：将所述报文特征
‑
网络流量时序融合特征图通过分类器以得到分类结果，所述分类结果用于表示增大去重表的容量或者减小去重表的容量
。6.
根据权利要求5所述的用于汇聚分流设备的报文去重方法，其特征在于，还包括训练步骤：用于对所述基于
Bi
‑
LSTM
模型的时序上下编码器
、
所述基于卷积神经网络模型的特征提取器
、
所述
Meta
融合模块和所述分类器进行训练
。7.
根据权利要求6所述的用于汇聚分流设备的报文去重方法，其特征在于，所述训练步骤，包括：获取训练数据，所述训练数据包括待处理汇聚分流设备在预定时间段内多个预定时间点的训练网络流量数据和训练报文数据，以及，所述增大去重表的容量或者减小去重表的
容量的真实值；从所述训练报文数据中提取训练报文特征；对所述各个预定时间点的训练报文特征进行编码以得到多个训练报文编码向量；将所述多个训...

【专利技术属性】
技术研发人员：吴梓聪，
申请(专利权)人：北京中科网芯科技有限公司，
类型：发明
国别省市：