System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种网络流量存储方法、装置以及处理设备制造方法及图纸_技高网

一种网络流量存储方法、装置以及处理设备制造方法及图纸

技术编号:40540526 阅读:5 留言:0更新日期:2024-03-05 18:56
本申请提供了一种网络流量存储方法、装置以及处理设备,用于针对网络存证需求,对会话记录的会话表进行改造,由于额外配置的两个64bit字段只记录会话最后一个网络流量报文的文件标识file id和位置偏移量offset,不像现有技术需要在会话表中记录网络流量报文的具体信息,如此只需要16字节的存储成本,显著降低了对于存储成本的要求,并且后续检索时的索引成本基本为零,如此实现了高效且低成本的网络存证效果。

【技术实现步骤摘要】

本申请涉及网络领域,具体涉及一种网络流量存储方法、装置以及处理设备


技术介绍

1、在公司内部,对于进行网络取证/网络回溯的数据分析中心,需要对网络流量进行实时存储,以便发生网络安全事件时,能提取到原始的网络流量来满足分析、举证的需求,而这就涉及到几个方面的技术,一是报文的高效存储,二是报文索引的快速建立,三是报文的快速检索。

2、而本申请专利技术人发现,一方面由于网络流量越来越大,若是使用传统的网络流量采集/分析工具,则处理效率极低,例如面对t级别的流量的话,采用wireshark工具来进行过滤分析,很可能要几十分钟甚至数小时,而且分析过程对磁盘和cpu消耗极大,另一方面传统的网络流量采集/分析工具的工作机制也需要较大的存储空间,而实际情况是难以实现万兆流量的实时存储,甚至可以说是无法实现万兆流量的实时存储。


技术实现思路

1、本申请提供了一种网络流量存储方法、装置以及处理设备,用于针对网络存证需求,对会话记录的会话表进行改造,由于额外配置的两个64bit字段只记录会话最后一个网络流量报文的文件标识file id和位置偏移量offset,不像现有技术需要在会话表中记录网络流量报文的具体信息,如此只需要16字节的存储成本,显著降低了对于存储成本的要求,并且后续检索时的索引成本基本为零,如此实现了高效且低成本的网络存证效果。

2、第一方面,本申请提供了一种网络流量存储方法,方法包括:

3、在对目标网络流量报文进行存储的情况下,处理设备获取目标网络流量报文分配的目标存包文件的存包文件标识file id和目标网络流量报文在目标存包文件中所写入的存储位置的目标位置偏移量offset,其中,处理设备具体为网络架构中负责网络存证工作的设备;

4、处理设备根据目标网络流量报文的五元组信息,确定目标网络流量报文所属的目标会话;

5、处理设备将目标文件标识file id和目标位置偏移量offset作为目标网络流量报文的会话信息,分别写入目标会话记录的会话表中预先配置的两个64bit字段,预先配置的两个64bit字段只记录目标会话最后一个网络流量报文的文件标识file id和位置偏移量offset,目标会话最后一个网络流量报文的文件标识file id和位置偏移量offset用于触发针对目标会话的报文检索时作为索引使用。

6、第二方面,本申请提供了一种网络流量存储装置,装置包括:

7、获取单元,用于在对目标网络流量报文进行存储的情况下,获取目标网络流量报文分配的目标存包文件的存包文件标识file id和目标网络流量报文在目标存包文件中所写入的存储位置的目标位置偏移量offset,其中,处理设备具体为网络架构中负责网络存证工作的设备;

8、确定单元,用于根据目标网络流量报文的五元组信息,确定目标网络流量报文所属的目标会话;

9、写入单元,用于将目标文件标识file id和目标位置偏移量offset作为目标网络流量报文的会话信息,分别写入目标会话记录的会话表中预先配置的两个64bit字段,预先配置的两个64bit字段只记录目标会话最后一个网络流量报文的文件标识file id和位置偏移量offset,目标会话最后一个网络流量报文的文件标识file id和位置偏移量offset用于触发针对目标会话的报文检索时作为索引使用。

10、第三方面,本申请提供了一种处理设备,包括处理器和存储器,存储器中存储有计算机程序,处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

11、第四方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质存储有多条指令,指令适于处理器进行加载,以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

12、从以上内容可得出,本申请具有以下的有益效果:

13、针对网络存证需求,对会话记录的会话表进行改造,由于额外配置的两个64bit字段只记录会话最后一个网络流量报文的文件标识file id和位置偏移量offset,不像现有技术需要在会话表中记录网络流量报文的具体信息,如此只需要16字节的存储成本,显著降低了对于存储成本的要求,并且后续检索时的索引成本基本为零,如此实现了高效且低成本的网络存证效果。

本文档来自技高网...

【技术保护点】

1.一种网络流量存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述处理设备上配置有缓存池,所述缓存池包括至少两个缓存块,所述处理设备对所述目标网络流量报文进行存储的过程中,包括:

3.根据权利要求2所述的方法,其特征在于,所述处理设备在将所述目标网络流量报文写入所述第一缓存块或者所述第二缓存块的过程中,包括:

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求2所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,写入所述目标网络流量报文的所述第一缓存块或者所述第二缓存块,对应的报文信息还描述有所述目标会话的上一个网络流量报文的历史文件标识file id和历史位置偏移量offset,所述处理设备将所述目标网络流量报文作为所述目标会话的查看结果向所述用户进行反馈,包括:

8.一种网络流量存储装置,其特征在于,所述装置包括:

9.一种处理设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至7任一项所述的方法。

...

【技术特征摘要】

1.一种网络流量存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述处理设备上配置有缓存池,所述缓存池包括至少两个缓存块,所述处理设备对所述目标网络流量报文进行存储的过程中,包括:

3.根据权利要求2所述的方法,其特征在于,所述处理设备在将所述目标网络流量报文写入所述第一缓存块或者所述第二缓存块的过程中,包括:

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求2所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,写...

【专利技术属性】
技术研发人员:张钢
申请(专利权)人:武汉思普崚技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1