网络报文的压缩与解压方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术提供一种网络报文的压缩与解压方法、装置、设备及可读存储介质，压缩方法包括：接收并暂存网络报文并生成包括会话信息的报文信息；满足压缩条件时，将暂存的网络报文压缩得到压缩块并生成包括会话信息索引的压缩块信息，并更新压缩文件信息；满足压缩文件生成条件时，将压缩文件信息、压缩块、压缩块信息、报文信息打包得到压缩文件，压缩文件信息包括压缩文件中最早接收的网络报文的接收时间。解压方法包括：基于压缩文件中最早接收的网络报文的接收时间，查找符合检索指令要求的压缩文件；对查找到的压缩文件，查找其中的目标会话信息索引；在目标会话信息索引对应的压缩块中查找目标压缩块；对目标压缩块进行解压得到所述目标网络报文。得到所述目标网络报文。得到所述目标网络报文。

【技术实现步骤摘要】
网络报文的压缩与解压方法、装置、设备及可读存储介质


[0001]本专利技术涉及计算机
，尤指一种网络报文的压缩与解压方法、装置、设备及可读存储介质。

技术介绍

[0002]随着互联网技术的飞速发展，互联网上的信息量正在以几何级数的增长速度增长，各类网络应用层出不穷，与之相对应的就是网络攻击行为也在与日俱增。传统的基于流量分析、规则检测等技术可以在超高网络带宽的场景下对流量进行分析，记录各种网络行为日志。现在的更高的要求是记录下原始流量作为证据留存，实现和网络日志的上下文关联，事件溯源分析。
[0003]目前网络流量分析中全流量存储基本有三种方案：1、直接存储网络报文；2、使用存储性能开发套件(Storage Performance Development Kit，SPDK)技术保存网络报文；3、使用分布式外接存储保存网络报文。针对方案1，对于有限磁盘来说，网络流量太大时外存储器磁盘输入输出接口I/O不足。针对方案2，需要和数据平面开发套件(Data Plane Development Kit，DPDK)绑定，且需要使用非易失性内存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种压缩的网络报文的解压方法，其特征在于，包括：响应于检索指令，基于压缩文件中最早接收的网络报文的接收时间，在外存储器中查找符合所述检索指令指示的时间要求的压缩文件；其中，所述压缩文件中包括：所述压缩文件对应的压缩文件信息、至少一个压缩块以及各所述压缩块对应的压缩块信息、至少一个报文信息；其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间；每个压缩块是对至少一个网络报文压缩得到的；所述压缩块信息包括所述压缩块中网络报文的会话信息索引；每个报文信息包括网络报文的会话信息；对查找到的任意一个所述压缩文件，执行如下步骤：从各所述压缩块对应的压缩块信息的会话信息索引中，查找与所述检索指令指示的会话信息对应的目标会话信息索引；在所述目标会话信息索引对应的压缩块中查找目标网络报文所在的目标压缩块；其中，所述目标网络报文是与目标报文信息对应的网络报文，所述目标报文信息是包含所述检索指令指示的会话信息的报文信息；根据所述目标压缩块对应的压缩块信息和所述目标压缩块中压缩存储的所有网络报文分别对应的所述报文信息，解压所述目标压缩块得到所述目标网络报文。2.如权利要求1所述的方法，其特征在于，对查找到的任意一个所述压缩文件，具体执行如下步骤：不重复选取所述压缩文件中的一个压缩块信息作为当前压缩块信息执行如下步骤，直到所述压缩文件中的所有压缩块信息均被选取过后结束：判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引；若不存在，且存在所述压缩文件中的压缩块信息未被选取过，则再次不重复选取一个所述压缩文件中的压缩块信息作为当前压缩块信息，并返回判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引的步骤；若存在，则在所述当前压缩块信息对应的所有报文信息中查找所述目标报文信息；若查找到所述目标报文信息，则将所述当前压缩块确定为目标压缩块，对所述目标压缩块解压得到所述目标压缩块中的各网络报文，保存其中的所述目标网络报文；保存其中的所述目标网络报文或若未查找到所述目标报文信息之后，若存在所述压缩文件中的压缩块信息未被选取过，则再次不重复选取一个所述压缩文件中的压缩块信息作为当前压缩块信息，并返回判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引的步骤。3.如权利要求2所述的方法，其特征在于，所述压缩文件中的数据按照压缩文件信息、各所述压缩块对应的压缩块信息、各报文信息、各所述压缩块的顺序存储；所述压缩文件信息还包括压缩块数量；所述压缩块信息还包括对应的压缩块包含的网络报文数量、对应的所述压缩块未压缩时的占用长度、对应的所述压缩块压缩后的占用长度、对应的所述压缩块在所述压缩文件中的偏移位置、对应的网络报文的起始序号；所述报文信息还包括对应的网络报文未被压缩时的占用长度和位置；判断第一个压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信
息对应的目标会话信息索引之前，还包括：根据所述压缩文件信息中的压缩块数量和每个压缩块信息的占用长度，确定所述压缩文件中的各压缩块信息的占用长度和位置；在所述当前压缩块信息对应的所有报文信息中查找所述目标报文信息之前，还包括：根据各压缩块信息中对应的网络报文的起始序号，确定所述当前压缩块对应的报文信息的起始位置；根据所述当前压缩块对应的报文信息的起始序号、网络报文数量和每个报文信息的占用长度，确定当前压缩块对应的所有报文信息的占用长度和位置；对所述目标压缩块得到所述目标压缩块中的各网络报文，具体包括：根据所述当前压缩块在所述压缩文件中的偏移位置、所述当前压缩块压缩后的占用长度确定当前压缩块的数据，利用所述当前压缩块未压缩时的占用长度、所述当前压缩块对应的各所述报文信息中的对应的网络报文未被压缩时的占用长度和位置对所述当前压缩块的数据进行解压，得到所述当前压缩块中的各网络报文。4.如权利要求1所述的方法，其特征在于，所述会话信息包括如下至少一种：会话编号、四元组、五元组、七元组。5.如权利要求1所述的方法，其特征在于，所述会话信息索引包括会话信息的哈希值。6.一种网络报文的压缩方法，其特征在于，包括：接收并暂存网络报文至内存储器，并为每个暂存的网络报文生成对应的报文信息；其中，所述报文信息包括对应的网络报文的会话信息；确定满足压缩条件时，在所述内存储器中将暂存的所述网络报文进行压缩得到一个压缩块并生成所述压缩块对应的压缩块信息，并根据已生成的压缩块更新压缩文件信息；其中，所述压缩块信息包括所述压缩块中网络报文的会话信息索引；确定满足压缩文件生成条件时，将所述压缩文件信息、已生成的压缩块、各所述压缩块对应的压缩块信息、各网络报文对应的报文信息进行打包，得到所述压缩文件并保存至外存储器中；其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间；其中，所述压缩文件中最早接收的网络报文的接收时间用于筛除不包含有目标网络报文的压缩文件，所述会话信息索引用于在从候选压缩文件中解压目标网络报文时从所述压缩文件中的所有压缩块中筛选出候选压缩块集合，所述会话信息用于从所述候选压缩块集合中确定目标网络报文所在的目标压缩块；所述候选压缩文件为所有保存的压缩文件中，除所述筛除的压缩文件外的任意一个压缩文件。7.如权利要求6所述的方法，其特征在于，所述压缩文件中的数据按照压缩文件信息、各所述压缩块对应的压缩块信息、各报文信息、各所述压缩...

【专利技术属性】
技术研发人员：雷康，付程，刘嘉奇，黄俊，
申请(专利权)人：北京神州绿盟科技有限公司，
类型：发明
国别省市：