一种类pcap网络数据包压缩存储及索引查询方法技术

本发明专利技术公开了一种类pcap网络数据包压缩存储及索引查询方法，网络数据包压缩存储及查询方法如下：S1：将数据包进行解析，针对数据包的五元组进行解析；S2：根据其中的四元组对pcap文件进行同网络会话数据包的合并；S3：将合并后的数据包进行压缩，压缩内容以一个会话的数据包为单位；S4：将压缩后的数据重新写到pcap文件；S5：通过查询条件得到实际流量回溯所需的整个会话网络；S6：对得到的数据进行解码。本发明专利技术相比较与单包压缩，整个会话压缩的压缩率比较高，将多个数据包分别压缩后相加的体积要比将多个数据包合成一个压缩的体积大，将整个会话压缩比单包的压缩率更好，查询时通过映射表得到对应数据的偏移量，再通过偏移量拿到查询的数据。拿到查询的数据。拿到查询的数据。

【技术实现步骤摘要】
一种类pcap网络数据包压缩存储及索引查询方法


[0001]本专利技术涉及计算机技术
，具体为一种类pcap网络数据包压缩存储及索引查询方法。

技术介绍

[0002]Pcap文件格式是一种标准网络流量存储格式，文件以二进制形式，按时间顺序记录存储原始网络流量数据包数据。在网络安全分析回溯中，原始网络流量数据量大，占用软硬件存储资源庞大。如果单纯通过普通的压缩存储，则需要的分析功能就需要先解压，再查询，对业务功能影响较大。其次，通过单包的压缩存储，实际压缩比例不理想，对解决存储空间不足问题贡献不大。
[0003]经过海量检索，发现现有技术：公开号为CN106533980B，公开了一种网络数据包处理方法及装置，所述方法包括：判断网卡缓存中的网络数据包是否为视频数据包；若所述网络数据包不为视频数据包时，将所述网络数据包存储至第一数据队列，由网络协议栈对所述第一数据队列中的所述网络数据包进行处理；若所述网络数据包为视频数据包时，将所述视频数据包存储至第二数据队列，当到达预设条件时，视频数据处理线程对所述第二数据队列中的所述视频数据包进行处理。所述方法有效降低了终端设备采用网络协议栈处理网络数据包的次数，优化了网络数据包收包效率，可以在无需增加终端设备的成本的情况下，实现更多网络数据包的处理。
[0004]综上所述，在网络回溯分析时对数据的压缩以及索引查询的要求比较高，要适用于网络回溯分析，压缩比例要相对理想，对常规的索引和分析不能造成影响；在网络回溯分析时，索引查询方法要足够方便，通过较少的查询次数得到需要的数据，因此，如何针对网络安全事件回溯场景，实现高压缩的流量存储，同时又不影响常规索引、查询分析功能是本领域技术人员需要解决的问题。

技术实现思路

[0005]本专利技术的目的在于提供一种类pcap网络数据包压缩存储及索引查询方法，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种类pcap网络数据包压缩存储及索引查询方法，网络数据包压缩存储及查询方法如下：
[0007]S1：将数据包进行解析，针对数据包的五元组进行解析；
[0008]S2：根据其中的四元组对pcap文件进行同网络会话数据包的合并；
[0009]S3：将合并后的数据包进行压缩，压缩内容以一个会话的数据包为单位；
[0010]S4：将压缩后的数据重新写到pcap文件；
[0011]S5：通过查询条件得到实际流量回溯所需的整个会话网络；
[0012]S6：对得到的数据进行解码。
[0013]优选的，基于网络数据包压缩存储及查询方法中的查询方法如下：
[0014]SS1：读取pcap文件中的单个数据包，解析数据包的四元组，根据四元组确定数据包的会话；
[0015]SS2：循环SS1中步骤，直到文件中所有的数据包解析完成，结束循环；
[0016]SS3：将同一个会话的数据包进行合并，将pcap文件中同一会话的数据包再按时间顺序进行整理；
[0017]SS4：创建一个新的pcap文件，用于存储压缩后的数据，对pcap文件进行压缩，以同一会话按时间顺序存储，对同一会话的数据包内容调用compress函数进行一次压缩，创建一个映射文件，用来存储数据的偏移量，方便查询索引；
[0018]SS5：将同一会话的数据进行压缩后，存储到新创建的pcap文件中，并保留每个会话压缩后的偏移量；
[0019]SS6：循环步骤SS4和SS5，直到所有会话结束；
[0020]SS7：将五元组与会话的偏移量以及该会话的数据长度对应存储到创建的映射文件中，根据映射文件得到对应的偏移量和会话的数据长度；
[0021]SS8：根据数据长度与偏移量，到新创建的pcap文件中查找内容，读取数据，对读取数据进行解码，展示整个会话的原数据。
[0022]优选的，基于查询方法的SS1中：
[0023]四元组信息为源IP地址、源端口、目的IP地址、目的端口数据组成的一个集合。
[0024]优选的，基于查询方法的SS3中：
[0025]同一会话为数据包中的源IP地址、源端口、目的IP地址、目的端口相同，源与目的位置颠倒，代表来自不同方向，同样属于同一会话。
[0026]优选的，基于查询方法的SS3中：
[0027]每个数据包的格式为时间、数据长度、数据内容，能够根据时间将同一会话的数据包进行排列合并。
[0028]优选的，基于查询方法的SS7中：
[0029]五元组相比于四元组多了一个协议类型，收到查询条件时，根据条件在映射文件中得到查询会话的偏移量，其中查询条件为源IP地址、源端口、目的IP地址、目的端口及协议类型中的一种或多种。
[0030]与现有技术相比，本专利技术的有益效果是：
[0031]1、方便查询，速度快；在实际的流量回溯分析时，通过对数据整个会话压缩，遍历形成映射表，记录每次会话的偏移量。查询时通过映射表得到对应数据的偏移量，再通过偏移量拿到查询的数据。
[0032]2、数据压缩率提高；在实际的流量回溯分析时，相比较与单包压缩，整个会话压缩的压缩率比较高。可将多个数据包分别压缩后相加的体积要比将多个数据包合成一个压缩的体积大。所以将整个会话压缩比单包的压缩率更好。
附图说明
[0033]图1为本专利技术的数据包压缩及索引结构示意图；
[0034]图2为本专利技术的数据包压缩及索引的流程示意图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]在本专利技术的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0037]在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。
[0038]本专利技术提供的两种实施例：
[0039]实施例一：
[0040]请参阅图1，一种类pcap网络数据包压缩存储及索引查询方法，网络数据包压缩存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种类pcap网络数据包压缩存储及索引查询方法，其特征在于：网络数据包压缩存储及查询方法如下：S1：将数据包进行解析，针对数据包的五元组进行解析；S2：根据其中的四元组对pcap文件进行同网络会话数据包的合并；S3：将合并后的数据包进行压缩，压缩内容以一个会话的数据包为单位；S4：将压缩后的数据重新写到pcap文件；S5：通过查询条件得到实际流量回溯所需的整个会话网络；S6：对得到的数据进行解码。2.根据权利要求1所述的一种类pcap网络数据包压缩存储及索引查询方法，其特征在于：基于网络数据包压缩存储及查询方法中的查询方法如下：SS1：读取pcap文件中的单个数据包，解析数据包的四元组，根据四元组确定数据包的会话；SS2：循环SS1中步骤，直到文件中所有的数据包解析完成，结束循环；SS3：将同一个会话的数据包进行合并，将pcap文件中同一会话的数据包再按时间顺序进行整理；SS4：创建一个新的pcap文件，用于存储压缩后的数据，对pcap文件进行压缩，以同一会话按时间顺序存储，对同一会话的数据包内容调用compress函数进行一次压缩，创建一个映射文件，用来存储数据的偏移量，方便查询索引；SS5：将同一会话的数据进行压缩后，存储到新创建的pcap文件中，并保留每个会话压缩后的偏移量；SS6：循环步骤SS4和SS5，直到所有会话结束；SS...

【专利技术属性】
技术研发人员：耿涛，王连超，刁建强，
申请(专利权)人：山东元竞信息科技有限公司，
类型：发明
国别省市：