一种大数据级Pcap文件的处理方法及系统技术方案

本发明专利技术提出一种大数据级Pcap文件的处理方法及系统，首先计算系统内存，并在顺序读取Pcap文件的过程中动态计算系统内存使用率，当内存使用率达到规定数值时停止读取，并标记标志位，对一次读取的数据进行分析后释放内存，返回标志位继续对Pcap文件进行读取，直至Pcap文件被完整处理。本发明专利技术结合系统内存情况对大数据级Pcap文件进行分批读取，有效保证了系统处理数据的速度，提高数据分析效率；进一步地，根据本发明专利技术可对处理的Pcap文件的完整性进行校验，保证了数据的完整性和处理结果的准确性。

【技术实现步骤摘要】

本专利技术涉及计算机网络
，尤其涉及一种大数据级Pcap文件的处理方法及系统。
技术介绍
Pcap文件是进行网络抓包后存盘的数据文件，一般情况下，我们可使用wireshark来查看Pcap文件内容，并借助过滤器过滤出我们需要的数据包，并进行网络流量分析。但现有技术中，由于系统内存大小的限制，一般只能处理GB数量级的Pcap文件，而对TB数量级这类大数据级Pcap文件的处理速度、效率及数据处理的完整性都不高。
技术实现思路
针对上述现有技术中存在的缺陷，本专利技术提出一种大数据级Pcap文件的处理方法及系统，首先计算系统内存，并在顺序读取Pcap文件的过程中动态计算系统内存使用率，当内存使用率达到规定数值时停止读取，并标记标志位，对一次读取的数据进行分析后释放内存，返回标志位继续对Pcap文件进行读取，直至Pcap文件被完整处理。具体
技术实现思路
包括：一种大数据级Pcap文件的处理方法，包括如下步骤：步骤1：获取系统内存信息，计算系统容量；步骤2：从Pcap文件头部开始顺序读取数据；步骤3：动态计算内存使用率，当内存使用率达到规定数值时，暂停读取数据；步骤4：在暂停读取数据的位置设本文档来自技高网...

【技术保护点】
一种大数据级Pcap文件的处理方法，其特征在于，包括如下步骤：步骤1：获取系统内存信息，计算系统容量；步骤2：从Pcap文件头部开始顺序读取数据；步骤3：动态计算内存使用率，当内存使用率达到规定数值时，暂停读取数据；步骤4：在暂停读取数据的位置设置标志位，计算本次读取数据的特征值，并将标志位与特征值存储在日志文件中；步骤5：对本次读取数据进行分析，提取特征信息，按规定存储特征信息；步骤6：返回Pcap文件标志位的位置，擦除标记位，释放系统内存，顺序读取数据，并再次执行步骤3至步骤5；步骤7：重复步骤6，直至Pcap文件被完整处理。

【技术特征摘要】
1.一种大数据级Pcap文件的处理方法，其特征在于，包括如下步骤：步骤1：获取系统内存信息，计算系统容量；步骤2：从Pcap文件头部开始顺序读取数据；步骤3：动态计算内存使用率，当内存使用率达到规定数值时，暂停读取数据；步骤4：在暂停读取数据的位置设置标志位，计算本次读取数据的特征值，并将标志位与特征值存储在日志文件中；步骤5：对本次读取数据进行分析，提取特征信息，按规定存储特征信息；步骤6：返回Pcap文件标志位的位置，擦除标记位，释放系统内存，顺序读取数据，并再次执行步骤3至步骤5；步骤7：重复步骤6，直至Pcap文件被完整处理。2.如权利要求1所述的方法，其特征在于，还包括：参照所述计算本次读取数据特征值的计算方式，计算Pcap文件在日志文件中记录的相邻两个标记位之间数据的特征值，若结果与日志文件中的特征值完全匹配，则所处理的Pcap文件是完整的，若不能完全匹配，则匹配失败的特征值所对应的标记位之前的数据是不完整的，需返回Pcap文件相应标记位的位置，对数据进行重新获取。3.如权利要求1或2所述的方法，其特征在于，所述按规定存储特征信息，具体为：将特征信息存储在以标记位命名的文件中。4.如权利要求3所述的方法，其特征在于，所述特征信息包括：源IP、目的IP、URL、协议方式、端口信息。5.如权利要求1或2或4所述的方法，其特征在于，所述系统内存信息包括：系统总内存、系统空闲内存、块设备缓冲大小、文件缓冲大小。...

【专利技术属性】
技术研发人员：桑彦东，宋丹成，韩文奇，肖新光，
申请(专利权)人：哈尔滨安天科技股份有限公司，
类型：发明
国别省市：黑龙江;23