【技术实现步骤摘要】
超大数据包文件完整会话处理方法、系统及可读存储介质
[0001]本专利技术属于数据分析方法的
，具体而言，涉及一种超大数据包文件完整会话处理方法、系统及可读存储介质。
技术介绍
[0002]在数据包文件分析中，数据包文件由多个会话组成。数据包文件的分析是将会话数据包读取出来，并按照会话维度来展开分析，分析结果也是按照会话维度存放。
[0003]目前，数据包文件的会话处理方式为：所有读取到的会话数据包，将按会话维度建立分析流表；将所有会话信息缓存到内存中。
[0004]在处理较大数据包文件且数据会话会大量存在时，会导致内存使用过多。通常内存不足以存放所有分析数据，在内存不足时，将触发提前提交部分会话分析结果到存储设备，使得这部分会话不完整，分析速度也将受影响，内存使用过多，也可能导致最终分析失败。
[0005]基于上述，现有技术方案的主要问题点在于：
[0006](1)在分析大文件且内存不够用时，部分会话分析过程会提前终止以便释放资源，由于提前终止分析，导致这部分会话信息不完整；
...
【技术保护点】
【技术特征摘要】
1.一种超大数据包文件完整会话处理方法，其特征在于，该处理方法包括：S1：读取数据包文件且该数据包文件的大小为k；S2：判断该数据包文件是否达到拆分上限m，若达到，则进入下一步；否则，结束；S3：将数据包文件拆分为n份，且n＝k/m；并将当前数据包文件中所有的会话数据包分成n份文件块；S4：将第1份文件块传输至分析流程，且第2～n份文件块缓存到磁盘；S5：待分析流程将当前文件块分析完成后，提交当前分析结果并清理所有数据；S6：由分析流程在磁盘中依次读取第2～n份文件块并执行步骤S5，直至结束。2.根据权利要求1所述的超大数据包文件完整会话处理方法，其特征在于，所述步骤S3的方法为：S301：计算该数据包文件中各个会话数据包按照ip四元组的hash值；S302：通过hash值对n求模，根据求模的值将所有的会话数据包分为n份文件块。3.根据权利要求2所述的超大数据包文件完整会话处理方法，其特征在于，所述分析流程可同时分析1～1000w份会话数据包。4.一种超大数据包文件完整会话处理系统，其特征在于，该系统包括：数据拆分模块，通过...
【专利技术属性】
技术研发人员：宋小龙，
申请(专利权)人：成都科来网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。