一种超大文件协议分析统计方法技术

本发明专利技术公开了一种超大文件协议分析统计方法。通过对超大文件进行并行分拆成按序号的小文件，然后对分拆的小文件进行并行同步分析，分析结果输出到各个单独的按序号保存的小文件，然后对分析结果小文件进行归并处理，归并为一个总的分析结果文件。查询结果直接从这个归总文件中进行查询。通过这种并行拆分分析处理，工具能够快速、高效分析统计超大协议数据文件。

【技术实现步骤摘要】
一种超大文件协议分析统计方法
本专利技术涉及一种协议分析统计方法，特别是一种超大文件协议分析统计方法。
技术介绍
基于运营商的数据分析系统中，面向的数据基本是基于通信网络的海量数据，在随机网络中，这些数据内容是实时的且不固定，一旦这些系统出现问题，定位、分析解决问题有一定难度，这时往往需要抓取网路数据包，通过分析抓取的数据包文件而定位问题，找到问题的原因来解决问题。现在网络分析工具主要有Sniffer、Netxray以及wireshark，而在实际商用系统中，一旦系统出现问题，由于wireshark属于开源项目，系统提供公司的故障分析人员一般使用wireshark进行抓包，把数据保存为文件，然后分析这些数据文件以定位问题并解决问题，为了获取足够的网络数据信息，这种数据文件往往在4G以上，而要分析这些数据文件，不论是Sniffer还是wireshark工具，都没有办法打开，因此这些工具就不能分析这些大数据文件,这样分析解决问题就存在困难。
技术实现思路
针对现有技术中存在的问题，本专利技术的目的在于提供一种无需人工操作的超大文件协议分析统计工具。为了达到上述目的，本专利技术采用以下技术方案：一种超大文件协议分析统计方法，步骤包括：1）开启多个超大文件切割模块，文件切割模块数通过计算机CPU核的数量进行配置，缺省情况下切割模块开启3个，通过公式获取超大文件尺寸，并行切割超大文件，通过计算协议文件大小，把超大文件切割为缺省大小为50MB的小文件，之后执行步骤2）；2）开启一个列表，建立文件切割索引，列表元素记录每个小文件在大文件中数据的起始、结束位置，之后执行步骤3）；3）切割模块顺序从列表中获取元素，在获取列表中元素前，对该列表加锁，获取列表元素后，对该列表解锁，同时在列表中移除被获取的元素，每个模块只读打开超大数据文件，移动到元素指定的文件位置，从该位置顺序读取数据并写入到一个文件中，文件名称按照列表元素的顺序命名，直到该元素索引到步骤2）中所述的结束位置为止，之后执行步骤4）；4）建立一个列表，列表元素记录分割文件序号以及分割文件中的不完整数据包，文件分析模块分析数据，当发现数据包是完整的，则执行步骤6），否则当检测不完整数据包是文件第一个包，则查找列表，否则执行步骤5），当检测这个文件序号的上一个文件在列表中，则更新找到的列表中的这个元素，把这个不完整数据包加在这个元素的数据包末尾，否则新建一个元素，记录当前这个不完整数据包的文件序号以及这个不完整数据包，并把这个元素加入列表，之后执行步骤6）；5）当不完整数据包是文件最后一个包，则查找列表，当检测这个文件序号的下一个文件在列表中，则更新找到的列表中的这个元素，把这个不完整数据包加在这个元素数据包的开始，否则新建一个元素，记录当前这个不完整数据包的文件序号以及这个不完整数据包，并把这个元素加入列表，之后执行步骤6）；6）分析模块获取的数据包是完整的，则分析这个数据包，并把分析结果按照文件序号写入到分析结果文件中，之后执行步骤7）；7）建立小文件与保存小文件临时结果文件的映射关系，同步分析切割后的小文件，并把分析结果放入对应小文件的临时结果文件中，之后执行步骤8）；8）归并临时结果文件到一个统一的结果文件中，之后执行步骤9）；9）对结果文件进行归并处理，得到大文件的最终分析结果。采用上述技术方案后，本专利技术具有以下有益效果：本专利技术能够无需人工操作就能分析大数据文件。附图说明图1本专利技术的流程图。具体实施方式下面根据说明书附图和具体实施例对本专利技术作进一步的解释。如图1所示，一种超大文件协议分析统计方法，步骤包括：1）开启多个超大文件切割模块，文件切割模块数通过计算机CPU核的数量进行配置，缺省情况下切割模块开启3个，通过公式获取超大文件尺寸，并行切割超大文件，通过计算协议文件大小，把超大文件切割为缺省大小为50MB的小文件，之后执行步骤2）；2）开启一个列表，建立文件切割索引，列表元素记录每个小文件在大文件中数据的起始、结束位置，之后执行步骤3）；3）切割模块顺序从列表中获取元素，在获取列表中元素前，对该列表加锁，获取列表元素后，对该列表解锁，同时在列表中移除被获取的元素，每个模块只读打开超大数据文件，移动到元素指定的文件位置，从该位置顺序读取数据并写入到一个文件中，文件名称按照列表元素的顺序命名，直到该元素索引到步骤2）中所述的结束位置为止，之后执行步骤4）；4）建立一个列表，列表元素记录分割文件序号以及分割文件中的不完整数据包，文件分析模块分析数据，当发现数据包是完整的，则执行步骤6），否则当检测不完整数据包是文件第一个包，则查找列表，否则执行步骤5），当检测这个文件序号的上一个文件在列表中，则更新找到的列表中的这个元素，把这个不完整数据包加在这个元素的数据包末尾，否则新建一个元素，记录当前这个不完整数据包的文件序号以及这个不完整数据包，并把这个元素加入列表，之后执行步骤6）；5）当不完整数据包是文件最后一个包，则查找列表，当检测这个文件序号的下一个文件在列表中，则更新找到的列表中的这个元素，把这个不完整数据包加在这个元素数据包的开始，否则新建一个元素，记录当前这个不完整数据包的文件序号以及这个不完整数据包，并把这个元素加入列表，之后执行步骤6）；6）分析模块获取的数据包是完整的，则分析这个数据包，并把分析结果按照文件序号写入到分析结果文件中，之后执行步骤7）；7）建立小文件与保存小文件临时结果文件的映射关系，同步分析切割后的小文件，并把分析结果放入对应小文件的临时结果文件中，之后执行步骤8）；8）归并临时结果文件到一个统一的结果文件中，之后执行步骤9）；9）对结果文件进行归并处理，系统通知归并函数对分析结果文件进行归并，把按序号分数的分析结果文件归并为一个完整的结果文件并输出。得到大文件的最终分析结果。输出分析统计结果。通过输入查询条件，按照查询条件输出满足条件的统计结果。至此，即完成了超大文件的协议分析统计工具。本文档来自技高网...

【技术保护点】
一种超大文件协议分析统计方法，其特征在于步骤包括：1）开启多个超大文件切割模块，文件切割模块数通过计算机CPU核的数量进行配置，缺省情况下切割模块开启3个，通过公式M=Rounded(TotalSizeSepSize)N={M+1.(M*SepSize<TotalSize)M.(M*SepSize=TotalSize)获取超大文件尺寸，并行切割超大文件，通过计算协议文件大小，把超大文件切割为缺省大小为50MB的小文件，之后执行步骤2）；2）开启一个列表，建立文件切割索引，列表元素记录每个小文件在大文件中数据的起始、结束位置，之后执行步骤3）；3）切割模块顺序从列表中获取元素，在获取列表中元素前，对该列表加锁，获取列表元素后，对该列表解锁，同时在列表中移除被获取的元素，每个模块只读打开超大数据文件，移动到元素指定的文件位置，从该位置顺序读取数据并写入到一个文件中，文件名称按照列表元素的顺序命名，直到该元素索引到步骤2）中所述的结束位置为止，之后执行步骤4）；4）建立一个列表，列表元素记录分割文件序号以及分割文件中的不完整数据包，文件分析模块分析数据，当发现数据包是完整的，则执行步骤6），否则当检测不完整数据包是文件第一个包，则查找列表，否则执行步骤5），当检测这个文件序号的上一个文件在列表中，则更新找到的列表中的这个元素，把这个不完整数据包加在这个元素的数据包末尾，否则新建一个元素，记录当前这个不完整数据包的文件序号以及这个不完整数据包，并把这个元素加入列表，之后执行步骤6）；5）当不完整数据包是文件最后一个包，则查找列表，当检测这个文件序号的下一个文件在列表中，则更新找到的列表中的这个元素，把这个不完整数据包加在这个元素数据包的开始，否则新建一个元素，记录当前这个不完整数据包的文件序号以及这个不完整数据包，并把这个元素加入列表，之后执行步骤6）；6）分析模块获取的数据包是完整的，则分析这个数据包，并把分析结果按照文件序号写入到分析结果文件中，之后执行步骤7）；7）建立小文件与保存小文件临时结果文件的映射关系，同步分析切割后的小文件，并把分析结果放入对应小文件的临时结果文件中，之后执行步骤8）；8）归并临时结果文件到一个统一的结果文件中，之后执行步骤9）；9）对结果文件进行归并处理，得到大文件的最终分析结果。...

【技术特征摘要】
1.一种超大文件协议分析统计方法，其特征在于步骤包括：1)开启多个超大文件切割模块，文件切割模块数通过计算机CPU核的数量进行配置，缺省情况下切割模块开启3个，通过公式获取超大文件尺寸，并行切割超大文件，通过计算协议文件大小，把超大文件切割为缺省大小为50MB的小文件，之后执行步骤2)；2)开启一个列表，建立文件切割索引，列表元素记录每个小文件在大文件中数据的起始、结束位置，之后执行步骤3)；3)切割模块顺序从列表中获取元素，在获取列表中元素前，对该列表加锁，获取列表元素后，对该列表解锁，同时在列表中移除被获取的元素，每个模块只读打开超大数据文件，移动到元素指定的文件位置，从该位置顺序读取数据并写入到一个文件中，文件名称按照列表元素的顺序命名，直到该元素索引到步骤2)中所述的结束位置为止，之后执行步骤4)；4)建立一个列表，列表元素记录分割文件序号以及分割文件中的不完整数据包，文件分析模块分析数据，当发现数据包是完整的，则执行步骤6)，否则当检测不完整数据包是文件第一个包，则查找列表，否则当检测不完...

【专利技术属性】
技术研发人员：李晓芳，庄燕滨，彭建华，肖贤建，
申请(专利权)人：常州工学院，
类型：发明
国别省市：