一种网络流量处理方法、装置、存储介质及设备制造方法及图纸

本申请实施例提供一种网络流量处理方法、装置、存储介质及设备，该方法中，借鉴大数据思想，将采集到的网络流量梳理成多个会话，每个会话即为一个小文件，之后，将多个小文件汇聚成一个流量文件并写入指定存储设备，每个流量文件是一个有容量上限的大文件，这样，可以减少文件数，使得指定存储设备的文件系统结点不会爆炸增长；同时，每个会话的存储写入会生成元信息，元信息中记录当前会话流量的存储信息，因而可以根据目标会话的元信息，精准查询到对应的流量信息。如此，便于流量数据的回溯，有效降低数据缺失的风险。有效降低数据缺失的风险。有效降低数据缺失的风险。

【技术实现步骤摘要】
一种网络流量处理方法、装置、存储介质及设备


[0001]本申请涉及数据存储
，具体而言，涉及一种网络流量处理方法、装置、存储介质及设备。

技术介绍

[0002]随着网络技术的发展，网络流量的数据规模日益庞大。在应用时，要实现网络流量测量、网络流量控制和仿真等操作，就需要对指定的网络节点的网络流量进行储存。相关技术中在应对大流量时采用的网络流量储存方式一般是定时转存。然而，这一方式存储的流量数据回溯困难，且容易造成数据缺失。

技术实现思路

[0003]本申请实施例的目的在于提供一种网络流量处理方法、装置、存储介质及设备，旨在解决相关技术中的网络流量储存方式存在的在应对大流量时存在的流量数据回溯困难，容易造成数据缺失的问题。
[0004]第一方面，本申请实施例提供的一种网络流量处理方法，包括：
[0005]将采集到的网络流量梳理成多个会话；
[0006]基于所述多个会话合成至少一个流量文件后，将所述流量文件写入指定存储设备，并生成各会话的元信息；所述流量文件的容量上限为预设容量值；所述元信息用于记录对应的会话的存储信息；
[0007]根据目标会话的元信息，从所述指定存储设备中查询到所述目标会话。
[0008]在上述实现过程中，借鉴大数据思想，将采集到的网络流量梳理成多个会话，每个会话即为一个小文件，之后，将多个小文件汇聚成一个流量文件并写入指定存储设备，每个流量文件是一个有容量上限的大文件，这样，可以减少文件数，使得指定存储设备的文件系统结点不会爆炸增长；同时，每个会话的存储写入会生成元信息，元信息中记录当前会话流量的存储信息，因而可以根据目标会话的元信息，精准查询到对应的流量信息。如此，便于流量数据的回溯，有效降低数据缺失的风险。
[0009]进一步地，在一些实施例中，所述将采集到的网络流量梳理成多个会话，包括：
[0010]根据五元组信息，将采集到的网络流量梳理成多个会话；其中，每个会话包括正反流向的数据包，所述正反流向的数据包对应的源IP地址和目标IP地址具有对称性。
[0011]在上述实现过程中，提供一种将网络流量梳理成多个会话的具体方式。
[0012]进一步地，在一些实施例中，所述网络流量为10至40千兆字节每秒的网络流量，所述预设容量值为1千兆字节。
[0013]在上述实现过程中，通过上述数值的设置，可以有效地减少文件数。
[0014]进一步地，在一些实施例中，所述指定存储设备是磁盘；所述将所述流量文件写入指定存储设备，包括：
[0015]将所述流量文件中的会话按照预设文件大小进行聚合，并将聚合成的缓冲写入磁
盘。
[0016]在上述实现过程中，对会话数据每预设文件大小进行一次聚合操作，聚合成一个缓冲，再将其写入磁盘，这样可以有效地降低磁盘IOPS。
[0017]进一步地，在一些实施例中，所述元信息包括第一字段、第二字段和第三字段，其中，所述第一字段用于记录所述会话所处的流量文件的标识，所述第二字段用于记录所述会话在所处的流量文件中的数据偏移量，所述第三字段用于记录所述会话在所处的流量文件中的数据长度。
[0018]在上述实现过程中，由元信息中的第一字段、第二字段和第三字段的值来记录当前会话存储在哪个流量文件中以及在所处的流量文件中的位置信息，从而方便查询。
[0019]进一步地，在一些实施例中，所述根据目标会话的元信息，从所述指定存储设备中查询到所述目标会话，包括：
[0020]根据目标会话的元信息中的第一字段，定位所述目标会话所处的目标流量文件，再根据所述目标会话的元信息中的第二字段和第三字段，从所述目标流量文件中读取出所述目标会话。
[0021]在上述实现过程中，依据各字段的查询顺序读取目标会话，查询过程不需要遍历所有流量文件，只需要读取当前会话关心的几个流量文件中的几处位置对应的数据即可，因而可以有效减少磁盘IO，提升查询效率。
[0022]进一步地，在一些实施例中，所述元信息还包括用于记录所述会话对应的时间戳的第四字段；所述方法还包括：
[0023]在接收到指定查询指令时，将所述指定存储设备中存储的会话按照时间戳进行排序。
[0024]在上述实现过程中，在需要查询时，可以在数据库里按时间戳排序，从而实现秒级，甚至毫秒级的流量信息精准查询。
[0025]第二方面，本申请实施例提供的一种网络流量处理装置，包括：
[0026]拆分模块，用于将采集到的网络流量梳理成多个会话；
[0027]合成模块，用于基于所述多个会话合成至少一个流量文件后，将所述流量文件写入指定存储设备，并生成各会话的元信息；所述流量文件的容量上限为预设容量值；所述元信息用于记录对应的会话的存储信息；
[0028]查询模块，用于根据目标会话的元信息，从所述指定存储设备中查询到所述目标会话。
[0029]第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
[0030]第四方面，本申请实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。
[0031]第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。
[0032]本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点
可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。
[0033]为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0034]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0035]图1为本申请实施例提供的一种网络流量处理方法的流程图；
[0036]图2为本申请实施例提供的元信息包含的部分字段所对应的类型和含义的示意图；
[0037]图3为本申请实施例提供的一种网络流量处理装置的框图；
[0038]图4为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
[0039]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
[0040]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络流量处理方法，其特征在于，包括：将采集到的网络流量梳理成多个会话；基于所述多个会话合成至少一个流量文件后，将所述流量文件写入指定存储设备，并生成各会话的元信息；所述流量文件的容量上限为预设容量值；所述元信息用于记录对应的会话的存储信息；根据目标会话的元信息，从所述指定存储设备中查询到所述目标会话。2.根据权利要求1所述的方法，其特征在于，所述将采集到的网络流量梳理成多个会话，包括：根据五元组信息，将采集到的网络流量梳理成多个会话；其中，每个会话包括正反流向的数据包，所述正反流向的数据包对应的源IP地址和目标IP地址具有对称性。3.根据权利要求1所述的方法，其特征在于，所述网络流量为10至40千兆字节每秒的网络流量，所述预设容量值为1千兆字节。4.根据权利要求1所述的方法，其特征在于，所述指定存储设备是磁盘；所述将所述流量文件写入指定存储设备，包括：将所述流量文件中的会话按照预设文件大小进行聚合，并将聚合成的缓冲写入磁盘。5.根据权利要求1所述的方法，其特征在于，所述元信息包括第一字段、第二字段和第三字段，其中，所述第一字段用于记录所述会话所处的流量文件的标识，所述第二字段用于记录所述会话在所处的流量文件中的数据偏移量，所述第三字段用于记录所述会话在所处的流量文件中的数据长度。6.根据权利...

【专利技术属性】
技术研发人员：张辛龙，
申请(专利权)人：上海斗象信息科技有限公司，
类型：发明
国别省市：