流量数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种流量数据处理方法、装置、计算机设备、存储介质和计算机程序产品。本申请涉及数据传输过程中流量数据的处理，所述方法包括：获取由网络节点发送的流量报文，并从流量报文中提取通过网络节点传输的数据包所属数据流的流属性信息以及数据包的包属性信息；基于流属性信息和包属性信息，确定网络节点传输的数据包所属数据流中产生的数据增量；通过数据增量，对流属性信息关联的数据流统计数据进行更新，得到数据流的流量增量信息；在满足数据流的流日志生成条件的情况下，根据流属性信息、流量增量信息以及流量增量信息的统计时段生成用于描述数据流在统计时段内的流量统计结果的流日志记录。采用本方法能够提高流量数据处理效率。流量数据处理效率。流量数据处理效率。

【技术实现步骤摘要】
流量数据处理方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种流量数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着计算机技术的发展，出现了云技术，在云技术中，公有云是指第三方提供商为用户提供的能够使用的云，公有云的核心属性是共享资源服务。云上用户为了进行资源优化，通常需要了解云上网关节点的流量情况。
[0003]目前，一般通过商用流量分析系统进行流量数据检测，在网络流量大小及网络流规模都非常庞大的情况下，商业流量收集系统的性能很难满足高性能需求，流量处理的效率较低。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高流量数据处理效率的流量数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种流量数据处理方法，所述方法包括：获取由网络节点发送的流量报文，并从流量报文中提取通过网络节点传输的数据包所属数据流的流属性信息以及数据包的包属性信息；基于流属性信息和包属性信息，确定网络节点传输的数据包所属数据流中产生的数据增量；通过数据增量，对流属性信息关联的数据流统计数据进行更新，得到数据流的流量增量信息；在满足数据流的流日志生成条件的情况下，根据流属性信息、流量增量信息以及流量增量信息的统计时段生成流日志记录；流日志记录用于描述数据流在统计时段内的流量统计结果。
[0006]第二方面，本申请还提供了一种流量数据处理装置，所述装置包括：信息提取模块，用于获取由网络节点发送的流量报文，并从流量报文中提取通过网络节点传输的数据包所属数据流的流属性信息以及数据包的包属性信息；增量信息确定模块，用于基于流属性信息和包属性信息，确定网络节点传输的数据包所属数据流中产生的数据增量；数据更新模块，用于通过数据增量，对流属性信息关联的数据流统计数据进行更新，得到数据流的流量增量信息；流日志生成模块，用于在满足数据流的流日志生成条件的情况下，根据流属性信息、流量增量信息以及流量增量信息的统计时段生成流日志记录；流日志记录用于描述数据流在统计时段内的流量统计结果。
[0007]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理
器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取由网络节点发送的流量报文，并从流量报文中提取通过网络节点传输的数据包所属数据流的流属性信息以及数据包的包属性信息；基于流属性信息和包属性信息，确定网络节点的传输数据包所属数据流中产生的数据增量；通过数据增量，对流属性信息关联的数据流统计数据进行更新，得到数据流的流量增量信息；在满足数据流的流日志生成条件的情况下，根据流属性信息、流量增量信息以及流量增量信息的统计时段生成流日志记录；流日志记录用于描述数据流在统计时段内的流量统计结果。
[0008]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取由网络节点发送的流量报文，并从流量报文中提取通过网络节点传输的数据包所属数据流的流属性信息以及数据包的包属性信息；基于流属性信息和包属性信息，确定网络节点传输的数据包所属数据流中产生的数据增量；通过数据增量，对流属性信息关联的数据流统计数据进行更新，得到数据流的流量增量信息；在满足数据流的流日志生成条件的情况下，根据流属性信息、流量增量信息以及流量增量信息的统计时段生成流日志记录；流日志记录用于描述数据流在统计时段内的流量统计结果。
[0009]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：获取由网络节点发送的流量报文，并从流量报文中提取通过网络节点传输的数据包所属数据流的流属性信息以及数据包的包属性信息；基于流属性信息和包属性信息，确定网络节点传输的数据包所属数据流中产生的数据增量；通过数据增量，对流属性信息关联的数据流统计数据进行更新，得到数据流的流量增量信息；在满足数据流的流日志生成条件的情况下，根据流属性信息、流量增量信息以及流量增量信息的统计时段生成流日志记录；流日志记录用于描述数据流在统计时段内的流量统计结果。
[0010]上述流量数据处理方法、装置、计算机设备、存储介质和计算机程序产品，获取由网络节点发送的流量报文，并从流量报文中提取通过网络节点传输的数据包所属数据流的流属性信息以及数据包的包属性信息，基于流属性信息和包属性信息，确定网络节点传输的数据包所属数据流中产生的数据增量，通过数据增量对流属性信息关联的数据流统计数据进行更新，得到数据流的流量增量信息，在满足数据流的流日志生成条件的情况下，根据流属性信息、流量增量信息以及流量增量信息的统计时段，生成用于描述数据流在统计时段内的流量统计结果的流日志记录。在流量数据处理过程中，通过获取流量报文，并从流量
报文中提取流属性信息和包属性信息，根据流属性信息和包属性信息确定数据增量，进一步通过数据增量对数据流统计数据进行更新，在满足数据流的流日志生成条件的情况下，结合流属性信息、流量增量信息以及流量增量信息的统计时段生成流日志记录，通过网络节点发送的流量报文所携带的流属性信息和包属性信息，针对数据流的流量增量信息进行统计，以获得用于描述数据流在统计时段内的流量统计结果流日志记录，可以利用流量报文对数据流的流量进行高效统计处理，能够提高流量数据的处理效率。
附图说明
[0011]图1为一个实施例中流量数据处理方法的应用环境图；图2为一个实施例中流量数据处理方法的流程示意图；图3为另一个实施例中流量数据处理方法的流程示意图；图4为一个实施例中环形缓存队列选取的流程框图；图5为另一个实施例中环形缓存队列选取的流程框图；图6为一个实施例中流量数据处理方法的流程框图；图7为一个实施例中流量收集上报系统的结构框图；图8为一个实施例中流表项的存储示意图；图9为一个实施例中流量数据处理装置的结构框图；图10为一个实施例中计算机设备的内部结构图。
具体实施方式
[0012]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0013]本申请实施例提供的流量数据处理方法，可以应用于如图1所示的应用环境中。其中，图1所示的应用环境包括流量收集上报系统102、网络节点104、云上区域106以及云下机房108。网络节点104可以是指网关节点，网络节点104可以是指在不同设备之间创建通信连接的节点，网络节点104上承载了多个虚拟网关实例，各虚拟网关实例可以分别针对云上区域之间、云上区域和云下机房之间以及云下机房之间建立通信连接。云上区域106可以是指可以为云上用户提供相应业务服务的区域，业务服务可以为安全服务、应用服务以及存储服务等多种类型的服务，云上区域106可以包括区域1...

【技术保护点】

【技术特征摘要】
1.一种流量数据处理方法，其特征在于，所述方法包括：获取由网络节点发送的流量报文，并从所述流量报文中提取通过所述网络节点传输的数据包所属数据流的流属性信息以及所述数据包的包属性信息；基于所述流属性信息和所述包属性信息，确定所述网络节点传输的数据包所属数据流中产生的数据增量；通过所述数据增量，对所述流属性信息关联的数据流统计数据进行更新，得到所述数据流的流量增量信息；在满足所述数据流的流日志生成条件的情况下，根据所述流属性信息、所述流量增量信息以及所述流量增量信息的统计时段生成流日志记录；所述流日志记录用于描述所述数据流在所述统计时段内的流量统计结果。2.根据权利要求1所述的方法，其特征在于，所述通过所述数据增量，对所述流属性信息关联的数据流统计数据进行更新，得到所述数据流的流量增量信息，包括：确定所述流属性信息关联的流表；在所述流表中确定所述流属性信息对应的流表项；通过所述数据增量对所述流表项中的数据流统计数据进行更新，并根据更新后的数据流统计数据得到所述数据流的流量增量信息。3.根据权利要求2所述的方法，其特征在于，所述流属性信息包括根据所述数据流的流标识信息和用户标识信息得到的元组信息；所述确定所述流属性信息关联的流表，包括：基于所述元组信息进行映射，得到映射数据；从多个候选缓存队列中确定与所述映射数据相匹配的目标缓存队列；将所述目标缓存队列关联的流表确定为与所述流属性信息关联的流表。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：将所述元组信息写入到所述目标缓存队列中；所述在所述流表中确定所述流属性信息对应的流表项，包括：从所述目标缓存队列中获取待处理的所述元组信息；在所述流表中查询与所述元组信息相对应的流表项。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：当所述流表中不存在所述流属性信息对应的流表项，在所述流表中新建所述流属性信息对应的流表项；将所述数据增量作为所述流属性信息对应的流表项中的数据流统计数据；根据所述流属性信息对应的流表项中的数据流统计数据，得到所述数据流的流量增量信息。6.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定所述流表的流表项状态；当所述流表项状态确定满足流表项清除判定条件，从所述流表中确定待清除的流表项；将所述待清除的流表项从所述流表中进行清除。7.根据权利要求6所述的方法，其特征在于，所述流表项状态包括所述流表中包括的各个流表项各自的更新信息；所述当所述流表项状态确定满足流表项清除判定条件，从所述
流表中确定待清除的流表项，包括：基于所述各个流表项各自的更新信息，确定所述流表中各个流表项各自未更新的持续时长；将所述流表中未更新的持续时长达到时长阈值的流表项，确定为所述流表中待清除的流表项。8.根据权利要求6所述的方法，其特征在于，所述流表项状态包括所述流表中各个流表项的流表项总数目；所述当所述流表项状态确定满足流表项清除判定条件，从所述流表中确定待清除的流表项，包括：当所述流表项总数目达到清除数目阈值，根据所述流表中各个流表项各自更新时间的先后顺序，从所述流表中确定待清除的流表项。9.根据权利要求1所述的方法，其特征...

【专利技术属性】
技术研发人员：邹贤能，王亚晨，戴明龙，郑胜利，胡达，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：