流量数据处理方法、装置、设备、存储介质制造方法及图纸

本申请提供了一种流量数据处理方法、装置、设备、存储介质；方法包括：接收流量，其中，流量携带流量标识；针对时间窗口包括的多个时间片中的每个时间片执行以下处理：确定流量在所述时间片中的指标数据的指标聚合值；将时间片对应的所述指标聚合值，对应存储到业务服务器的内存单元中；周期性执行以下处理：基于多个时间片分别对应的所述内存单元中的所述指标聚合值、第一时间段标识进行组合处理，得到指标时间序列；向统计服务器发送业务服务器标识、流量标识以及所述指标时间序列。本申请能够缓解业务服务器集群访问流量抖动给统计服务器带来的网络带宽和计算资源压力。务器带来的网络带宽和计算资源压力。务器带来的网络带宽和计算资源压力。

【技术实现步骤摘要】
流量数据处理方法、装置、设备、存储介质


[0001]本申请涉及大数据处理技术，尤其涉及一种流量数据处理方法、装置、设备、存储介质。

技术介绍

[0002]在分布式集群中，通常会将多个服务器节点集中起来一起进行同一种服务，以将负载均衡到每个节点服务器上，使得整个系统可以承载更高的访问量，提高访问处理的效率。由于集群中的节点数量多，往往需要一台或多台统计服务器针对集群中的每个节点中的指标数据进行收集并统计，以对这些信息进行实时检测，如果发现异常情况，管理人员能够第一时间进行处理。
[0003]针对集群中的节点，由于指标数据的数据量大，数据维度多，不仅在采集数据是会消耗集群自身的大量计算资源和网络资源，而且由于上报到统计服务器的数据吞吐量大，请求次数多，对统计服务的性能也提出了较高的要求，尤其是当集群中的指标数据在一些情况下突增时，对统计服务器请求次数也会相应增加，从而给统计服务器带来很大的网络带宽和计算资源的压力。

技术实现思路

[0004]本申请实施例提供一种流量数据处理方法、装置、设备、存储介质，能够降低业务服务器集群访问流量突增时给统计服务器带来的网络带宽和计算资源压力。
[0005]本申请实施例的技术方案是这样实现的：
[0006]本申请实施例提供一种流量数据处理方法，应用于分布式集群系统中的业务服务器，所述方法包括：
[0007]接收流量，其中，所述流量携带流量标识；
[0008]针对时间窗口包括的多个时间片中的每个时间片执行以下处理：
[0009]确定所述流量在所述时间片中的指标数据的指标聚合值；
[0010]将所述时间片对应的所述指标聚合值，对应存储到所述业务服务器的内存单元中；
[0011]周期性执行以下处理：
[0012]基于所述多个时间片分别对应的所述内存单元中的所述指标聚合值、第一时间段标识进行组合处理，得到指标时间序列；
[0013]向统计服务器发送业务服务器标识、所述流量标识以及所述指标时间序列。
[0014]本申请实施例提供一种流量数据处理方法，应用于分布式集群系统中的统计服务器，所述方法包括：
[0015]接收所述分布式系统中的多个业务服务器周期性发送的业务服务器标识、流量标识以及指标时间序列，其中，所述指标时间序列包括时间窗口中的多个时间片分别对应的指标聚合值，所述指标聚合值是针对所述流量标识所对应的流量进行统计得到的；
[0016]针对与每个所述业务服务器标识同步接收的所述指标时间序列，将所述指标时间序列所包括的与所述时间片对应的指标聚合值，对应累加到所述统计服务器中与所述流量标识对应的内存单元中，得到同一时间片内的指标聚合值统计总数。
[0017]在上述方案中，所述指标时间序列包括与所述多个时间片一一对应的多条记录数据，每条所述记录数据包括所对应的所述时间片的第一时间段标识以及所述指标聚合值；
[0018]所述内存单元用于存储对应所述时间片的第二时间段标识、与所述流量标识对应的指标聚合值统计总数以及映射表，所述映射表包括以下两者的映射关系：所述业务服务器标识，与所述业务服务器标识对应的指标聚合值；
[0019]所述将所述指标时间序列所包括的与所述时间片对应的指标聚合值，对应存储累加到所述统计服务器中与所述流量标识对应的内存单元中，包括：
[0020]针对所述指标时间序列中的每条所述记录数据执行以下处理：
[0021]基于所述流量标识查询所述统计服务器的内存中与所述流量标识对应的多个内存单元，针对查询到的每个所述内存单元执行以下处理：
[0022]响应于所述记录数据中的第一时间段标识与所述内存单元的所述第二时间段标识相同，且所述记录数据中的所述指标聚合值小于所述内存单元中的所述映射表中的所述指标聚合值，将所述指标聚合值统计总数与所述指标聚合值进行求和处理得到第二总和，将所述第二总和确定为所述内存单元中新的指标聚合值统计总数，以更新所述内存单元中原有的所述指标聚合值统计总数；
[0023]将所述指标聚合值确定为所述内存单元的所述映射表中的新指标聚合值，以替代所述内存单元中的所述映射表中的原指标聚合值；
[0024]将所述指标聚合值对应的指标时间序列标记为异常。
[0025]在上述方案中，所述指标时间序列包括与所述多个时间片一一对应的多条记录数据，每条所述记录数据包括所对应的所述时间片的第一时间段标识以及所述指标聚合值；
[0026]所述内存单元用于存储对应所述时间片的第二时间段标识、与所述流量标识对应的指标聚合值统计总数以及映射表，所述映射表包括以下两者的映射关系：所述业务服务器标识，与所述业务服务器标识对应的指标聚合值；
[0027]所述将所述指标时间序列所包括的与所述时间片对应的指标聚合值，对应存储累加到所述统计服务器中与所述流量标识对应的内存单元中，包括：
[0028]针对所述指标时间序列中的每条所述记录数据执行以下处理：
[0029]基于所述流量标识查询所述统计服务器的内存中与所述流量标识对应的多个内存单元，针对查询到的每个所述内存单元执行以下处理：
[0030]响应于所述记录数据中的第一时间段标识与所述内存单元中的所述第二时间段标识不相同，清空所述内存单元，将所述记录数据中的第一时间段标识，确定为所述新的内存单元中的第二时间段标识，将所述记录数据中的指标聚合值，确定为所述内存单元中的指标聚合值统计总数以及所述内存单元中的所述映射表中的新指标聚合值。
[0031]在上述方案中，在所述清空所述内存单元之前，所述方法还包括：
[0032]将所述内存单元中存储的所述指标聚合统计总数和所述映射表写入存储服务器。
[0033]本申请实施例提供一种流量数据处理装置，所述装置包括：
[0034]流量接收模块，用于接收流量，其中，所述流量携带流量标识；
[0035]数据存储模块，用于针对时间窗口包括的多个时间片中的每个时间片执行以下处理：确定所述流量在所述时间片中的指标数据的指标聚合值；将所述时间片对应的所述指标聚合值，对应存储到所述业务服务器的内存单元中；
[0036]数据发送模块，用于周期性执行以下处理：基于所述多个时间片分别对应的所述内存单元中的所述指标聚合值、第一时间段标识进行组合处理，得到指标时间序列；向统计服务器发送业务服务器标识、所述流量标识以及所述指标时间序列。
[0037]本申请实施例提供一种流量数据统计装置，所述装置包括：
[0038]数据接收模块，用于接收所述分布式系统中的多个业务服务器周期性发送的业务服务器标识、流量标识以及指标时间序列，其中，所述指标时间序列包括时间窗口中的多个时间片分别对应的指标聚合值，所述指标聚合值是针对所述流量标识所对应的流量进行统计得到的；
[0039]数据统计模块，用于针对与每个所述业务服务器标识同步接收的所述指标时间序列，将所述指标时间序列所包括的与所述时间片对应的指标聚合值，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流量数据处理方法，其特征在于，应用于分布式集群系统中的业务服务器；所述方法包括：接收流量，其中，所述流量携带流量标识；针对时间窗口包括的多个时间片中的每个时间片执行以下处理：确定所述流量在所述时间片中的指标数据的指标聚合值；将所述时间片对应的所述指标聚合值，对应存储到所述业务服务器的内存单元中；周期性执行以下处理：基于所述多个时间片分别对应的所述内存单元中的所述指标聚合值、第一时间段标识进行组合处理，得到指标时间序列；向统计服务器发送业务服务器标识、所述流量标识以及所述指标时间序列。2.根据权利要求1所述的方法，其特征在于，所述周期性处理的周期小于所述时间窗口的长度。3.根据权利要求1所述的方法，其特征在于，所述时间窗口包括的所述多个时间片的数量是固定值，所述多个时间片从头到尾的排布符合先后时间顺序，所述多个时间片与所述业务服务器的内存中的多个内存单元依次对应，每个所述内存单元用于存储所对应的所述时间片的所述第一时间段标识和所述指标聚合值；所述将所述时间片对应的所述指标聚合值，对应存储到所述业务服务器的内存单元中，包括：确定所述流量的接收时间对应的目标内存单元序列号，其中，所述目标内存单元序列号对应所述多个内存单元中的目标内存单元；确定所述流量的接收时间对应的时间戳；响应于所述流量的接收时间对应的时间戳与目标内存单元中的所述第一时间段标识满足匹配条件，将所述流量的指标数据累加到所述目标内存单元中的指标聚合值。4.根据权利要求1所述的方法，其特征在于，所述时间窗口包括的所述多个时间片的数量是固定值，所述多个时间片从头到尾的排布符合先后时间顺序，所述多个时间片与所述业务服务器的内存中的多个内存单元依次对应，每个所述内存单元用于存储所对应的所述时间片的所述第一时间段标识和所述指标聚合值；所述将所述时间片对应的所述指标聚合值，对应存储到所述业务服务器的内存单元中，包括：确定所述流量的接收时间对应的目标内存单元序列号，其中，所述目标内存单元序列号对应所述多个内存单元中的目标内存单元；确定所述流量的接收时间对应的时间戳；响应于所述流量的接收时间对应的时间戳与目标内存单元中的所述第一时间段标识不满足匹配条件，控制所述时间窗口向前滑动一个时间片长度；将所述流量的指标数据的聚合值累加到所述目标内存单元中原有的所述指标聚合值；将所述目标内存单元中的所述第一时间段标识更新为所述流量的接收时间对应的时间戳。
5.根据权利要求3或4所述的方法，其特征在于，所述目标内存单元中的所述第一时间段标识包括：所述目标内存单元的序列号、以及起始时间戳；所述起始时间戳是：在所述目标内存单元对应的所述时间片内，首次接收到的所述流量的接收时间对应的时间戳；所述匹配条件包括：所述流量的接收时间对应的时间戳与所述起始时间戳相同。6.根据权利要求3或4所述的方法，其特征在于，所述确定所述流量的接收时间对应的时间戳，包括：确定以下两者的差值：所述流量的接收时间，所述流量的接收时间整除以时间片长度的余数；将所述差值确定为所述流量的接收时间对应的时间戳。7.根据权利要求3或4所述的方法，其特征在于，所述确定所述接收时间对应的目标内存单元序列号，包括：将所述流量的接收时间与所述时间窗口长度进行取模运算，得到余数；将所述余数与所述时间片长度进行取整运算，得到商；将所述商作为所述接收时间对应的目标内存单元序列号。8.根据权利要求1或2所述的方法，其特征在于，所述基于所述多个时间片分别对应的所述内存单元中的所述指标聚合值、第一时间段标识进行组合处理，得到指标时间序列，包括：针对所述多个时间片中的每个所述时间片对应的所述内存单元，执行以下处理：将所述内存单元中的所述指标聚合值和所述第一时间段标识进行组合处理，得到一条记录数据；将所述多个时间片分别对应的每条所述记录数据进行组合处理，得到指标时间序列。9.一种流量数据处理方法，其特...

【专利技术属性】
技术研发人员：朱龙云，袁文頔，陈偲颖，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：