一种数据处理方法及客户端设备技术

本发明专利技术公开了一种数据处理方法及客户端设备，可以获得流量回放任务；其中，流量回放任务为对目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，第一流量数据组包括目标业务在第一时段内的各条流量数据；响应于流量回放任务，获得第一流量数据组；按照预定义的数据处理方式，对第一流量数据组中的各条流量数据进行处理，获得处理后流量数据组；将处理后流量数据组发送至测试集群处进行回放处理。本发明专利技术可以有效实现对流量数据的流量回放。量回放。量回放。

【技术实现步骤摘要】
一种数据处理方法及客户端设备


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法及客户端设备。

技术介绍

[0002]随着计算机科学与技术的发展，流量数据处理技术不断提高。
[0003]在互联网应用中，流量回放是一种可以有效预测到业务的流量比例和预计用户使用行为的处理方式，对于业务系统容量和异常定位具有重要作用。
[0004]但是，现有技术无法有效实现流量回放。

技术实现思路

[0005]鉴于上述问题，本专利技术提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法及客户端设备，技术方案如下：
[0006]一种数据处理方法，应用于客户端设备；所述数据处理方法包括：
[0007]获得流量回放任务；其中，所述流量回放任务为对所述目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，所述第一流量数据组包括所述目标业务在第一时段内的各条流量数据；
[0008]响应于所述流量回放任务，获得所述第一流量数据组；
[0009]按照预定义的数据处理方式，对所述第一流量数据组中的各条流量数据进行处理，获得处理后流量数据组；
[0010]将所述处理后流量数据组发送至测试集群处进行回放处理。
[0011]可选的，所述获得流量回放任务，包括：
[0012]周期性的向任务下发组件发送任务获取请求；
[0013]获得由所述任务下发组件基于所述任务获取请求下发的所述流量回放任务。
[0014]可选的，所述按照预定义的数据处理方式，对所述第一流量数据组中的各条流量数据进行处理，包括：
[0015]按照先后时间顺序，对所述第一流量数据组中的各条流量数据进行排序，获得第二流量数据组；
[0016]在所述第二流量数据组中，分别在各条流量数据的请求头信息中添加回放请求标识信息。
[0017]可选的，所述将所述处理后流量数据组发送至测试集群处进行回放处理，包括：
[0018]将携带有所述处理后流量数据组的流量回放请求发送至统一网关，以使得所述统一网关：分别确定所述处理后流量数据组中的各条流量数据是否包括所述回放请求标识信息，将包括有所述回放请求标识信息的流量数据发送至所述测试集群中进行回放处理。
[0019]可选的，所述统一网关还将未包括有所述回放请求标识信息的流量数据发送至线上集群进行正常的访问处理。
[0020]可选的，在所述获得流量回放任务之前，所述数据处理方法还包括：
[0021]保持对所述目标业务在预定义历史时长内的流量数据组进行录制及保存，所述预定义历史时长的时长不小于所述第一时段的时长；
[0022]所述响应于所述流量回放任务，获得所述第一流量数据组，包括：
[0023]在到达所述第一时段的最后时刻时，从当前已保存的所述预定义历史时长内的流量数据组中，提取出所述第一流量数据组。
[0024]可选的，所述预定义系数大于1。
[0025]一种客户端设备，包括：第一获得单元、第二获得单元、第一处理单元、第三获得单元和第一发送单元；其中：
[0026]所述第一获得单元，用于获得流量回放任务；其中，所述流量回放任务为对所述目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，所述第一流量数据组包括所述目标业务在第一时段内的各条流量数据；
[0027]所述第二获得单元，用于响应于所述流量回放任务，获得所述第一流量数据组；
[0028]所述第一处理单元，用于按照预定义的数据处理方式，对所述第一流量数据组中的各条流量数据进行处理；
[0029]所述第三获得单元，用于获得处理后流量数据组；
[0030]所述第一发送单元，用于将所述处理后流量数据组发送至测试集群处进行回放处理。
[0031]可选的，所述第一获得单元包括：第一下发单元和第四获得单元；
[0032]所述第一下发单元，用于周期性的向任务下发组件发送任务获取请求；
[0033]所述第四获得单元，用于获得由所述任务下发组件基于所述任务获取请求下发的所述流量回放任务。
[0034]可选的，所述第一处理单元包括：排序单元、第五获得单元和添加单元；
[0035]所述排序单元，用于按照先后时间顺序，对所述第一流量数据组中的各条流量数据进行排序；
[0036]所述第五获得单元，用于获得第二流量数据组；
[0037]所述添加单元，用于在所述第二流量数据组中，分别在各条流量数据的请求头信息中添加回放请求标识信息。
[0038]可选的，所述第一发送单元，用于将携带有所述处理后流量数据组的流量回放请求发送至统一网关，以使得所述统一网关：分别确定所述处理后流量数据组中的各条流量数据是否包括所述回放请求标识信息，将包括有所述回放请求标识信息的流量数据发送至所述测试集群中进行回放处理。
[0039]可选的，所述统一网关还将未包括有所述回放请求标识信息的流量数据发送至线上集群进行正常的访问处理。
[0040]可选的，所述客户端设备还包括：保存单元；
[0041]所述保存单元，用于保持对所述目标业务在预定义历史时长内的流量数据组进行录制及保存，所述预定义历史时长的时长不小于所述第一时段的时长；
[0042]所述第二获得单元，用于在到达所述第一时段的最后时刻时，从当前已保存的所述预定义历史时长内的流量数据组中，提取出所述第一流量数据组。
[0043]可选的，所述预定义系数大于1。
[0044]本专利技术提出的数据处理方法及客户端设备，可以获得流量回放任务；其中，流量回放任务为对目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，第一流量数据组包括目标业务在第一时段内的各条流量数据；响应于流量回放任务，获得第一流量数据组；按照预定义的数据处理方式，对第一流量数据组中的各条流量数据进行处理，获得处理后流量数据组；将处理后流量数据组发送至测试集群处进行回放处理。本专利技术可以有效实现对流量数据的流量回放。
[0045]上述说明仅是本专利技术技术方案的概述，为了能够更清楚地了解本专利技术的技术手段，可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0046]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0047]图1示出了本专利技术实施例提供的第一种数据处理方法的流程图；
[0048]图2示出了本专利技术实施例提供的第四种数据处理方法的流程图；
[0049]图3示出了本专利技术实施例提供的第五种数据处理方法的流程图；
[0050]图4示出了本专利技术实施例提供的一种客户端设备的结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于客户端设备；所述数据处理方法包括：获得流量回放任务；其中，所述流量回放任务为对所述目标业务的第一流量数据组进行流量放大系数为预定义系数的回放任务，所述第一流量数据组包括所述目标业务在第一时段内的各条流量数据；响应于所述流量回放任务，获得所述第一流量数据组；按照预定义的数据处理方式，对所述第一流量数据组中的各条流量数据进行处理，获得处理后流量数据组；将所述处理后流量数据组发送至测试集群处进行回放处理。2.根据权利要求1所述的数据处理方法，其特征在于，所述获得流量回放任务，包括：周期性的向任务下发组件发送任务获取请求；获得由所述任务下发组件基于所述任务获取请求下发的所述流量回放任务。3.根据权利要求1所述的数据处理方法，其特征在于，所述按照预定义的数据处理方式，对所述第一流量数据组中的各条流量数据进行处理，包括：按照先后时间顺序，对所述第一流量数据组中的各条流量数据进行排序，获得第二流量数据组；在所述第二流量数据组中，分别在各条流量数据的请求头信息中添加回放请求标识信息。4.根据权利要求3所述的数据处理方法，其特征在于，所述将所述处理后流量数据组发送至测试集群处进行回放处理，包括：将携带有所述处理后流量数据组的流量回放请求发送至统一网关，以使得所述统一网关：分别确定所述处理后流量数据组中的各条流量数据是否包括所述回放请求标识信息，将包括有所述回放请求标识信息的流量数据发送至所述测试集群中进行回放处理。5.根据权利要求4所述的数据处理方法，其特征在于，所述统一网关还将未包括有所述回放请求标识信息的流量数据发送至线上集群进行正常的访问处理。6.根据权利要求1所述的数据处理方法，其特征在于，在所述获得流量回放任务之前，所述数据处理方法还包括：保持对所述目标业务在预定...

【专利技术属性】
技术研发人员：梁启明，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：