一种流量数据分析方法、装置、设备及介质制造方法及图纸

本申请公开了一种流量数据分析方法、装置、设备及介质，涉及流量回放技术领域，包括基于流量录制请求中的流量录制信息生成流量录制任务；对流量录制任务筛选，得到目标流量录制任务，确定出与目标流量录制任务对应的流量录制规则，执行目标流量录制任务，得到流量录制数据；基于流量回放参数、目标流量录制任务以及流量录制规则进行流量回放，得到回放结果，将回放结果与流量录制数据进行流量比对，得到比对结果；将流量录制数据、回放结果以及比对结果保存至本地，以便客户端实现流量数据分析。本申请能解决逻辑验证难以覆盖和测试正确性难以保证的问题，保证系统修改后原有业务正确性及迭代甚至重构后的接口与原接口输出相同的能力，降低成本。降低成本。降低成本。

【技术实现步骤摘要】
一种流量数据分析方法、装置、设备及介质


[0001]本专利技术涉及流量回放
，特别涉及一种流量数据分析方法、装置、设备及介质。

技术介绍

[0002]目前，在业务迭代升级甚至重构时，对系统修改后的原有业务正确性有着较强的需求型，通过录制线上真实流量，然后在测试环境进行回放，验证代码逻辑正确性，以满足复杂系统重构后的接口和原接口输出相同的能力。现有常规的自动化测试技术，难以完全保证测试的正确性，无法发现更多缺陷，对测试质量的依赖性大，成本投入高且风险大，无法对迭代后的所有场景和代码完全覆盖，所以一些不常见的场景和功能时有问题发生，或者是大的重构项目需求，无法完整的验证该重构对生产环境的流量兼容情况。
[0003]由上可见，如何解决逻辑验证难以覆盖和测试正确性难以保证的问题，保证系统修改后的原有业务正确性以及迭代甚至重构后的接口与原接口输出相同的能力，降低成本是本领域有待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种流量数据分析方法、装置、设备及介质，能够解决逻辑验证难以覆盖和测试正确性难以保证的问题，保证系统修改后的原有业务正确性以及迭代甚至重构后的接口与原接口输出相同的能力，降低成本。其具体方案如下：
[0005]第一方面，本申请公开了一种流量数据分析方法，包括：
[0006]获取流量录制请求，基于所述流量录制请求中的流量录制信息生成流量录制任务；
[0007]对各所述流量录制任务进行筛选，以得到目标流量录制任务，确定出与所述目标流量录制任务对应的流量录制规则，执行所述目标流量录制任务，以得到流量录制数据；
[0008]获取流量回放参数，基于所述流量回放参数、所述目标流量录制任务以及所述流量录制规则进行流量回放，以得到回放结果，将所述回放结果与所述流量录制数据进行流量比对，以得到比对结果；
[0009]将所述流量录制数据、所述回放结果以及所述比对结果保存至本地，以便客户端基于所述流量录制数据、所述回放结果以及所述比对结果实现流量数据分析。
[0010]可选的，所述获取流量录制请求，基于所述流量录制请求中的流量录制信息生成流量录制任务，包括：
[0011]对本地进行请求检测，若检测到本地存在流量录制请求，则利用本地的规则管理组件获取所述流量录制请求；
[0012]将所述规则管理组件中的所述流量录制请求发送至本地的任务管理组件，以便所述任务管理组件基于所述流量录制请求中的流量录制信息生成流量录制任务。
[0013]可选的，所述对各所述流量录制任务进行筛选，以得到目标流量录制任务，确定出
与所述目标流量录制任务对应的流量录制规则，执行所述目标流量录制任务，以得到流量录制数据，包括：
[0014]利用所述流量录制组件从所述任务管理组件中获取所述流量录制任务，并对各所述流量录制任务进行筛选，以得到目标流量录制任务，从本地所有的流量录制规则中筛选出与所述目标流量录制任务对应的所述流量录制规则，将所述目标流量录制任务和与所述目标流量录制任务对应的所述流量录制规则上报至本地的消息中间件，以便所述消息中间件执行所述目标流量录制任务，得到流量录制数据。
[0015]可选的，所述获取流量回放参数，基于所述流量回放参数、所述目标流量录制任务以及所述流量录制规则进行流量回放，以得到回放结果，包括：
[0016]基于超文本传输协议和Dubbo协议实现对本地的流量回放组件的超文本传输协接口和Dubbo协议接口的调用，利用所述超文本传输协接口和所述Dubbo协议接口获取流量回放参数；
[0017]调用本地的测试应用服务并基于所述流量回放参数、所述目标流量录制任务以及所述流量录制规则进行流量回放，以得到回放结果。
[0018]可选的，所述将所述回放结果与所述流量录制数据进行流量比对，以得到比对结果，包括：
[0019]利用本地的流量比对组件，并调用本地的JS对象简谱比对工具对所述回放结果和所述流量录制数据进行全量字段比对、白名单字段比对以及黑名单字段忽略比对中的任一种或几种流量比对，以得到比对结果；
[0020]或，利用本地的流量比对组件，并调用本地的第三方比对接口对所述回放结果和所述流量录制数据进行流量比对，以得到比对结果。
[0021]可选的，所述基于所述流量回放参数、所述目标流量录制任务以及所述流量录制规则进行流量回放，以得到回放结果，包括：
[0022]基于所述流量回放参数、所述目标流量录制任务以及所述流量录制规则生成流量回放任务，将所述流量回放任务保存至本地的流量回放组件任务队列，执行所述流量回放任务，以得到回放结果；
[0023]相应的，所述将所述回放结果与所述流量录制数据进行流量比对，以得到比对结果，包括：
[0024]基于所述回放结果和所述流量录制数据生成流量比对任务，将所述流量比对任务保存至本地的流量比对任务队列，执行所述流量比对任务，以得到流量比对结果；
[0025]相应的，所述将所述流量录制数据、所述回放结果以及所述比对结果保存至本地，以便客户端基于所述流量录制数据、所述回放结果以及所述比对结果实现流量数据分析，包括：
[0026]将所述流量录制数据、所述回放结果以及所述比对结果保存至本地，当检测到客户端的流量录制任务详情被触发时，基于所述流量录制数据生成流量录制详情任务，执行所述流量录制详情任务，以便客户端基于流量录制详情实现流量数据分析；
[0027]当检测到客户端的流量回放任务详情被触发时，基于所述回放结果生成流量回放详情任务，执行所述流量回放详情任务，以便客户端基于流量回放详情实现流量数据分析；
[0028]当检测到客户端的流量比对结果详情被触发时，基于所述流量录制数据、所述回
放结果以及所述比对结果生成流量比对详情任务，执行所述流量比对详情任务，以便客户端基于流量比对详情实现流量数据分析。
[0029]可选的，所述将所述流量录制数据、所述回放结果以及所述比对结果保存至本地，包括：
[0030]基于Sharding
‑
JDBC对本地的数据存储组件进行哈希分库，以得到各数据库；
[0031]按照均匀分配原则将所述流量录制数据、所述回放结果以及所述比对结果保存至本地的各所述数据库。
[0032]第二方面，本申请公开了一种流量数据分析装置，包括：
[0033]流量录制任务生成模块，用于获取流量录制请求，基于所述流量录制请求中的流量录制信息生成流量录制任务；
[0034]流量录制任务执行模块，用于对各所述流量录制任务进行筛选，以得到目标流量录制任务，确定出与所述目标流量录制任务对应的流量录制规则，执行所述目标流量录制任务，以得到流量录制数据；
[0035]流量回放模块，用于获取流量回放参数，基于所述流量回放参数、所述目标流量录制任务以及所述流量录制规则进行流量回放，以得到回放结果，将所述回放结果与所述流量录制数据进行流量比对，以得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流量数据分析方法，其特征在于，包括：获取流量录制请求，基于所述流量录制请求中的流量录制信息生成流量录制任务；对各所述流量录制任务进行筛选，以得到目标流量录制任务，确定出与所述目标流量录制任务对应的流量录制规则，执行所述目标流量录制任务，以得到流量录制数据；获取流量回放参数，基于所述流量回放参数、所述目标流量录制任务以及所述流量录制规则进行流量回放，以得到回放结果，将所述回放结果与所述流量录制数据进行流量比对，以得到比对结果；将所述流量录制数据、所述回放结果以及所述比对结果保存至本地，以便客户端基于所述流量录制数据、所述回放结果以及所述比对结果实现流量数据分析。2.根据权利要求1所述的流量数据分析方法，其特征在于，所述获取流量录制请求，基于所述流量录制请求中的流量录制信息生成流量录制任务，包括：对本地进行请求检测，若检测到本地存在流量录制请求，则利用本地的规则管理组件获取所述流量录制请求；将所述规则管理组件中的所述流量录制请求发送至本地的任务管理组件，以便所述任务管理组件基于所述流量录制请求中的流量录制信息生成流量录制任务。3.根据权利要求2所述的流量数据分析方法，其特征在于，所述对各所述流量录制任务进行筛选，以得到目标流量录制任务，确定出与所述目标流量录制任务对应的流量录制规则，执行所述目标流量录制任务，以得到流量录制数据，包括：利用所述流量录制组件从所述任务管理组件中获取所述流量录制任务，并对各所述流量录制任务进行筛选，以得到目标流量录制任务，从本地所有的流量录制规则中筛选出与所述目标流量录制任务对应的所述流量录制规则，将所述目标流量录制任务和与所述目标流量录制任务对应的所述流量录制规则上报至本地的消息中间件，以便所述消息中间件执行所述目标流量录制任务，得到流量录制数据。4.根据权利要求1所述的流量数据分析方法，其特征在于，所述获取流量回放参数，基于所述流量回放参数、所述目标流量录制任务以及所述流量录制规则进行流量回放，以得到回放结果，包括：基于超文本传输协议和Dubbo协议实现对本地的流量回放组件的超文本传输协接口和Dubbo协议接口的调用，利用所述超文本传输协接口和所述Dubbo协议接口获取流量回放参数；调用本地的测试应用服务并基于所述流量回放参数、所述目标流量录制任务以及所述流量录制规则进行流量回放，以得到回放结果。5.根据权利要求1所述的流量数据分析方法，其特征在于，所述将所述回放结果与所述流量录制数据进行流量比对，以得到比对结果，包括：利用本地的流量比对组件，并调用本地的JS对象简谱比对工具对所述回放结果和所述流量录制数据进行全量字段比对、白名单字段比对以及黑名单字段忽略比对中的任一种或几种流量比对，以得到比对结果；或，利用本地的流量比对组件，并调用本地的第三方比对接口对所述回放结果和所述流量录制数据进行流量比对，以得到比对结果。6.根据权利要求1所述的流量数据分析方法，其特征在于，所述基于所述流量回放参
数、所...

【专利技术属性】
技术研发人员：马辉，李良敏，刘超，陈威威，宋卫辉，
申请(专利权)人：上海微盟企业发展有限公司，
类型：发明
国别省市：