【技术实现步骤摘要】
本申请涉及流量去重，尤其涉及一种适用于流量录制回放多节点采集的流量去重方法、装置、设备及介质。
技术介绍
1、流量录制回放是通过复制线上真实流量(录制)然后在测试环境进行模拟请求(回放)验证代码逻辑正确性。通过采集真实流量在测试环境回放逐一对比每个子调用差异和入口调用结果来排查接口代码是否存在问题。有时用户在使用流量录制与回放平台时可能录制到非常多重复的流量，造成后续回放耗时较长和排查问题效率低下。因此，我们针对该现象思考如何在保证接口覆盖率的情况下尽可能减少相同流量的数量。
2、在已有的流量去重方案中大多是利用数组或哈希表的存储结构，筛选流量时间损耗较大且存在一定的误判率，进而影响流量去重的效率。
3、目前，针对流量录制与回放平台中重复流量的去重的技术方案尚存在一些不足之处：
4、现有的流量去重方案大多是针对单点流量采集，当存在多个节点共处同一局域网内，那么节点之间就有可能进行通信，单点采集流量可能会遗漏局域网内互相通信的流量，因此采集的流量是不完整的。数据在获取流量时就已经是残缺的，在后期的回放时就不能反映出整个网络的状况。
5、存储数据大多利用哈希表结构，通过牺牲空间以换取时间消耗，存在一定的误判率的同时随着存储的数据增长将严重影响机器性能。
6、随着录制数据的增长，同步数据的成本高，精准去重的响应时间较长。
7、录制线上服务流量时同步进行流量去重处理，因而会影响到流量的录制过程。
8、因此，如何提高流量数据去重的可靠性成为亟待解决的技术问
技术实现思路
1、本申请提供了一种适用于流量录制回放多节点采集的流量去重方法、装置、设备及存储介质，旨在提高流量数据去重的可靠性。
2、第一方面，本申请提供一种适用于流量录制回放多节点采集的流量去重方法，方法包括：
3、获取至少一个目标网络区域的流量文件；
4、基于目标网络区域对应的流量文件的流量数量，筛选出基准流量文件和待处理流量文件；
5、基于预设五元组去重规则和基准流量文件，构建去重前缀树；
6、基于去重前缀树，依次匹配待处理流量文件中流量数据，筛除待处理流量文件中的重复流量数据，获得去重流量文件。
7、第二方面，本申请还提供一种适用于流量录制回放多节点采集的流量去重装置，适用于流量录制回放多节点采集的流量去重装置包括：
8、流量文件获取模块，用于获取至少一个目标网络区域的流量文件；
9、流量文件筛选模块，用于基于目标网络区域对应的流量文件的流量数量，筛选出基准流量文件和待处理流量文件；
10、前缀树构建模块，用于基于预设五元组去重规则和基准流量文件，构建去重前缀树；
11、流量去重模块，用于基于去重前缀树，依次匹配待处理流量文件中流量数据，筛除待处理流量文件中的重复流量数据，获得去重流量文件。
12、第三方面，本申请还提供一种计算机设备，计算机设备包括处理器、存储器、以及存储在存储器上并可被处理器执行的计算机程序，其中计算机程序被处理器执行时，实现如上述的适用于流量录制回放多节点采集的流量去重方法的步骤。
13、第四方面，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其中计算机程序被处理器执行时，实现如上述的适用于流量录制回放多节点采集的流量去重方法的步骤。
14、本申请提供一种适用于流量录制回放多节点采集的流量去重方法、装置、设备及存储介质，本申请方法包括获取至少一个目标网络区域的流量文件；基于目标网络区域对应的流量文件的流量数量，筛选出基准流量文件和待处理流量文件；基于预设五元组去重规则和基准流量文件，构建去重前缀树；基于去重前缀树，依次匹配待处理流量文件中流量数据，筛除待处理流量文件中的重复流量数据，获得去重流量文件。通过上述方式，本申请通过将录制线上服务流量生成流量文件，进而对流量去重处理，因此保证了流量录制功能不受影响。通过将需要采集的网络区域划分为多个采集点，在各个采集点单独采集流量，获取各个区域内录制的流量文件，避免遗漏节点流量，从而保证采集的流量的完整性。通过共用字符串前缀，达到了节约存储空间的目的。通过改造前缀树结构，将去重规则中的五元组提取成一个共用体作为前缀树节点的负载，通过将前缀树分层表述，每层代表不同的匹配参数，很大程度减少无谓的字符串比较，提升流量去重效率同时保证了流量不重复。有利于业务开发人员和测试人员高效、快速进行重复流量的去重，方便其对系统服务质量的管控和评估，帮助减轻流量回放时的压力，提高排查问题的效率，提高流量数据去重的可靠性。
本文档来自技高网...【技术保护点】
1.一种适用于流量录制回放多节点采集的流量去重方法，其特征在于，所述方法包括：
2.根据权利要求1所述的适用于流量录制回放多节点采集的流量去重方法，其特征在于，所述预设五元组去重规则包括第一个报文长度、第二个报文长度、第三个报文长度、流量入参以及执行调用栈。
3.根据权利要求2所述的适用于流量录制回放多节点采集的流量去重方法，其特征在于，所述基于预设五元组去重规则和基准流量文件，构建去重前缀树，包括：
4.根据权利要求1所述的适用于流量录制回放多节点采集的流量去重方法，其特征在于，所述基于去重前缀树，依次匹配待处理流量文件中各流量数据，筛除待处理流量文件中的重复流量数据，获得去重流量文件，包括：
5.根据权利要求4所述的适用于流量录制回放多节点采集的流量去重方法，其特征在于，所述基于流量去重算法，查询去重前缀树中是否存在流量数据之后，还包括：
6.根据权利要求1所述的适用于流量录制回放多节点采集的流量去重方法，其特征在于，所述获取至少一个目标网络区域的流量文件，包括：
7.根据权利要求1所述的适用于流量录制回
8.一种适用于流量录制回放多节点采集的流量去重装置，其特征在于，所述适用于流量录制回放多节点采集的流量去重装置包括：
9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的适用于流量录制回放多节点采集的流量去重方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的适用于流量录制回放多节点采集的流量去重方法的步骤。
...【技术特征摘要】
1.一种适用于流量录制回放多节点采集的流量去重方法，其特征在于，所述方法包括：
2.根据权利要求1所述的适用于流量录制回放多节点采集的流量去重方法，其特征在于，所述预设五元组去重规则包括第一个报文长度、第二个报文长度、第三个报文长度、流量入参以及执行调用栈。
3.根据权利要求2所述的适用于流量录制回放多节点采集的流量去重方法，其特征在于，所述基于预设五元组去重规则和基准流量文件，构建去重前缀树，包括：
4.根据权利要求1所述的适用于流量录制回放多节点采集的流量去重方法，其特征在于，所述基于去重前缀树，依次匹配待处理流量文件中各流量数据，筛除待处理流量文件中的重复流量数据，获得去重流量文件，包括：
5.根据权利要求4所述的适用于流量录制回放多节点采集的流量去重方法，其特征在于，所述基于流量去重算法，查询去重前缀树中是否存在流量数据之后，还包括：
6.根据权利要求1所述的适用于流量录制回放多节点采...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。