数据处理方法以及设备、介质技术

本发明专利技术实施例提供了数据处理方法及装置、设备、介质，其中，一种数据处理方法，包括：启动录制客户端；通过所述录制客户端确定数据录制范围；根据所述录制客户端的指示在所述录制范围内进行录制。另一种数据处理方法包括：响应于待测试应用的启动，录制客户端启动录制回放模块的下载，所述录制客户端还适于确定数据录制范围，指示在所述录制范围内进行录制；根据录制回放模块指示回放所述录制得到的数据；由待测试应用基于所述回放的数据进行测试。本发明专利技术实施例中的数据处理方法效率更高。明实施例中的数据处理方法效率更高。明实施例中的数据处理方法效率更高。

【技术实现步骤摘要】
数据处理方法以及设备、介质


[0001]本专利技术涉及软件领域，具体地，涉及数据处理方法及装置、设备、介质。

技术介绍

[0002]在一些应用场景中，需要从将一部分线上数据进行复制，以利用该复制的数据进行测试或其它运用。但是在现有的实现方式的效率有待提升。

技术实现思路

[0003]针对现有技术中的问题，本专利技术实施例提供一种数据处理方法，包括：
[0004]启动录制客户端；
[0005]通过所述录制客户端确定数据录制范围；
[0006]根据所述录制客户端的指示在所述录制范围内进行录制。
[0007]可选的，所述数据流录制范围包括录制对象、录制时间和录制比例中至少一种。
[0008]可选的，所述通过所述录制客户端确定待录制的数据录制范围包括：
[0009]确定录制对象，所述录制对象通过网络地址进行标识；
[0010]确定对所述录制对象进行录制的录制时间和录制比例中至少一种。
[0011]可选的，根据所述录制客户端的指示在所述录制范围内进行录制包括：根据所述录制时间，下载所述录制客户端的录制回放模块，通过所述录制回放模块进行录制。
[0012]可选的，所述通过所述录制回放模块进行录制包括：将录制到的数据放入一部队列，通过单线程的线程池执行存储操作。
[0013]可选的，通过所述录制回放模块修改字节码，以实现对数据的录制和回放。
[0014]可选的，根据所述录制客户端的指示在所述录制范围内进行录制包括：根据系统资源占用率更新所述录制范围中的录制时间和录制比例中至少一种。
[0015]本专利技术实施例还提供另一种数据处理方法，包括：
[0016]响应于待测试应用的启动，录制客户端启动录制回放模块的下载，所述录制客户端还适于确定数据录制范围，指示在所述录制范围内进行录制；
[0017]根据录制回放模块指示回放所述录制得到的数据；
[0018]由待测试应用基于所述回放的数据进行测试。
[0019]可选的,根据录制回放模块指示回放所述录制得到的数据包括：根据所述录制得到的数据生成能够自动生成模拟数据的接口。
[0020]可选的，所述数据处理方法还包括：对所述测试的结果和中间内容过程中至少一种进行比对。
[0021]本专利技术实施例还提供一种数据处理装置，包括：
[0022]启动单元，适于启动录制客户端；
[0023]录制范围确定单元，适于通过所述录制客户端确定数据录制范围；
[0024]录制单元，适于根据所述录制客户端的指示在所述录制范围内进行录制。
[0025]本专利技术实施例还提供一种数据处理装置，包括：
[0026]下载单元，适于响应于待测试应用的启动，录制客户端启动录制回放模块的下载，所述录制客户端还适于确定数据录制范围，指示在所述录制范围内进行录制；
[0027]回访单元，适于根据录制回放模块指示回放所述录制得到的数据；
[0028]测试单元，适于由待测试应用基于所述回放的数据进行测试。
[0029]本专利技术实施例还提供一种电子设备，包括：
[0030]处理器；
[0031]存储器，其中存储有所述处理器的可执行指令；
[0032]其中，所述处理器配置为经由执行所述可执行指令来执行用于实现所述的数据处理方法。
[0033]本专利技术实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的数据处理方法。
[0034]在本专利技术实施例中，通过设置录制客户端，通过录制客户端确定录制范围，并且根据所述录制客户端的指示在所述录制范围内进行录制，可以减少代码对线上数据的入侵，并且可以适用于更多的场景，进而可以提升录制的效率。
附图说明
[0035]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显。
[0036]图1是本专利技术实施例中的一种数据处理方法的流程图；
[0037]图2是图1中步骤S12的一种具体实现的流程图；
[0038]图3是本专利技术实施例中另一种数据处理方法的流程图；
[0039]图4是是本专利技术实施例中数据处理方法的一种系统框图；
[0040]图5是本专利技术实施例中一种客户端或服务器的结构示意图；以及
[0041]图6是本专利技术实施例中一种的计算机可读存储介质的结构示意图。
具体实施方式
[0042]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本专利技术将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
[0043]如
技术介绍
所述，在一些应用场景中，需要从将一部分线上数据进行复制，以利用该复制的数据进行测试或其它运用。但是在现有的实现方式的效率有待提升。
[0044]具体的，在一应用场景中，可以复制线上真实流量用于自动回归测试。在一种具体实现方法中，通过开发代码接入多个下游服务器以获取线上数据，这种方式代码入侵率较高，会对线上数据造成干扰，并且每次代码编写仅能针对特定的下游服务器，效率较低。
[0045]另外，在一些应用场景中，整体业务比较复杂，子系统繁多，而且各个子系统都有较频繁的发布，每次发布都会带来系统整体的稳定性和数据正确性的挑战。通过上述开发代码接入的方式，整体效率会进一步降低。
[0046]结合参考图1，本专利技术实施例提供一种数据处理方法，具体可以包括如下步骤：
[0047]步骤S11，启动录制客户端；
[0048]步骤S12，通过所述录制客户端确定数据录制范围；
[0049]步骤S13，根据所述录制客户端的指示在所述录制范围内进行录制。
[0050]在本专利技术实施例中，通过设置录制客户端，通过录制客户端确定录制范围，并且根据所述录制客户端的指示在所述录制范围内进行录制，可以减少代码对线上数据的入侵，并且可以适用于更多的场景，进而可以提升录制的效率。
[0051]在具体实施中，所述数据流录制范围包括录制对象、录制时间和录制比例中至少一种。
[0052]进一步的，录制对象可以包括具体需要进行录制的服务器，以及该服务器上的服务请求以及所依据的数据或接口，所述服务器可以通过IP地址进行指示。所述服务器上的服务请求可以包括用户下单、付款等。录制的内容还可以包括用户下单接口、付款接口、写入数据库的数据等。
[0053]在具体实施中，服务请求以及所依据的数据或接口可以是面向服务架构(SOA)接口、数据库(DB)、消息中间件(QMQ)、键值(key
‑
value) 数据库Redis、阿里巴巴公司开源的一个高性能优秀的服务框架Dubbo、基于分布式文件存储的数据库Mongo等。
[0054]从而通过设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：启动录制客户端；通过所述录制客户端确定数据录制范围；根据所述录制客户端的指示在所述录制范围内进行录制。2.根据权利要求1所述的数据处理方法，其特征在于，所述数据流录制范围包括录制对象、录制时间和录制比例中至少一种。3.根据权利要求1所述的数据处理方法，其特征在于，所述通过所述录制客户端确定待录制的数据录制范围包括：确定录制对象，所述录制对象通过网络地址进行标识；确定对所述录制对象进行录制的录制时间和录制比例中至少一种。4.根据权利要求3所述的数据处理方法，其特征在于，根据所述录制客户端的指示在所述录制范围内进行录制包括：根据所述录制时间，下载所述录制客户端的录制回放模块，通过所述录制回放模块进行录制。5.根据权利要求4所述的数据处理方法，其特征在于，所述通过所述录制回放模块进行录制包括：将录制到的数据放入一部队列，通过单线程的线程池执行存储操作。6.根据权利要求4所述的数据处理方法，其特征在于，通过所述录制回放模块修改字节码，以实现对数据的录制和回放。7.根据权利要求1所述的数据处理方法，其特征在于，根据所述录制客户端的指示在所述录制范围内进行录制包括：根据系统资源占用率更新所述录制范围中的录制时间和录制比例中至少一种。8.一种数据处理方法，其特征在于，包括：响应于待测试应用的启动，录制客户端启动录制回放模块的下载，所述录制客户端还适于确定...

【专利技术属性】
技术研发人员：孟鸿志，张海洋，毛英许，贺泳武，
申请(专利权)人：携程旅游网络技术上海有限公司，
类型：发明
国别省市：