数据处理的压测方法和装置制造方法及图纸

本发明专利技术公开了一种数据处理的压测方法和装置，涉及大数据技术领域。该方法的一具体实施方式包括：根据接收到的数据访问请求，获取用户标识，所述业务用户标识包括测试追踪标识；根据所述测试追踪标识，从所述数据访问请求中获取测试用户请求；按照设定的规则将所述测试用户请求路由至可访问的数据库表，以进行压测。该实施方式不仅实现了生产环境中的压测，而且将测试用户请求单独存放于数据库表中以进行正常数据和测试数据的隔离，避免了测试数据对正常数据的影响，保证了数据处理的准确性、完整性。完整性。完整性。

【技术实现步骤摘要】
数据处理的压测方法和装置


[0001]本专利技术涉及大数据
，尤其涉及一种数据处理的压测方法和装置。

技术介绍

[0002]随着互联网技术的广泛应用，提供数据业务服务的系统性能压力问题也逐渐出现，特别是在电商的促销活动时期，骤增的访问交易流量对业务系统的流量承载能力提出了更高的要求，为此，写压力测试(简称压测)通过给业务系统不断加压，强制其在极限的情况下运行，找到影响系统性能的瓶颈，以对系统资源进行优化，保证业务系统有较强的流量承载能力。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中存在如下问题：
[0004]通过在业务系统生产环境里的写压力测试，会产生大量的带有标记的测试数据，使得测试数据和正常数据共存于生产环境中的同一个数据表中，干扰了生产环境里的正常数据处理，影响了处理结果的准确性、完整性。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种数据处理的压测方法和装置，根据用户标识中的测试追踪标识获取数据访问请求中的测试用户请求，按照规则将测试用户请求路由到可访问的数据库表，以进行压测，不仅实现了生产环境中的压测，而且将测试用户请求单独存放在数据库表中以进行正常数据和测试数据的隔离，避免了测试数据对正常数据的影响，保证了数据处理的准确性、完整性。
[0006]为实现所述目的，根据本专利技术实施例的一个方面，提供了一种数据处理的压测方法，包括：
[0007]根据接收到的数据访问请求，获取用户标识，所述用户标识包括测试追踪标识；
[0008]根据所述测试追踪标识，从所述数据访问请求中获取测试用户请求；
[0009]按照设定的规则将所述测试用户请求路由至可访问的数据库表，以进行压测。
[0010]可选地，所述测试追踪标识是通过雪花算法结合测试用户标识生成的。
[0011]可选地，所述测试追踪标识是通过以下方式生成的：将时间戳、机器标识和序列号，按照雪花算法生成雪花标识码；将所述雪花标识码和测试用户标识进行拼接，生成所述测试追踪标识。
[0012]可选地，所述规则包括哈希取模法和指定查询数据源法。
[0013]可选地，按照设定的规则将所述测试用户请求路由至可访问的数据库表，包括：获取预先设置的分库分表的个数；将所述测试追踪标识进行哈希运算得到哈希值；将所述哈希值对所述分库分表的个数进行取模运算，得到定位信息；根据所述分库分表的个数和所述定位信息，将所述追踪标识对应的测试用户请求路由到指定的数据库表。
[0014]可选地，按照设定的规则将所述测试用户请求路由至可访问的数据库表，包括：获取预先建立的测试追踪标识与数据库表的映射关系表；根据所述映射关系表，确定所述测
试追踪标识对应的数据库表，并将所述测试追踪标识对应的测试用户请求路由到所述数据库表。
[0015]可选地，按照设定的规则将所述测试用户请求路由至可访问的数据库表之后，还包括：通过数据访问层，将所述可访问的数据库表的位置信息赋值给可执行的数据库查询语句中的数据库表变量，以在执行所述数据库查询语句时定位到所述测试用户请求可访问的数据库表。
[0016]根据本专利技术实施例的第二方面，提供一种数据处理的压测装置，包括：
[0017]用户标识获取模块，用于根据接收到的数据访问请求，获取用户标识，所述用户标识包括测试追踪标识；
[0018]测试用户获取模块，用于根据所述测试追踪标识，从所述数据访问请求中获取测试用户请求；
[0019]压测模块，用于按照设定的规则将所述测试用户请求路由至可访问的数据库表，以进行压测。
[0020]根据本专利技术实施例的第三方面，提供一种数据处理的压测电子设备，其特征在于，包括：
[0021]一个或多个处理器；
[0022]存储装置，用于存储一个或多个程序，
[0023]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例第一方面提供的方法。
[0024]根据本专利技术实施例的第四方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术实施例第一方面提供的方法。
[0025]所述专利技术中的一个实施例具有如下优点或有益效果：通过根据接收到的数据访问请求，获取用户标识，用户标识包括测试追踪标识；根据测试追踪标识，从数据访问请求中获取测试用户请求；按照设定的规则将测试用户请求路由至可访问的数据库表，以进行压测的技术方案，实现了根据用户标识中的测试追踪标识获取数据访问请求中的测试用户请求，按照规则将测试用户请求路由到可访问的数据库表，不仅进行了生产环境中的压测，而且将测试用户请求单独存放在数据库表中以进行正常数据和测试数据的隔离，避免了测试数据对正常数据的影响，保证了数据处理的准确性、完整性。
附图说明
[0026]附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：
[0027]图1是根据本专利技术实施例的数据处理的压测方法的主要流程的示意图；
[0028]图2是本专利技术实施例的微服务架构下的压测原理示意图；
[0029]图3是本专利技术实施例的交易数据库集群的数据架构示意图；
[0030]图4是本专利技术实施例的交易数据库集群的详细数据架构示意图；
[0031]图5是本专利技术实施例的压测方法的整体时序图；
[0032]图6是根据本专利技术实施例的数据处理的压测装置的主要模块示意图；
[0033]图7是本专利技术实施例可以应用于其中的示例性系统架构图；
[0034]图8是适于用来实现本专利技术实施例的终端设备或服务器的计算机系统的结构示意
图。
具体实施方式
[0035]以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0036]目前在业务系统生产环境里的写压力测试场景中，会产生大量的带有标记的测试数据，使得测试数据和正常数据共存于生产环境中的同一个数据表中，干扰了生产环境里的正常数据处理，影响了处理结果的准确性、完整性，不能很好的满足实际应用。
[0037]为了解决现有技术中存在的上述问题，本专利技术提出一种数据处理的压测方法，根据用户标识中的测试追踪标识获取数据访问请求中的测试用户请求，按照规则将测试用户请求路由到可访问的数据库表，以进行压测，不仅实现了生产环境中的压测，而且将测试用户请求单独存放在数据库表中以进行正常数据和测试数据的隔离，避免了测试数据对正常数据的影响，保证了数据处理的准确性、完整性。
[0038]在本专利技术的实施例介绍中，所涉及的名词及其含义如下：
[0039]Java
‑
Agent：一种可以动态修改Java字节码的技术；
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的压测方法，其特征在于，包括：根据接收到的数据访问请求，获取用户标识，所述用户标识包括测试追踪标识；根据所述测试追踪标识，从所述数据访问请求中获取测试用户请求；按照设定的规则将所述测试用户请求路由至可访问的数据库表，以进行压测。2.根据权利要求1所述的方法，其特征在于，所述测试追踪标识是通过雪花算法结合测试用户标识生成的。3.根据权利要求2所述的方法，其特征在于，所述测试追踪标识是通过以下方式生成的：将时间戳、机器标识和序列号，按照雪花算法生成雪花标识码；将所述雪花标识码和测试用户标识进行拼接，生成所述测试追踪标识。4.根据权利要求1所述的方法，其特征在于，所述规则包括哈希取模法和指定查询数据源法。5.根据权利要求4所述的方法，其特征在于，按照设定的规则将所述测试用户请求路由至可访问的数据库表，包括：获取预先设置的分库分表的个数；将所述测试追踪标识进行哈希运算得到哈希值；将所述哈希值对所述分库分表的个数进行取模运算，得到定位信息；根据所述分库分表的个数和所述定位信息，将所述追踪标识对应的测试用户请求路由到指定的数据库表。6.根据权利要求4所述的方法，其特征在于，按照设定的规则将所述测试用户请求路由至可访问的数据库表，包括：获取预先建立的测试追踪标识与数据库表的映射关系...

【专利技术属性】
技术研发人员：张栋芳，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：