数据处理方法及装置制造方法及图纸

技术编号:31638302 阅读:25 留言:0更新日期:2021-12-29 19:19
本发明专利技术提供了一种数据处理方法及装置,该方法包括:检测服务器接收到目标业务系统发送的目标业务场景对应的业务请求时,通过路由设备将目标流量镜像并发送至测试集群;应用数据处理模块对镜像流量进行脱敏处理获得测试流量;获取业务数据存储至镜像数据库;当接收到目标业务场景对应的测试指令时,获取镜像数据库中的业务数据,并应用测试集群中的测试流量及镜像数据库中的业务数据执行所述测试指令对应的测试任务。应用本发明专利技术提供的方法,可以在脱离业务系统后获取其生产的流量,并对流量进行镜像处理,无需占用业务系统的其他业务线程,业务系统依旧可以正常运行。业务系统依旧可以正常运行。业务系统依旧可以正常运行。

【技术实现步骤摘要】
数据处理方法及装置


[0001]本专利技术涉及数据处理
,特别是涉及一种数据处理方法及装置。

技术介绍

[0002]业务系统在投产前需要进行系统测试和用户测试验证,并针对对应的测试场景准备对应的测试案例。但现有技术中需要模拟业务系统进行测试,需要消耗长时间来准备相关的测试用例,而技术人员根据应用场景所给出的测试数据,即,测试流量难以完全模拟出生产各类异常输入数据和全部业务场景,导致测试过程中测试结果与实际结果之间存在偏差。
[0003]现有技术中,为减小测试过程中测试结果与实际结果之间的偏差,采集业务系统在运行过程中的相关流量进行测试,业务系统产生的流量为业务系统在执行业务操作时生成的操作数据。现有技术中采集流量的过程是在业务系统的应用层中执行,采集流量时需要占用业务系统中其他业务线程,因此现有技术获取流量的方式容易导致业务系统中其他业务线程不可用,影响业务系统的正常运行。

技术实现思路

[0004]有鉴于此,本专利技术提供一种数据处理方法,通过该方法,获取业务系统发出的流量,并对流量进行镜像处理,无需占用业务系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:检测服务器接收到目标业务系统发送的目标业务场景对应的业务请求时,获取所述目标业务系统发出的所述业务请求对应的目标流量;启用预设的路由设备对所述目标流量进行镜像处理,获得镜像流量,并将所述镜像流量发送至预设的测试集群;应用预设的数据处理模块对所述测试集群中镜像流量进行脱敏处理,获得测试流量,所述测试流量存于所述测试集群中;获取所述服务器中存储的所述业务请求对应的业务数据,将所述业务数据保存至预先设置的镜像数据库,并生成所述目标业务场景对应的测试指针,将所述测试指针指向所述镜像数据库;在接收到所述目标业务场景对应的测试指令时,基于所述目标业务场景对应的测试指针所指向的镜像数据库,获取所述镜像数据库的业务数据,并应用所述测试集群中的测试流量及所述业务数据执行所述测试指令对应的测试任务。2.根据权利要求1所述的方法,其特征在于,所述启用预设的路由设备对所述目标流量进行镜像处理,获得镜像流量,并将所述镜像流量发送至预设的测试集群,包括:获取所述业务请求中包含的所述目标流量对应的流量信息,及第一路径地址和第二路径地址,所述第一路径地址为所述服务器的服务器地址,所述第二路径地址为所述测试集群的存储地址;基于所述目标流量对应的流量信息,判断所述目标流量是否为可复制流量;当所述目标流量为可复制流量时,执行预设的镜像操作过程;其中,所述镜像操作过程为:启用所述路由设备对所述目标流量进行镜像处理,并获得镜像流量后,基于所述第一路径地址将所述目标流量发送至所述服务器,基于所述第二路径将所述镜像流量发送至所述测试集群;当所述目标流量为不可复制流量时,发出所述目标流量对应的复制提示消息,并在接收到所述复制提示消息对应的授权指令时,执行所述镜像操作过程。3.根据权利要求2所述的方法,其特征在于,所述应用预设的数据处理模块对所述测试集群中镜像流量进行脱敏处理,获得测试流量,包括:应用所述数据处理模块识别出所述镜像流量中的敏感字段;应用预先设置的加密算法,对所述镜像流量中的敏感字段进行加密,获得加密流量;在所述加密流量的加密字段中添加预先设置的目标识别符,获得已脱敏处理的测试流量,其中,所述目标识别符用于指示所述测试流量为复制的备份流量。4.根据权利要求3所述的方法,其特征在于,所述应用所述测试集群中的测试流量及所述业务数据执行所述测试指令对应的测试任务,包括:确定所述测试指令对应的待测系统;基于所述业务数据及所述测试流量,生成所述待测系统对应的测试配置文件;应用所述测试配置文件,对所述待测系统执行所述目标业务场景下所述测试指令对应的测试任务。5.根据权利要求4所述的方法,其特征在于,还包括:获取所述测试任务对应的测试结果,及所述服务器对应的生产数据库中预先存储的操
作结果,所述操作结果为所述服务器接收到所述业务请求后基于所述目标流量及所述业务数据执行业务操作的操作结果;判断所述测试结果与所述操作结果是否一致;若所述测试结果与所述操作结果一致,则将所述测试结果保存至所述镜像数据库中,并提示所述测试任务对应的测试成功消息;若所述测试结果与所述操作结果不一致,则删除所述测试结果,并提示所述测试任务对应的测试异常消息。6.一种数据处理装置,其特...

【专利技术属性】
技术研发人员:王劲松史晨阳王磊刘淼彭玥赵韩
申请(专利权)人:中国光大银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1