基于分布式技术的数据处理方法、装置、设备及存储介质制造方法及图纸

技术编号:38615732 阅读:19 留言:0更新日期:2023-08-26 23:43
本申请公开了基于分布式技术的数据处理方法、装置、设备及存储介质,可应用于分布式领域或金融领域。该方法包括:获取分布式交易系统中的多个节点针对交易请求的交易响应数据;对多个节点分别对应的交易响应数据进行分片,得到分片文件;对分片文件进行分析,得到多个节点的交易响应情况。由于上述多个节点分别对应的交易响应数据可以表示同一交易请求在多个节点之间的流转情况,因此,可以通过交易请求对应的完整链路的数据分析,得到多个节点的交易响应情况,如此,即可实现对于交易流程的监控,从而能够在交易和/或系统出现问题后及时调整,尽可能地保证交易正常进行,系统正常运行。运行。运行。

【技术实现步骤摘要】
基于分布式技术的数据处理方法、装置、设备及存储介质


[0001]本申请涉及分布式
,尤其涉及基于分布式技术的数据处理方法、装置、设备及存储介质。

技术介绍

[0002]近年来,随着大数据、云计算等新兴技术的发展,传统的集中式架构正逐步向分布式架构迁移,技术架构下的服务粒度也随之变细。在分布式架构下,单个应用系统可以被划分为多个节点,这些节点通过对应的微服务之间的协调配合来实现该应用程序对应的业务功能。
[0003]以银行的交易场景为例,银行内部的员工可以通过员工统一门户系统这种分布式交易系统来完成交易。但是,分布式交易系统中包括许多节点,且各个节点都存在对应的前端交易,在不同的交易场景下也相应存在着不同的交易链路。基于此,当下需要对交易流程进行监控,使交易可以正常进行,系统正常运行。

技术实现思路

[0004]本申请实施例提供了基于分布式技术的数据处理方法、装置、设备及存储介质,以实现分布式交易系统中的数据分析,便于后续依据分析结果提升系统性能。
[0005]第一方面,本申请实施例提供了一种基于分布式技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式技术的数据处理方法,其特征在于,包括:获取分布式交易系统中的多个节点针对交易请求的交易响应数据;对所述多个节点分别对应的交易响应数据进行分片,得到分片文件;对所述分片文件进行分析,得到所述多个节点的交易响应情况。2.根据权利要求1所述的数据处理方法,其特征在于,所述多个节点分别对应的交易响应数据存储于交易数据表;所述对所述多个节点分别对应的交易响应数据进行分片,得到分片文件,包括:通过多线程分页查询的方式,从所述交易数据表中读取所述多个节点分别对应的交易响应数据;按照预设数据类型处理所述多个节点分别对应的交易响应数据,以生成日志文件;按照预设时间粒度对所述日志文件进行分片,得到所述分片文件。3.根据权利要求2所述的数据处理方法,其特征在于,所述按照预设时间粒度对所述日志文件进行分片,得到所述分片文件,包括:按照所述预设时间粒度将所述日志文件压缩为预设格式的文件,以生成所述分片文件。4.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:响应于所述交易请求,基于当前时间信息、所述多个节点各自的编码信息,以及随机数生成所述交易请求对应的全局标识信息;所述对所述分片文件进行分析,得到所述多个节点的交易响应情况,包括:基于所述全局标识信息和所述多个节点各自的编码信息对所述分片文件进行分析,得到所述多个节点之间的响应时延;将所述多个节点之间的响应时延作为所述多个节点的交易响应情况。5.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:响应于所述交易请求,基于当前时间信息、所述多个节点各自的编码信息,以及随机数生成所述交易请求对应的全局标识信息;确定所述交易请求分别流转到所述多个节点的微服务环节数据;所述对所述分片文件进行分析,得到所述多个节点的交易响应情况,包括:基于所述全局标识信息和所述...

【专利技术属性】
技术研发人员:孙波侯慧欣吴文建赵永杰陈俊彦
申请(专利权)人:中国银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1