数据处理方法、系统、设备和存储介质技术方案

技术编号:40428431 阅读:15 留言:0更新日期:2024-02-20 22:49
本发明专利技术提供了一种数据处理方法、系统、设备和存储介质。所述方法包括:当应用程序完成交易处理后,所述应用程序对应的服务器将记录所述交易处理的日志数据通过统一的数据接入接口存储至集中日志文件;实时获取所述集中日志文件中的日志数据,并生成所述日志数据对应的监控指标数据和统计信息;根据预设的告警规则和告警阈值以及所述监控指标数据和统计信息判断所述日志数据中是否存在异常,并在确定存在异常时向用户发送告警信息。本发明专利技术的上述方法通过统一的数据接入接口集中收集服务器记录的日志数据,便于日志定位和排查,并且,实时获取集中日志文件中的日志数据以判断当前日志数据是否存在异常,能够对交易进行实时监控。

【技术实现步骤摘要】

本专利技术涉及计算机应用,更为具体而言,涉及一种数据处理方法、系统、设备和存储介质


技术介绍

1、随着信息化时代进程的推进,数据规模的爆发式增长,传统的单机系统在性能和可用性上已经无法胜任,分布式应用和服务化应用开始被使用,并且,企业通过日志收集实现多机集群的交易监控。然而,目前针对分布式集群部署的日志收集和交易监控方案存在如下缺点:

2、1、日志分散存储:现有的分布式集群部署日志分散在各服务器节点上,主要通过人工的方式进行错误日志的定位及排查,这种方式不仅耗时耗力、效率低下,且当服务器节点多或者生产问题需要限时解决的时候,服务器逐一排查的方式会带来极大的不便。例如,对于多个领域的70多台服务器,多数服务器都是一主三从的分布式集群部署,甚至有一主六从的集群部署的情况。而交易是随机发送到从机上执行业务逻辑,导致在某交易出现问题需要通过日志排查时,需要运维人员在已知的多台服务器节点上逐个排查,先确定交易执行的服务器,然后才能通过日志内容排查交易出现问题的原因,无法实现高效率的异常排查。

3、2、缺少实时监控:在现有的框架下,只有等到功本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述数据处理方法包括:

2.如权利要求1所述的数据处理方法,其特征在于,所述数据处理方法还包括:

3.如权利要求2所述的数据处理方法,其特征在于,所述数据处理方法还包括:

4.如权利要求1所述的数据处理方法,其特征在于,所述数据处理方法还包括:将所述日志数据和监控指标数据通过统一的数据输出接口发送至监控显示屏进行展示。

5.一种数据处理系统,其特征在于,所述数据处理系统包括:

6.如权利要求5所述的数据处理系统,其特征在于,所述数据处理系统还包括索引记录生成模块,用于根据所述交易处理的日志数据生...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述数据处理方法包括:

2.如权利要求1所述的数据处理方法,其特征在于,所述数据处理方法还包括:

3.如权利要求2所述的数据处理方法,其特征在于,所述数据处理方法还包括:

4.如权利要求1所述的数据处理方法,其特征在于,所述数据处理方法还包括:将所述日志数据和监控指标数据通过统一的数据输出接口发送至监控显示屏进行展示。

5.一种数据处理系统,其特征在于,所述数据处理系统包括:

6.如权利要求5所述的数据处理系统,其特征在于,所述数据处理系统还包括索引记录生成模块,用于根据所述交易处理的日志数据生成日志索引记...

【专利技术属性】
技术研发人员:邵振辰何伟周亚辉郑飞龙钮维一杜乐国程晓宇吴仲政方元耿双乐
申请(专利权)人:中国建设银行股份有限公司安徽省分行
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1