System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 交易日志的自动分析方法及装置制造方法及图纸_技高网

交易日志的自动分析方法及装置制造方法及图纸

技术编号:40305124 阅读:7 留言:0更新日期:2024-02-07 20:50
本发明专利技术提出了一种交易日志的自动分析方法及装置,涉及大数据处理技术,金融科技领域,该方法包括:配置交易日志案例,将交易日志案例持久化存储至数据库;在多个应用系统中设置日志采集工具,通过日志采集工具采集交易日志,并发送至消息中间件;读取消息中间件中的日志文本数据,对文本数据进行日志聚合处理,得到聚合日志文本数据;根据聚合日志文本数据,在数据库中查询对应的交易日志案例,根据交易日志案例分析聚合日志文本数据,得到交易日志分析结果。本发明专利技术改进运维领域对于交易日志的使用方式,从人工查找和分析改进到自动化全量分析,在交易日志信息量的挖掘和使用上更加高效和智能,增加了对应用系统的运维手段,节约了人工运维成本。

【技术实现步骤摘要】

本专利技术涉及大数据处理技术,金融科技领域,尤指一种交易日志的自动分析方法及装置


技术介绍

1、本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、交易日志作为应用系统最直接的实时运行状态信息,具有很高的运维价值。但交易日志却不在传统的运维范畴内,主要有以下三方面原因:

3、第一方面,交易日志具有一定的业务属性,而运维人员通常不具备也不关心相关的业务知识,所以无法准确的从交易日志挖掘运维信息。

4、第二方面,相比其他运维对象(设备、网络、集群、操作系统和应用运行状态等),交易日志缺乏明确的采集标准,比如设备状态的在线和离线,网络连通性的可达或不可达等。

5、第三方面,交易日志数据量较大,一个系统中一支接口的日均交易量就可能上千万,不管是存储或者分析都非传统技术能解决。

6、面对日益严峻的运维挑战,数据中心的核心工作是如何更高效的完成运维任务,自动化运维是理想的解决方案。对于应用系统来说,目前在应用进程状态,应用服务端口,交易执行时长均有一定的自动化运维支撑,不仅降低了人力成本,而且极大提高了运维效率,实时的故障反馈让系统可用性和可靠性都得到了质的提高。然而交易日志却无法获得实时分析,只能作为生产故障的问题溯源和根因分析依据,如何让交易日志在自动化运维中发挥应有的价值显得尤为迫切。

7、目前,数据中心运行着上万个应用系统以支撑银行的各类业务需求,庞大的应用系统数量决定了运维工作的复杂程度。尽管已经有很多运维指标(比如虚拟机在线状态、应用进程状态、服务端口状态等等)通过专用运维系统实现了自动化运维,但一些业务相关性较强的运维指标仍然缺乏有效的自动化运维手段,比如交易日志,通常是在生产故障发生后再通过人工溯源查找的方式去挖掘异常交易日志,不仅时效性差,而且需要消耗大量的人力成本。

8、综上来看,交易日志在传统运维过程中主要用于交易事件记录和生产问题排查,主要存在以下三方面缺陷:

9、1、交易日志作为应用系统交易状态的第一手信息,只用于记录交易事件,信息利用率较低。

10、2、发生生产问题后再排查交易记录往往具有一定的延时性,不仅时效性差,而且需要消耗一定的人力资源。

11、3、交易状态的监控和统计停留在成功率和交易时长上,对于异常交易日志缺乏实时的监控和分析手段。

12、因此,亟需一种可以克服上述缺陷,能够对交易日志进行有效分析的技术方案。


技术实现思路

1、为解决现有技术存在的问题,本专利技术基于交易日志自动运维的需求,提出一种适用于银行数据中心的交易日志自动分析方法及装置,具有较高的生产运维价值。

2、在本专利技术实施例的第一方面,提出了一种交易日志的自动分析方法,包括:

3、配置交易日志案例,将所述交易日志案例持久化存储至数据库;

4、在多个应用系统中设置日志采集工具,通过所述日志采集工具采集交易日志,并发送至消息中间件;

5、读取所述消息中间件中的日志文本数据,对所述文本数据进行日志聚合处理,得到聚合日志文本数据;

6、根据所述聚合日志文本数据,在所述数据库中查询对应的交易日志案例,根据所述交易日志案例分析聚合日志文本数据,得到交易日志分析结果。

7、在本专利技术实施例的第二方面,提出了一种交易日志的自动分析装置,包括:

8、交易日志案例配置模块,用于配置交易日志案例,将所述交易日志案例持久化存储至数据库;

9、日志采集模块,用于在多个应用系统中设置日志采集工具,通过所述日志采集工具采集交易日志,并发送至消息中间件;

10、日志聚合处理模块,用于读取所述消息中间件中的日志文本数据,对所述文本数据进行日志聚合处理,得到聚合日志文本数据;

11、日志分析模块,用于根据所述聚合日志文本数据,在所述数据库中查询对应的交易日志案例,根据所述交易日志案例分析聚合日志文本数据,得到交易日志分析结果;

12、数据库,用于存储交易日志案例、聚合日志及交易日志分析结果。

13、在本专利技术实施例的第三方面,提出了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现交易日志的自动分析方法。

14、在本专利技术实施例的第四方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现交易日志的自动分析方法。

15、在本专利技术实施例的第五方面,提出了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现交易日志的自动分析方法。

16、本专利技术提出的交易日志的自动分析方法及装置改进业务应用运维领域对于交易日志的使用方式,从人工查找和分析到自动化全量分析,在交易日志信息量的挖掘和使用上更加高效和智能,增加了对应用系统的运维手段,节约了人工运维成本。相较于现有技术,至少存在以下优点:

17、1、交易日志自动分析的工作流程;本专利技术设计了交易日志自动分析的整体架构和工作流程,确保方法的可行性,在面对海量交易日志时可高效运行,并对应用系统没有侵入性。

18、2、基于日志案例的配置方式;本专利技术定义了日志案例的数据结构以及可持续优化的日志案例管理流程,不仅提高了方法的易用性和完整性,同时解决了运维人员在业务知识方面的缺陷,让运维人员专注于应用系统的运行状态。

19、3、高效的日志聚合和分析;本专利技术设计了完整的日志聚合和日志分析流程,可以高效的完成大量交易日志的自动化分析任务。在两个流程中设计了多个数据结构,提高了方法的执行效率和健壮性。

本文档来自技高网...

【技术保护点】

1.一种交易日志的自动分析方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,该方法还包括:

3.根据权利要求1所述的方法,其特征在于,该方法还包括:

4.根据权利要求1所述的方法,其特征在于,配置交易日志案例,将所述交易日志案例持久化存储至数据库,包括:

5.根据权利要求4所述的方法,其特征在于,所述案例编号是日志案例的编号,全局唯一,在创建案例时自动生成;

6.根据权利要求1所述的方法,其特征在于,读取所述消息中间件中的日志文本数据,对所述文本数据进行日志聚合处理,得到聚合日志文本数据,包括:

7.根据权利要求6所述的方法,其特征在于,该方法还包括:

8.根据权利要求1所述的方法,其特征在于,根据所述聚合日志文本数据,在所述数据库中查询对应的交易日志案例,根据所述交易日志案例分析聚合日志文本数据,得到交易日志分析结果,包括:

9.根据权利要求8所述的方法,其特征在于,所述文本相似度计算方法采用杰卡德距离计算方法、欧氏距离计算方法、余弦相似度计算方法及语义相似度计算方法在内的一种计算方法或多种计算方法的组合。

10.一种交易日志的自动分析装置,其特征在于,包括:

11.根据权利要求10所述的装置,其特征在于,该装置还包括:后置任务模块;

12.根据权利要求10所述的装置,其特征在于,该装置还包括:统计模块;

13.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9任一所述方法。

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至9任一所述方法。

15.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至9任一所述方法。

...

【技术特征摘要】

1.一种交易日志的自动分析方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,该方法还包括:

3.根据权利要求1所述的方法,其特征在于,该方法还包括:

4.根据权利要求1所述的方法,其特征在于,配置交易日志案例,将所述交易日志案例持久化存储至数据库,包括:

5.根据权利要求4所述的方法,其特征在于,所述案例编号是日志案例的编号,全局唯一,在创建案例时自动生成;

6.根据权利要求1所述的方法,其特征在于,读取所述消息中间件中的日志文本数据,对所述文本数据进行日志聚合处理,得到聚合日志文本数据,包括:

7.根据权利要求6所述的方法,其特征在于,该方法还包括:

8.根据权利要求1所述的方法,其特征在于,根据所述聚合日志文本数据,在所述数据库中查询对应的交易日志案例,根据所述交易日志案例分析聚合日志文本数据,得到交易日志分析结果,包括:

9.根据权利要求8所述的...

【专利技术属性】
技术研发人员:丁珊珊王安
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1