面向金融领域分布式系统的日志治理系统及方法技术方案

本发明专利技术提供一种面向金融领域分布式系统的日志治理系统及方法，所述系统包括：日志治理平台、配置中心和至少一个日志治理代理，各日志治理代理与各业务应用成对部署在容器Pod或者虚拟机上，日志治理代理用于通过流量劫持的方式获取各业务应用的日志元数据，并生成业务视角的日志文件，发送日志文件；日志治理平台，用于生成规则配置信息，向配置中心发送规则配置信息，接收并存储日志文件，基于日志文件进行日志治理；配置中心，用于接收规则配置信息，并按照规则配置信息中的应用标识信息，将规则配置信息发送至对应的日志治理代理。本发明专利技术可提高金融机构的日志治理能力。发明专利技术可提高金融机构的日志治理能力。发明专利技术可提高金融机构的日志治理能力。

【技术实现步骤摘要】
面向金融领域分布式系统的日志治理系统及方法


[0001]本专利技术涉及互联网金融
，尤其涉及一种面向金融领域分布式系统的日志治理系统及方法。

技术介绍

[0002]金融相关业务具备信息密集的特点，因而信息技术的进步会催生金融创新，金融业务的关键特性可以概括为记账、获客、流程、分析。伴随着信息技术发展和Web3.0时代的来临，金融机构为了应对系统访问量和数据量急速增长、技术栈日趋复杂、效率和质量要求日益严格、横向扩展出现瓶颈等难题，企业IT架构开始大规模由集中式架构向分布式架构迁移，持续推进组件化、分布式架构的深入应用。
[0003]日志是在特定时刻对应用状态的一种记录，主要用于监控应用状态、排查应用故障、审计用户操作、分析应用使用情况等。日志数据天然具有时序性，数据量大但信息密度较低，并且日志数据来源丰富、内容格式多样。尤其对于业务流程复杂、系统规模庞大、数据信息敏感的金融业务系统，面向日志数据的产生、收集、存储、处理、销毁等日志全生命周期环节的治理工作显得极为重要。
[0004]随着集中式系统架构向分布式系统架构的变迁，日志数据的分布也愈发分散，金融机构在处理IT日志方面面临着相当严峻的挑战：日志生产和日志终态管理方面管理粒度过粗；缺乏对业务决策和技术分析的关键支撑能力；业务流程复杂、应用服务海量、日志格式多样导致日志治理较难；在容器等云原生技术的落地应用，日志数据也被容器化封装起来，日志数据的获取方法由直接变为间接，并且可能随着容器实例的销毁而被清除；日志的实时处理和展示能力不高；日志监控不及时、不准确、变更慢。因此，如何提高现有金融机构的日志治理能力亟待解决。

技术实现思路

[0005]本专利技术提供一种面向金融领域分布式系统的日志治理系统及方法，用以解决现有技术中如何提高现有金融机构的日志治理能力的问题。
[0006]本专利技术提供一种面向金融领域分布式系统的日志治理系统，包括：日志治理平台、配置中心和至少一个日志治理代理，其中，各所述日志治理代理与各业务应用成对部署在容器Pod或者虚拟机上，所述日志治理代理用于通过流量劫持的方式获取所述各业务应用的日志元数据，并基于所述日志元数据，按照所述各业务应用对应的业务流程链路采集规则和日志生成规则，生成业务视角的日志文件，向所述日志治理平台发送所述日志文件；所述日志治理平台，用于生成规则配置信息，向所述配置中心发送所述规则配置信息，接收并存储所述日志治理代理发送的日志文件，基于所述日志文件进行日志治理，其中，所述规则配置信息包括各业务应用对应的业务流程链路采集规则和日志生成规则的配置信息；所述配置中心，用于接收所述日志治理平台发送的所述规则配置信息，并按照所述规则配置信息中的应用标识信息，将所述规则配置信息发送至对应的日志治理代理。
[0007]根据本专利技术提供的一种面向金融领域分布式系统的日志治理系统，所述基于所述日志元数据，按照所述各业务应用对应的业务流程链路采集规则和日志生成规则，生成业务视角的日志文件，包括：将所述日志元数据按照所述各业务应用对应的业务流程链路采集规则进行处理，生成业务流程链路信息；基于所述各业务应用对应的日志生成规则和所述业务流程链路信息生成业务视角的日志文件。
[0008]根据本专利技术提供的一种面向金融领域分布式系统的日志治理系统，所述基于所述各业务应用对应的日志生成规则和所述业务流程链路信息生成业务视角的日志文件，包括：将所述日志元数据按照所述日志生成规则进行处理，得到详细日志记录；基于所述业务流程链路信息，确定各业务流程对应的流程标识信息；将所述流程标识信息埋入所述详细日志记录，生成业务视角的日志文件。
[0009]根据本专利技术提供的一种面向金融领域分布式系统的日志治理系统，所述日志治理代理还用于接收所述规则配置信息，对所述规则配置信息进行解析，得到所述业务流程链路采集规则和日志生成规则，并将所述业务流程链路采集规则和日志生成规则转换为可执行代码。
[0010]根据本专利技术提供的一种面向金融领域分布式系统的日志治理系统，所述向所述日志治理平台发送所述日志文件，包括：获取各所述业务应用的日志全生命周期信息；向所述日志治理平台发送所述日志文件和所述日志全生命周期信息。
[0011]根据本专利技术提供的一种面向金融领域分布式系统的日志治理系统，所述存储所述日志治理代理发送的日志文件，包括：基于所述日志全生命周期信息，在存储所述日志文件的同时，为所述日志文件中的每段日志信息增加所述每段日志信息对应的生命周期信息。
[0012]根据本专利技术提供的一种面向金融领域分布式系统的日志治理系统，采用边车模式部署所述日志治理代理。
[0013]根据本专利技术提供的一种面向金融领域分布式系统的日志治理系统，所述日志治理平台进一步包括：业务定义和流程配置模块，配置管理模块，日志接入存储模块和日志治理模块，其中，所述业务定义和流程配置模块用于供操作人员进行业务流程录制和业务流程定义，将定义的业务流程转换为规则配置信息；所述配置管理模块用于将所述规则配置信息传输到所述配置中心；所述日志接入存储模块用于将接收到的日志文件按照分类规则依次存储；所述日志治理模块用于对存储的日志进行分析、展示及终态销毁。
[0014]根据本专利技术提供的一种面向金融领域分布式系统的日志治理系统，所述日志治理平台还包括：智能模块，用于通过关联分析技术对关联业务数据和流程进行分析，按照对历史数据的学习预测功能问题点和性能瓶颈，为问题排查提供智能辅助，通过对历史日志数据的学习，基于历史业务定义和流程配置，智能化推荐日志生成规则和业务链路采集规则。
[0015]本专利技术还提供一种面向金融领域分布式系统的日志治理方法，基于如上所述的面向金融领域分布式系统的日志治理系统，包括：所述日志治理平台生成规则配置信息，向所述配置中心发送所述规则配置信息；所述配置中心接收所述日志治理平台发送的所述规则配置信息，并按照所述规则配置信息中的应用标识信息，将所述规则配置信息发送至对应的日志治理代理；所述日志治理代理接收所述规则配置信息，对所述规则配置信息进行解析，得到所述业务流程链路采集规则和日志生成规则；在目标业务应用正常运行后，所述日志治理代理通过流量劫持的方式获取所述目标业务应用的日志元数据，并基于所述日志元
数据，按照所述目标业务应用对应的业务流程链路采集规则和日志生成规则，生成业务视角的日志文件，向所述日志治理平台发送所述日志文件；所述日志治理平台接收并存储所述日志治理代理发送的日志文件，基于所述日志文件进行日志治理。
[0016]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的面向金融领域分布式系统的日志治理方法。
[0017]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的面向金融领域分布式系统的日志治理方法。
[0018]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向金融领域分布式系统的日志治理系统，其特征在于，包括：日志治理平台、配置中心和至少一个日志治理代理，其中，各所述日志治理代理与各业务应用成对部署在容器Pod或者虚拟机上，所述日志治理代理用于通过流量劫持的方式获取所述各业务应用的日志元数据，并基于所述日志元数据，按照所述各业务应用对应的业务流程链路采集规则和日志生成规则，生成业务视角的日志文件，向所述日志治理平台发送所述日志文件；所述日志治理平台，用于生成规则配置信息，向所述配置中心发送所述规则配置信息，接收并存储所述日志治理代理发送的日志文件，基于所述日志文件进行日志治理，其中，所述规则配置信息包括各业务应用对应的业务流程链路采集规则和日志生成规则的配置信息；所述配置中心，用于接收所述日志治理平台发送的所述规则配置信息，并按照所述规则配置信息中的应用标识信息，将所述规则配置信息发送至对应的日志治理代理。2.根据权利要求1所述的面向金融领域分布式系统的日志治理系统，其特征在于，所述基于所述日志元数据，按照所述各业务应用对应的业务流程链路采集规则和日志生成规则，生成业务视角的日志文件，包括：将所述日志元数据按照所述各业务应用对应的业务流程链路采集规则进行处理，生成业务流程链路信息；基于所述各业务应用对应的日志生成规则和所述业务流程链路信息生成业务视角的日志文件。3.根据权利要求2所述的面向金融领域分布式系统的日志治理系统，其特征在于，所述基于所述各业务应用对应的日志生成规则和所述业务流程链路信息生成业务视角的日志文件，包括：将所述日志元数据按照所述日志生成规则进行处理，得到详细日志记录；基于所述业务流程链路信息，确定各业务流程对应的流程标识信息；将所述流程标识信息埋入所述详细日志记录，生成业务视角的日志文件。4.根据权利要求1所述的面向金融领域分布式系统的日志治理系统，其特征在于，所述日志治理代理还用于接收所述规则配置信息，对所述规则配置信息进行解析，得到所述业务流程链路采集规则和日志生成规则，并将所述业务流程链路采集规则和日志生成规则转换为可执行代码。5.根据权利要求1所述的面向金融领域分布式系统的日志治理系统，其特征在于，所述向所述日志治理平台发送所述日志文件，包括：获取各所述业务应用的日志全生命周期信息；向所述日志治理平台发送所述日志文件和所述日志全生命周期信息。6.根据权利要求5所的面向金融...

【专利技术属性】
技术研发人员：吉文艳，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：