日志管理方法、日志管理装置、处理器和日志平台制造方法及图纸

本申请提供了一种日志管理方法、日志管理装置、处理器和日志平台，该方法包括：实时获取应用服务器的日志文件并日志文件进行分类，得到多种日志文件类型的日志文件；将多种日志文件类型的日志文件传输至消息队列，消息队列包括多个topic，一个topic用于分发一个日志文件类型的所有的日志文件；通过消息队列将日志文件分发至Flink集群进行解析，得到日志解析文件，Flink集群包括多个Flink作业模块，Flink作业模块用于一一对应地订阅topic并对订阅的topic的日志文件进行解析；将日志解析文件存入数据库并建立对应的索引，索引用于查询对应的日志解析文件，解决了现有技术中日志数据量庞大导致处理效率低的问题。庞大导致处理效率低的问题。庞大导致处理效率低的问题。

【技术实现步骤摘要】
日志管理方法、日志管理装置、处理器和日志平台


[0001]本申请涉及运营管控领域，具体而言，涉及一种日志管理方法、日志管理装置、计算机可读存储介质、处理器和日志平台。

技术介绍

[0002]按照银行新核心建设整体思路，新一代核心业务系统基于分布式、微服务架构，采用支持云化的技术框架和x86服务器的架构，相比于传统架构运维管理的对象更多更细，运维复杂度大幅提高，依靠传统的手工运维方式已经无法满足运维的需求，亟需建设适应于新核心系统特点的统一运维管控平台，实现应用发布、系统变更、灾备切换、批量调度、日常运维、应急处置、软件安装等方面的自动化、一体化、智能化，减少运维人员与生产系统的直接访问，提高日常运维工作效率。同时与银行现有的流程管理相结合，实现自动化的运维管理手段，提升运维效率，降低运维风险。
[0003]随着新核心运维管控平台的推进建设，在解决分布式大数据搜索、日志挖掘和可视化的过程中，需要考虑基于管控平台实现一套完整适用于银行的从Agent端采集、传输、加工处理到存储并提供展示的一套完整的新核心系统的日志文件智能分析与处理的解决方案本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志管理方法，其特征在于，包括：实时获取应用服务器的日志文件并所述日志文件进行分类，得到多种日志文件类型的所述日志文件；将多种所述日志文件类型的所述日志文件传输至消息队列，所述消息队列包括多个topic，一个所述topic用于分发一个所述日志文件类型的所有的日志文件；通过所述消息队列将所述日志文件分发至Flink集群进行解析，得到日志解析文件，所述Flink集群包括多个Flink作业模块，所述Flink作业模块用于一一对应地订阅所述topic并对订阅的所述topic的所述日志文件进行解析；将所述日志解析文件存入数据库并建立对应的索引，所述索引用于查询对应的所述日志解析文件。2.根据权利要求1所述的方法，其特征在于，实时获取应用服务器的日志文件并所述日志文件进行分类，得到多种日志文件类型的所述日志文件，包括：根据所述日志文件类型建立采集模板，所述采集模板与所述日志文件类型一一对应；将采集所述应用服务器的日志数据填入各所述采集模板，得到多种所述日志文件类型的所述日志文件。3.根据权利要求1所述的方法，其特征在于，将所述日志解析文件存入数据库并建立对应的索引，包括：将所述日志解析文件存入ES集群的固态硬盘并建立对应的所述索引。4.根据权利要求3所述的方法，其特征在于在，在将所述日志解析文件存入ES集群的固态硬盘并建立对应的所述索引之后，所述方法还包括：在所述日志解析文件的存储时间小于或者等于第一预定时间的情况下，保留所述日志解析文件对应的所述索引的查询功能；在所述日志解析文件的存储时间大于所述第一预定时间且小于第二预定时间的情况下，关闭所述日志解析文件对应的所述索引的查询功能；在所述日志解析文件的存储时间大于或者等于所述第二预定时间的情况下，将所述日志解析文件移动至HDFS并删除所述日志解析文件对应的所述索引。5.根据权利要求1所述的方法，其特征在于，将所述日志解析文件存入数据库并建立对应的索引，包括：将所述日志解析文件按照查询需求建立多种查询模式，所述查询需求包括按照应用类型查询、按照系统查询和按照业务类型查询；将所述日志解析文件存入所述查询模式对应的存储结构并建立所述日志解析文对应的所述索引，所述存储结构包括分库和分表，所述分库和所述分表用于存储所述日志解析...

【专利技术属性】
技术研发人员：赵蒙，刘义，刘伟，何佳佳，孙峰，李航，陈昊，
申请(专利权)人：中国邮政储蓄银行股份有限公司，
类型：发明
国别省市：