一种日志管理方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种日志管理方法、装置、设备和存储介质，其中该方法包括：获取日志分析请求，日志分析请求中包括日志查询数据；根据日志查询数据确定对应的目标数据库；基于目标数据库对日志查询数据进行分析，得到日志分析结果；通过预设的操作框架和日志分析结果，执行目标操作。本发明专利技术实施例提供的技术方案，针对不同的日志分析请求可以查询到匹配的目标数据库，并基于日志分析结果和预设的操作框架可以实现对应的操作，实现对大规模日志数据的统一管理，相较于现有技术，不用在每个系统中均设置日志管理机制，提高了日志处理效率。

A log management method, device, device and storage medium

【技术实现步骤摘要】
一种日志管理方法、装置、设备和存储介质
本专利技术实施例涉及日志处理
，尤其涉及一种日志管理方法、装置、设备和存储介质。
技术介绍
目前在拥有大规模服务器的数据中心中，操作系统和应用会生成大量的日志数据，对日志采集和分析是软件项目中必不可少的一部分。日志中包含了海量的信息，除了在系统发生故障时能够在日志上回溯故障场景，查找故障原因，还可以从用户访问日志中发现用户在页面上的点击习惯，为客户提供更好的产品推荐，也可以针对一些恶意攻击的登录规律进行日志分析，找出恶意攻击用户。但是在传统的数据中心工作职责中，数据中心只负责服务器的日常维护，日志采集和分析作为一个业务功能数据中心并不介入。在这种前提下，每个系统或应用均需要架构一套管理机制来处理自己的日志，但是这种方式将导致如下问题：每个系统或应用的开发能力和重视程度不同，可能存在设计或管理上的遗漏与不规范之处，并且由每个系统或应用自己构建日志管理机制，无论是在服务器资源还是人力资源上都存在着严重的重复建设和浪费之处。
技术实现思路
本专利技术实施例提供一种日志管理方法、装置、设备和存储介质，以优化日志管理方案，实现对大规模日志数据的管理，提高效率。第一方面，本专利技术实施例提供了一种日志管理方法，包括：获取日志分析请求，所述日志分析请求中包括日志查询数据；根据所述日志查询数据确定对应的目标数据库；基于所述目标数据库对所述日志查询数据进行分析，得到日志分析结果；通过预设的操作框架和所述日志分析结果，执行目标操作。第二方面，本专利技术实施例还提供了一种日志管理装置，包括：分析请求模块，用于获取日志分析请求，所述日志分析请求中包括日志查询数据；数据库确定模块，用于根据所述日志查询数据确定对应的目标数据库；日志分析模块，用于基于所述目标数据库对所述日志查询数据进行分析，得到日志分析结果；操作执行模块，用于通过预设的操作框架和所述日志分析结果，执行目标操作。进一步的，所述分析请求模块具体用于：基于预设的日志分析框架，获取用户输入的日志分析请求，其中所述日志分析框架包括数据库通用接口。进一步的，所述数据库确定模块包括：初始数据库单元，确定存储有所述日志查询数据的初始数据库，所述初始数据库的数量为至少两个；评分单元，用于基于预设的数据库评分规则对所述初始数据库进行评分，根据评分结果确定所述目标数据库。进一步的，所述评分单元具体用于：基于所述数据库评分规则中的评分项和评分公式，确定每个所述初始数据库的评分；将评分最高的初始数据库确定为所述目标数据库。进一步的，所述日志分析模块具体用于：在所述目标数据库中运行所述日志分析请求的查询语句，以对所述日志查询数据进行分析，得到所述日志分析结果。进一步的，所述操作框架包括至少一个操作插件，所述操作插件的功能由所述操作框架授权。进一步的，所述装置还包括：日志采集模块，用于基于预设的日志配置界面获取日志配置文件，并根据所述日志配置文件采集和解析日志，所述日志配置文件包括采集配置文件和解析配置文件。第三方面，本专利技术实施例还提供了一种设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的日志管理方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的日志管理方法。本专利技术实施例通过获取日志分析请求，日志分析请求中包括日志查询数据，根据日志查询数据确定对应的目标数据库，基于目标数据库对日志查询数据进行分析，得到日志分析结果，并通过预设的操作框架和日志分析结果，执行目标操作。本专利技术实施例提供的技术方案，针对不同的日志分析请求可以查询到匹配的目标数据库，并基于日志分析结果和预设的操作框架可以实现对应的操作，实现对大规模日志数据的统一管理，相较于现有技术，不用在每个系统中均设置日志管理机制，提高了日志处理效率。附图说明图1为本专利技术实施例一中提供的一种日志管理方法的流程图；图2为本专利技术实施例二中提供的一种日志管理方法的流程图；图3为本专利技术实施例二中提供的一种日志管理系统的示意图；图4为本专利技术实施例二中提供的一种采集配置文件生成示意图；图5为本专利技术实施例二中提供的一种解析配置文件生成示意图；图6为本专利技术实施例三中提供的一种日志管理装置的结构示意图；图7为本专利技术实施例四中提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一中提供的一种日志管理方法的流程图，本实施例可适用于对大规模的日志数据进行统一管理的情况，该方法可以由日志管理装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中，例如服务器或终端设备，典型的终端设备包括移动终端，具体包括手机、电脑或平板电脑等。如图1所示，该方法具体可以包括：S110、获取日志分析请求，日志分析请求中包括日志查询数据。其中，日志可以为应用程序为了记录自身运行状态而记录的一系类文本，不同的应用程序可以将日志存储在不同的位置，日志分析请求可以为用于对指定的日志数据进行分析的指令，日志查询数据可以为日志分析请求对应的查询语句涉及到的结构数据，日志查询数据可以包括表、字段和字段类型等数据。具体的，获取日志分析请求，可以包括：基于预设的日志分析框架，获取用户输入的日志分析请求。其中日志分析框架包括数据库通用接口，该数据库通用接口能够支持不同的数据库接入，以供用户分析其中存储的数据。日志分析框架是一个带有可扩展性接口的程序，用户可以基于其接口编写程序，以加入自己的功能并执行，该日志分析框架也可以提供一个日志分析请求的输入界面，该输入界面中可以预先设置不同类型的请求模块，以供用户通过选择操作即可实现请求的输入。示例性的，请求模块可以为定时运行设置模块，该定时运行设置模块可支持用户设置一个应用程序的指定运行间隔或指定运行时间，即设置应用程序每隔多久运行一次或每月/周/天的什么时候运行，如从当前时间开始每1天运行一次或每月的1号的10点0分0秒时运行。基于预设的日志分析框架，获取用户输入的结构化查询语言(StructuredQueryLanguage，SQL)的查询语句，即获取到日志分析请求。S120、根据日志查询数据确定对应的目标数据库。其中，目标数据库可以为执行该分析操作性能最好的执行数据库，由于可能会有多个数据库中存储有上述日志查询数据，因此需要选择其中分析性能较好的数据库进行本文档来自技高网...

【技术保护点】
1.一种日志管理方法，其特征在于，包括：/n获取日志分析请求，所述日志分析请求中包括日志查询数据；/n根据所述日志查询数据确定对应的目标数据库；/n基于所述目标数据库对所述日志查询数据进行分析，得到日志分析结果；/n通过预设的操作框架和所述日志分析结果，执行目标操作。/n

【技术特征摘要】
1.一种日志管理方法，其特征在于，包括：
获取日志分析请求，所述日志分析请求中包括日志查询数据；
根据所述日志查询数据确定对应的目标数据库；
基于所述目标数据库对所述日志查询数据进行分析，得到日志分析结果；
通过预设的操作框架和所述日志分析结果，执行目标操作。


2.根据权利要求1所述的方法，其特征在于，所述获取日志分析请求，包括：
基于预设的日志分析框架，获取用户输入的日志分析请求，其中所述日志分析框架包括数据库通用接口。


3.根据权利要求1所述的方法，其特征在于，根据所述日志查询数据确定对应的目标数据库，包括：
确定存储有所述日志查询数据的初始数据库，所述初始数据库的数量为至少两个；
基于预设的数据库评分规则对所述初始数据库进行评分，根据评分结果确定所述目标数据库。


4.根据权利要求3所述的方法，其特征在于，基于预设的数据库评分规则对所述初始数据库进行评分，根据评分结果确定所述目标数据库，包括：
基于所述数据库评分规则中的评分项和评分公式，确定每个所述初始数据库的评分；
将评分最高的初始数据库确定为所述目标数据库。


5.根据权利要求1所述的方法，其特征在于，基于所述目标数据库对所述日志查询数据进行分析，得到日志分析结果，包括：
在所述目标数据库中运行所述日志分析请...

【专利技术属性】
技术研发人员：林舒杨，唐景峰，苏毓仁，陈铭新，李晓敦，赵世辉，
申请(专利权)人：中国建设银行股份有限公司，建信金融科技有限责任公司，
类型：发明
国别省市：北京;11