【技术实现步骤摘要】
本申请涉及大数据与金融科技领域，尤其涉及日志处理方法、装置、计算机设备及存储介质。
技术介绍
1、慢sql(structuredquerylanguage，结构化查询语言)日志，是用来记录在数据库中执行时间超过指定时间的sql语句。通过慢sql日志，可以查找出哪些慢sql语句的执行效率低，以便进行优化。
2、目前，越来越多的金融科技公司，例如保险公司、银行等使用开源数据库来替换oracle数据库，而为了适配己方业务，提高数据库的运行效率，需要在业务中对数据库中的慢sql日志进行统计分析。现有的金融科技公司采用的对于慢sql日志的统计分析方式，是通过mysql自带的统计工具mysqldumpslow来进行人工执行命令分析，不能实现自动及时发现和自动统计符合自定义指标的慢sql日志，且人工分析需要消耗大量的时间，导致慢sql日志的分析效率低下。
技术实现思路
1、本申请实施例的目的在于提出一种日志处理方法、装置、计算机设备及存储介质，以解决现有的金融科技公司采用的对于慢sql日志的统计分析方式是通过mysql自带的统计工具mysqldumpslow来进行人工执行命令分析，不能实现自动及时发现和自动统计符合自定义指标的慢sql日志，且人工分析需要消耗大量的时间，导致慢sql日志的分析效率低下的技术问题。
2、为了解决上述技术问题，本申请实施例提供一种日志处理方法，采用了如下所述的技术方案：
3、从预设的日志服务器中拉取慢sql日志，并将所述慢sql日志
4、获取预输入的与所述慢sql日志对应的指标配置信息；
5、基于预设的规则编辑程序生成与所述指标配置信息对应的目标指标；
6、调用预设的慢日志分析工具；
7、将所述目标指标解析为满足所述慢日志分析工具的语法的命令脚本；
8、通过所述慢日志分析工具执行所述命令脚本，以对所述本地文件系统中的所述慢sql日志进行分析统计处理，生成符合所述目标指标的目标慢sql日志。
9、进一步的，所述从预设的日志服务器中拉取慢sql日志，并将所述慢sql日志写入本地文件系统的步骤，具体包括：
10、调用预设的日志加载程序；
11、获取所述日志服务器的服务地址；
12、基于所述服务地址，使用所述日志加载程序从所述日志服务器中拉取所述慢sql日志；
13、将所述慢sql日志写入所述本地文件系统。
14、进一步的，所述将所述慢sql日志写入所述本地文件系统的步骤，具体包括：
15、对所述慢sql日志进行去重处理，得到对应的第一慢sql日志；
16、基于预设的目标sql日志格式对所述第一慢sql日志进行格式转化处理，得到对应的第二慢sql日志；
17、基于所述服务地址，将所述第二慢sql日志写入所述本地文件系统。
18、进一步的，所述将所述慢sql日志写入所述本地文件系统的步骤，具体包括：
19、对所述慢sql日志进行去重处理，得到对应的第一慢sql日志；
20、基于预设的目标sql日志格式对所述第一慢sql日志进行格式转化处理，得到对应的第二慢sql日志；
21、基于所述服务地址，将所述第二慢sql日志写入所述本地文件系统。
22、进一步的，所述将所述目标指标解析为满足所述慢日志分析工具的语法的命令脚本的步骤，具体包括：
23、调用预设的规则解析程序；
24、通过所述规则解析程序，将所述目标指标解析为满足所述日志分析工具的语法的可执行shell脚本；
25、将所述可执行shell脚本作为所述命令脚本。
26、进一步的，所述通过所述慢日志分析工具执行所述命令脚本，以对所述本地文件系统中的所述慢sql日志进行分析统计处理，生成符合所述目标指标的目标慢sql日志的步骤，具体包括：
27、获取预设的定时处理机制；
28、获取当前时间；
29、在所述当前时间符合所述定时处理机制时，通过所述慢日志分析工具执行所述命令脚本，以对所述本地文件系统中的所述慢sql日志进行分析统计处理，生成符合所述目标指标的目标慢sql日志。
30、进一步的，在所述通过所述慢日志分析工具执行所述命令脚本，以对所述本地文件系统中的所述慢sql日志进行分析统计处理，生成符合所述目标指标的目标慢sql日志的步骤之后，还包括：
31、确定与所述目标慢sql日志对应的目标可视化工具；
32、使用所述目标可视化工具对所述目标慢sql日志进行展示处理。
33、进一步的，在所述通过所述慢日志分析工具执行所述命令脚本，以对所述本地文件系统中的所述慢sql日志进行分析统计处理，生成符合所述目标指标的目标慢sql日志的步骤之后，还包括：
34、获取目标用户的通讯方式；
35、基于所述目标慢sql日志生成对应的告警日志信息；
36、基于所述通讯方式，将所述告警日志信息发送给所述目标用户。
37、为了解决上述技术问题，本申请实施例还提供一种日志处理装置，采用了如下所述的技术方案：
38、拉取模块，用于从预设的日志服务器中拉取慢sql日志，并将所述慢sql日志写入本地文件系统；
39、第一获取模块，用于获取预输入的与所述慢sql日志对应的指标配置信息；
40、第一生成模块，用于基于预设的规则编辑程序生成与所述指标配置信息对应的目标指标；
41、调用模块，用于调用预设的慢日志分析工具；
42、解析模块，用于将所述目标指标解析为满足所述慢日志分析工具的语法的命令脚本；
43、处理模块，用于通过所述慢日志分析工具执行所述命令脚本，以对所述本地文件系统中的所述慢sql日志进行分析统计处理，生成符合所述目标指标的目标慢sql日志。
44、为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
45、从预设的日志服务器中拉取慢sql日志，并将所述慢sql日志写入本地文件系统；
46、获取预输入的与所述慢sql日志对应的指标配置信息；
47、基于预设的规则编辑程序生成与所述指标配置信息对应的目标指标；
48、调用预设的慢日志分析工具；
49、将所述目标指标解析为满足所述慢日志分析工具的语法的命令脚本；
50、通过所述慢日志分析工具执行所述命令脚本，以对所述本地文件系统中的所述慢sql日志进行分析统计处理，生成符合所述目标指标的目标慢sql日志。
51、为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
52、从预设的日志服务器中拉取慢sql日志，并将所述慢sql日志写入本地本文档来自技高网...
【技术保护点】
1.一种日志处理方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的日志处理方法，其特征在于，所述从预设的日志服务器中拉取慢SQL日志，并将所述慢SQL日志写入本地文件系统的步骤，具体包括：
3.根据权利要求2所述的日志处理方法，其特征在于，所述将所述慢SQL日志写入所述本地文件系统的步骤，具体包括：
4.根据权利要求1所述的日志处理方法，其特征在于，所述将所述目标指标解析为满足所述慢日志分析工具的语法的命令脚本的步骤，具体包括：
5.根据权利要求1所述的日志处理方法，其特征在于，所述通过所述慢日志分析工具执行所述命令脚本，以对所述本地文件系统中的所述慢SQL日志进行分析统计处理，生成符合所述目标指标的目标慢SQL日志的步骤，具体包括：
6.根据权利要求1所述的日志处理方法，其特征在于，在所述通过所述慢日志分析工具执行所述命令脚本，以对所述本地文件系统中的所述慢SQL日志进行分析统计处理，生成符合所述目标指标的目标慢SQL日志的步骤之后，还包括：
7.根据权利要求1所述的日志处理方法，其特征在于，在所述
8.一种日志处理装置，其特征在于，包括：
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的日志处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的日志处理方法的步骤。
...【技术特征摘要】
1.一种日志处理方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的日志处理方法，其特征在于，所述从预设的日志服务器中拉取慢sql日志，并将所述慢sql日志写入本地文件系统的步骤，具体包括：
3.根据权利要求2所述的日志处理方法，其特征在于，所述将所述慢sql日志写入所述本地文件系统的步骤，具体包括：
4.根据权利要求1所述的日志处理方法，其特征在于，所述将所述目标指标解析为满足所述慢日志分析工具的语法的命令脚本的步骤，具体包括：
5.根据权利要求1所述的日志处理方法，其特征在于，所述通过所述慢日志分析工具执行所述命令脚本，以对所述本地文件系统中的所述慢sql日志进行分析统计处理，生成符合所述目标指标的目标慢sql日志的步骤，具体包括：
6.根据权利要求1所述的日志处理方法，其特征在于，在所述通过所述慢日志分...
【专利技术属性】
技术研发人员：严伟睿，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。