一种基于日志的运维监控方法技术

本发明专利技术公开了一种基于日志的运维监控方法，涉及数据处理技术领域，包括根据待监控目标任务确定初始关键词；根据初始关键词确定初始关键词的属性值，根据初始关键词的属性值对初始关键词进行拓展建立关键词列表；基于关键词列表按照预设组合方式对关键词进行组合，根据组合后的关键词进行试检索，建立关键词之间的关联关系；根据关键词之间的关联关系确定检索所需资源耗费理论值；基于系统运行指标建立动态日志收集规则；基于检索所需资源耗费理论值、关键词之间的关联关系以及动态日志收集规则收集日志；进行日志分析，并根据分析结果判断系统运维情况。提高了日志收集的准确性以及适应性，保证了收集日志过程中对日志进行初步筛选。筛选。筛选。

【技术实现步骤摘要】
一种基于日志的运维监控方法


[0001]本申请涉及数据处理
，更具体地，涉及一种基于日志的运维监控方法。

技术介绍

[0002]随着业务的快速发展，系统架构越来越复杂，对于系统的运维监控也变得越来越重要。在这个背景下，业务中台逐渐成为企业实现业务数字化、智能化、平台化的重要手段之一。而基于日志的运维监控则是业务中台实现运维监控的重要技术之一。基于日志的运维监控，即通过分析系统日志，实现对系统运行状态的监控和分析，以便及时发现问题并采取相应的措施。
[0003]在分析日志之前，需要先收集所需的日志，从而完成初步筛选，减少日志分析的工作量，现有技术中，往往不能准确且适应性的收集日志，提高初步筛选的效率，均是采用单独的关键字筛选或日志级别、来源等方式进行收集，收集的日志数据量较大，冗余性较高，从而给后续日志分析造成了极大困扰。
[0004]因此，如何提高日志收集的准确性和适应性，是目前有待解决的技术问题。

技术实现思路

[0005]本专利技术提供一种基于日志的运维监控方法，用以解决现有技术中日志收集准确性差、适应性低的技术问题。所述方法包括：获取待监控目标任务，根据待监控目标任务确定初始关键词；根据初始关键词确定初始关键词的属性值，根据初始关键词的属性值对初始关键词进行拓展，从而建立关键词列表；基于关键词列表按照预设组合方式对关键词进行组合，根据组合后的关键词进行试检索，基于试检索的结果建立关键词之间的关联关系；根据关键词之间的关联关系确定检索所需资源耗费理论值；获取系统运行指标，基于系统运行指标建立动态日志收集规则；基于检索所需资源耗费理论值、关键词之间的关联关系以及动态日志收集规则收集日志；将收集来的日志进行日志分析，并根据分析结果判断系统运维情况。
[0006]本申请一些实施例中，根据待监控目标任务确定初始关键词，包括：待监控目标任务包括业务需求、涉及的日志类型、历史问题和经验总结；根据业务需求、涉及的日志类型、历史问题和经验总结得到分别对应的第一关键词集合、第二关键词集合、第三关键词集合以及第四关键词集合；若第一关键词集合、第二关键词集合、第三关键词集合以及第四关键词集合存在共同交集，则将共同交集中的关键词作为初始关键词；若第一关键词集合、第二关键词集合、第三关键词集合以及第四关键词集合不存在共同交集，则依次判断三者交集和二者交集，分别记作第一交集和第二交集，获取业务需
求、涉及的日志类型、历史问题和经验总结分别对应的影响权重，并确定第一交集和第二交集的权重，若存在三者交集，且存在第一交集的权重与剩余集合的权重之差超过第一权重差的第一交集，则将该第一交集中的关键词作为初始关键词，其中，第一权重差是第一交集的权重平均值；若不存在三者交集，或第一交集的权重与剩余集合的权重之差不超过第一权重差，则根据第二交集的权重与剩余集合的权重之差确定初始关键词，若第二交集的权重大于剩余集合的权重，且存在第二交集的权重与剩余集合的权重之差超过第二权重差的第二交集，则将该第二交集中的关键词作为初始关键词，其中，第二权重差是剩余集合的权重的，根据第二交集涉及的权重较大的关键词集合对应权重与剩余集合中权重较大的关键词集合对应的权重之差确定k值；其中，剩余集合是指不涉及交集关系的单个关键词集合或两个关键词集合，第二交集涉及的权重较大的关键词集合是指第二交集涉及的关键词集合中权重最大的关键词集合，剩余集合中权重较大的关键词集合是指剩余集合中权重最大的关键词集合，为权重的平均占比，k为权重的平均常数。
[0007]本申请一些实施例中，根据待监控目标任务确定初始关键词，还包括：若第二交集的权重大于剩余集合的权重，且存在第二交集的权重与剩余集合的权重之差超过第二权重差的第二交集的数量为多个，则将对应的多个第二交集所形成的并集记为第一并集，根据第一并集和多个第二交集确定每个第二交集的占比，将第二交集占比中最大占比的第二交集和最小占比的第二交集所形成的并集记为第二并集，将第二并集中的关键词作为初始关键词。
[0008]本申请一些实施例中，根据初始关键词确定初始关键词的属性值，根据初始关键词的属性值对初始关键词进行拓展，从而建立关键词列表，包括：初始关键词的属性值包括词性值和逻辑值；根据初始关键词和预设属性值表确定初始关键词的属性值，其中，属性值表中每个初始关键词对应有一个词性值和一个逻辑值；根据词性值在词库中选择与初始关键词相对应的若干个关键词作为第一关键词，根据逻辑值在词库中选择与初始关键词相对应的若干个关键词作为第二关键词，将第一关键词和第二关键词进行词性的划分，得到多种关键词类别，根据多种关键词类别建立关键词列表。
[0009]本申请一些实施例中，基于关键词列表按照预设组合方式对关键词进行组合，根据组合后的关键词进行试检索，基于试检索的结果建立关键词之间的关联关系，包括：多种关键词类别包括近义词、相关词和反义词；定义关键词与近义词之间通过or连接，此为第一连接，定义关键词与相关词之间通过and连接，此为第二连接，定义关键词与反义词之间通过not连接，此为第三连接，根据第一连接、第二连接和第三连接进行所有存在的组合连接，得到关键词的所有组合可能性；获取系统运行历史数据，根据系统运行历史数据建立虚拟环境，在虚拟环境中进行关键词的所有组合可能性的试检索，若试检索的结果不为无，则将该关键词的组合可能性进行保留，并对关键词之间的连接关系进行关联标记；
若试检索的结果为无，则将该关键词的组合可能性进行去除。
[0010]本申请一些实施例中，获取系统运行指标，基于系统运行指标建立动态日志收集规则，包括：获取当前之前一段时间内的系统运行指标，系统运行指标包括负载指标、运行指标和异常指标，根据负载指标、运行指标和异常指标建立对应的日志收集规则数组；根据负载指标建立第一日志收集规则数组（a1，a2），其中，a1为负载指标，a2为日志收集频率；根据运行指标建立第二日志收集规则数组（b1，b2），其中，b1为运行指标，b2为日志收集规则数量；根据异常指标建立第三日志收集规则数组（c1，c2），其中，c1为异常指标，c2为日志收集范围；第一日志收集规则数组（a1，a2）的动态日志收集规则：；其中，a10为当前负载指标，a11、a12均为预设负载指标值，a13为此段时间内负载指标变化量，a20是初始日志收集频率，exp是指数函数，k1、k2均是补偿常数；第二日志收集规则数组（b1，b2）的动态日志收集规则：；其中，b10是当前运行指标，b11、b12是预设运行指标值，b20是初始日志收集规则数量，、2为转换系数，maxb为b11
‑
b10和b13中较大者，minb为b12
‑
b10和b13中较小者，b13为此段时间内运行指标变化量；第三日志收集规则数组（c1，c2）的动态日志收集规则：；其中，c10为当前异常指标，c11、c12均为预设异常指标值，c20是初始日志收集范围，l1为c11
‑
c10和c13所对应的修正因子，l2为c12
‑
c10和c1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于日志的运维监控方法，其特征在于，所述方法包括：获取待监控目标任务，根据待监控目标任务确定初始关键词；根据初始关键词确定初始关键词的属性值，根据初始关键词的属性值对初始关键词进行拓展，从而建立关键词列表；基于关键词列表按照预设组合方式对关键词进行组合，根据组合后的关键词进行试检索，基于试检索的结果建立关键词之间的关联关系；根据关键词之间的关联关系确定检索所需资源耗费理论值；获取系统运行指标，基于系统运行指标建立动态日志收集规则；基于检索所需资源耗费理论值、关键词之间的关联关系以及动态日志收集规则收集日志；将收集来的日志进行日志分析，并根据分析结果判断系统运维情况。2.如权利要求1所述的一种基于日志的运维监控方法，其特征在于，根据待监控目标任务确定初始关键词，包括：待监控目标任务包括业务需求、涉及的日志类型、历史问题和经验总结；根据业务需求、涉及的日志类型、历史问题和经验总结得到分别对应的第一关键词集合、第二关键词集合、第三关键词集合以及第四关键词集合；若第一关键词集合、第二关键词集合、第三关键词集合以及第四关键词集合存在共同交集，则将共同交集中的关键词作为初始关键词；若第一关键词集合、第二关键词集合、第三关键词集合以及第四关键词集合不存在共同交集，则依次判断三者交集和二者交集，分别记作第一交集和第二交集，获取业务需求、涉及的日志类型、历史问题和经验总结分别对应的影响权重，并确定第一交集和第二交集的权重，若存在三者交集，且存在第一交集的权重与剩余集合的权重之差超过第一权重差的第一交集，则将该第一交集中的关键词作为初始关键词，其中，第一权重差是第一交集的权重平均值；若不存在三者交集，或第一交集的权重与剩余集合的权重之差不超过第一权重差，则根据第二交集的权重与剩余集合的权重之差确定初始关键词，若第二交集的权重大于剩余集合的权重，且存在第二交集的权重与剩余集合的权重之差超过第二权重差的第二交集，则将该第二交集中的关键词作为初始关键词，其中，第二权重差是剩余集合的权重的，根据第二交集涉及的权重较大的关键词集合对应权重与剩余集合中权重较大的关键词集合对应的权重之差确定k值；其中，剩余集合是指不涉及交集关系的关键词集合，第二交集涉及的权重较大的关键词集合是指第二交集涉及的关键词集合中权重最大的关键词集合，剩余集合中权重较大的关键词集合是指剩余集合中权重最大的关键词集合，为权重的平均占比，k为权重的平均常数。3.如权利要求2所述的一种基于日志的运维监控方法，其特征在于，根据待监控目标任务确定初始关键词，还包括：若第二交集的权重大于剩余集合的权重，且存在第二交集的权重与剩余集合的权重之
差超过第二权重差的第二交集的数量为多个，则将对应的多个第二交集所形成的并集记为第一并集，根据第一并集和多个第二交集确定每个第二交集的占比，将第二交集占比中最大占比的第二交集和最小占比的第二交集所形成的并集记为第二并集，将第二并集中的关键词作为初始关键词。4.如权利要求1所述的一种基于日志的运维监控方法，其特征在于，根据初始关键词确定初始关键词的属性值，根据初始关键词的属性值对初始关键词进行拓展，从而建立关键词列表，包括：初始关键词的属性值包括词性值和逻辑值；根据初始关键词和预设属性值表确定初始关键词的属性值，其中，属性值表中每个初始关键词对应有一个词性值和一个逻辑值；根据词性值在词库中选择与初始关键词相对应的若干个关键词作为第一关键词，根据逻辑值在词库中选择与初始关键词相对应的若干个关键词作为第二关键词，将第一关键词和第二关键词进行词性的划分，得到多种关键词类别，根据多种关键词类别建立关键词列表。5.如权利要求4所述的一种基于日志的运维监控方法，其特征在于，基于关键词列表按照预设组合方式对关键词进行组合，根据组合后的关键词进行试检索，基于试检索的结果建立关键词之间的关联关系，包括：多种关键词类别包括近义词、相关词和反义词；定义关键词与近义词之间通过or连接，此为第一连接，定义关键词与相关词之间通过and连接，此为第二连接，定义关键词与反义词之间通过not连接，此为第三连接，根据第一连接、第二连接和第三连接进行所有存在的组合连接，得到关键词的所有组合可能性；获取系统运行历史数据，根据系统运行历史数据建立虚拟环境，在虚...

【专利技术属性】
技术研发人员：戴小佳，谭若男，麻明宁，仲俊光，咸彬，张雯惠，范振兴，宗宇，于亮，许铭芮，张先登，王跃飞，郜文乔，冯璐，赵洋，
申请(专利权)人：华能烟台八角热电有限公司华能山东发电有限公司，
类型：发明
国别省市：