日志的分析处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及人工智能技术，提出一种日志的分析处理方法、装置、计算机设备和存储介质，该方法包括：对所有待分析的日志进行分类；对同一类别的日志进行数量统计，得到对应的日志数量；根据日志数量，对所有类别所对应的日志占比进行排序；将降序排序结果中位于第一预设名次之前的多个类别作为目标类别，或，将升序排序结果中位于第二预设名次之后的多个类别作为目标类别，将属于目标类别的日志确定为无用日志。本申请实现了无用日志的自动筛选，提高日志分析筛选的效率和准确性。日志分析筛选的效率和准确性。日志分析筛选的效率和准确性。

【技术实现步骤摘要】
日志的分析处理方法、装置、计算机设备和存储介质


[0001]本申请涉及人工智能
，尤其涉及一种日志的分析处理方法、装置、计算机设备和存储介质。

技术介绍

[0002]一般一个系统会经历迭代开发，为了便于系统的开发和调试，各个系统开发人员在系统的迭代开发过程中各自增加了系统运行日志。系统在运行时会产生大量的运行日志，经过多年的积累，这些日志不仅占用了大量的磁盘空间，而且还耗费宝贵的CPU资源和IO资源，增加了系统负担和运维成本。除此之外，在排查生产问题时，开发人员会看到大量不相关的无用日志，从而增加了问题的定位难度，延长问题解决的时间，给现场作业人员带来不好的使用体验。因此，迫切需要寻找并清理其中的无用日志。
[0003]现有技术中，开发人员只是凭借经验粗略评估无用日志。这种方法不仅效率低下，而且需要极大的人力投入。业内一般使用ELK进行日志的存储、查询和聚合。这种方案在日志的快速查询和统计方面应用广泛，但是难以实现无用日志的筛选，且该方案需要搭建ElasticSearch、LogStash、Kibana这些中间件支持，一定程度上也本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志的分析处理方法，其特征在于，所述方法包括：对所有待分析的日志进行分类；对同一类别的日志进行数量统计，得到对应的日志数量；根据所述日志数量，对所有类别所对应的日志占比进行排序；将降序排序结果中位于第一预设名次之前的多个类别作为目标类别，或，将升序排序结果中位于第二预设名次之后的多个类别作为目标类别，将属于所述目标类别的日志确定为无用日志。2.根据权利要求1所述的方法，其特征在于，所述对所有待分析的日志进行分类，包括：提取出每条待分析的日志的关键特征；对所述关键特征进行分词后编码，得到每条日志对应的向量表示；分别在分类数量为不同分类取值时、对所述向量表示进行聚类，得到每个分类取值所对应的至少一轮聚类中每轮聚类的分类结果；从同一个分类取值的所有轮聚类的分类结果中确定最佳分类结果；计算每个最佳分类结果对应的聚类效果值；将最大聚类效果值所对应的最佳分类结果作为所述待分析的日志的目标分类结果。3.根据权利要求2所述的方法，其特征在于，所述分别在分类数量为不同分类取值时、对所述向量表示进行聚类，得到每个分类取值所对应的至少一轮聚类中每轮聚类的分类结果，包括：根据所有向量表示，确定第一数量的第一目标向量表示作为当前轮聚类的不同分类中心，其中，所述第一数量为当前轮聚类中分类数量的分类取值，所述第一目标向量表示位于所述向量表示所组成的向量空间之中，每个所述分类中心被标记为不同类别；计算当前轮聚类中、同一个向量表示与每个所述分类中心之间的欧几里得距离；确定同一个向量表示所对应的所有欧几里得距离中的最小欧几里得距离，将所述向量表示与所述最小欧几里得距离所对应的分类中心聚类为同一类别；将同一个类别的向量表示组成对应的向量集合，将所有向量集合作为所述当前轮聚类的分类结果；计算同一个向量集合所包含的向量表示的平均值得到平均向量表示，将所述平均向量表示作为下一轮聚类的分类中心，其中，所述平均向量表示与对应向量集合的类别相同；将所述下一轮聚类作为当前轮聚类，循环执行步骤计算当前轮聚类中、同一个向量表示与每个所述分类中心之间的欧几里得距离及后续步骤，直到所述分类数量的分类取值为所述第一数量时的聚类达到收敛。4.根据权利要求3所述的方法，其特征在于，所述从同一个分类取值的所有轮聚类的分类结果中确定最佳分类结果，包括：根据所述向量集合，对同一轮聚类中所有向量表示到对应分类中心的距离相加，得到对应聚类轮次的距离之和；将同一个分...

【专利技术属性】
技术研发人员：聂志，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：