一种基于分布式软件系统的日志文件处理方法、装置制造方法及图纸

本申请公开了一种基于分布式软件系统的日志文件处理方法、装置，包括：获取每个服务器当前输出的日志文件，得到日志文件列表；利用预设的过滤条件，对所述日志文件列表中的日志文件进行过滤处理，所述过滤条件包括用以判断日志文件是否与异常事件相关的条件；输出与异常事件相关的故障日志以便进行故障分析和解决。解决现有的日志分析、问题定位和故障解决的难度大的问题。

A method and device for processing log files based on distributed software system

The invention discloses a distributed software system log file processing method and device, based on each server includes: acquiring the current output of the log file, get the log file list; using filters preset, the log file in the list of log files for filtration, the filter used to determine whether the conditions include the log file is related to the abnormal events associated with abnormal conditions; fault log event output for fault analysis and solving. It is difficult to solve the existing problem of log analysis, problem location and troubleshooting.

【技术实现步骤摘要】
一种基于分布式软件系统的日志文件处理方法、装置
本申请属于互联网
，具体地说，涉及一种基于分布式软件系统的日志文件处理方法、装置。
技术介绍
随着云计算的发展，分布式软件可以运行在不同的服务器上时，因此所面临的运行环境更加复杂，此时可能会出现各种各样的故障。通常，分布式软件输出后,当软件出现故障时，软件开发人员由于不方便连接线上服务器,需要现场人员协助根据日志文件对软件故障进行定位,但是，现场人员不熟悉软件的情况下无法定位错误日志，通常是现场人员登录到各个服务器上收集所有的日志文件给软件开发人员,由软件开发人员进行远程定位故障。但是，收集的日志文件中既含有正常情况的日志信息,又含有异常情况的日志信息且在分布式部署的软件中，日志文件分布在不同的服务器,日志文件的信息记录量级较重，增加了日志分析、问题定位和故障解决的难度。
技术实现思路
有鉴于此，本申请提供一种基于分布式软件系统的日志文件处理方法、装置，可以解决现有的日志分析、问题定位和故障解决的难度大的问题。为了解决上述技术问题，本申请第一方面提供一种基于分布式软件系统的日志文件处理方法，包括：获取每个服务器当前输出的日志文件，得到日志文件列表；利用预设的过滤条件，对所述日志文件列表中的日志文件进行过滤处理，所述过滤条件包括用以判断日志文件是否为异常日志的条件；输出异常日志以便进行故障分析和解决。可选地，所述预设的过滤条件包括第一过滤条件或第二过滤条件，则利用预设的过滤条件，对所述日志文件列表中的日志文件进行过滤处理，包括：利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理，得到过滤后的第一过滤日志文件列表，所述第一过滤日志文件列表中的日志文件与异常事件相关；或者利用第二过滤条件对所述日志文件列表中的日志文件进行第二过滤处理，得到过滤后的第二过滤日志文件列表，所述第二过滤日志文件列表中的日志文件与异常事件相关。可选地，所述预设的过滤条件包括第一过滤条件和第二过滤条件，则利用预设的过滤条件，对所述日志文件列表中的日志文件进行过滤处理，包括：利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理，得到过滤后的第一过滤日志文件列表，所述第一日志文件列表中的日志文件与异常事件相关；利用第二过滤条件对第一过滤日志文件列表中的日志文件进行第二过滤处理，得到过滤后的第三过滤日志文件列表，所述第三过滤日志文件列表中的日志文件与异常事件的相关度大于第一过滤日志文件列表中的日志文件与异常事件的相关度。可选地，所述第一过滤条件包括预设的异常事件重复次数，则利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理包括：根据所述日志文件列表中的日志文件，确定每个日志文件对应的异常事件；根据每个日志文件对应的异常事件，若存在相同异常事件，且所述相同异常事件的次数大于等于预设的异常事件重复次数，则将所述相同异常事件对应的日志文件确定为与异常事件相关，并添加到所述第一过滤日志文件列表中，将不符合预设的异常事件重复次数的日志文件过滤掉。可选地，所述第二过滤条件包括预设的日志频度阈值，则利用第二过滤条件对所述日志文件列表中的日志文件进行第二过滤处理包括：计算所述日志文件列表中的每个日志文件的频度，若所述计算的频度小于等于预设的日志频度阈值，则将频度小于等于所述日志频度阈值的日志文件确定为与异常事件相关，并添加到所述第二过滤日志文件列表中，将频度大于所述日志频度阈值的日志文件过滤掉。可选地，所述第二过滤条件包括预设的日志频度阈值，则利用第二过滤条件对第一过滤日志文件列表中的日志文件进行第二过滤处理包括：计算所述第一过滤日志文件列表中每个日志文件的频度，若所述计算的频度小于等于预设的日志频度阈值，则将频度小于等于所述日志频度阈值的日志文件确定为与异常事件相关较大，并添加到所述第三过滤日志文件列表中，将频度大于所述日志频度阈值的日志文件过滤掉。可选地，所述预设的日志频度阈值包括根据所述日志文件列表中每个日志文件的频度计算的频度均值。可选地，所述预设的日志频度阈值包括根据所述第一过滤日志文件列表中每个日志文件的频度计算的频度均值。可选地，计算所述日志文件列表中每个日志文件的频度，包括：根据预设日志文件相似度阈值，将所述日志文件列表中每个日志文件与日志文件数据库中的所有日志文件进行相似度比较；根据所述日志文件数据库中存在与所述日志文件的相似度大于等于所述相似度阈值的日志文件的个数，确定所述日志文件的频度。可选地，计算所述第一日志文件列表中每个日志文件的频度，包括：根据预设日志文件相似度阈值，将所述第一日志文件列表中每个日志文件与日志文件数据库中的所有日志文件进行相似度比较；根据所述日志文件数据库中存在与所述日志文件的相似度大于等于所述相似度阈值的日志文件的个数，确定所述日志文件的频度。可选地，所述的方法还包括：根据日志文件数据库中的历史日志文件，将所述历史日志文件中与正常事件相关的日志文件添加到正常日志文件列表中，将与异常事件相关的日志文件添加到异常日志文件列表中；确定正常日志文件列表中每个日志文件的特征点，得到正常日志文件特征点集合，确定异常日志文件列表中每个日志文件的特征点，得到异常日志文件特征点集合。可选地，利用预设的过滤条件，对所述日志文件列表中的日志文件进行过滤处理包括：确定所述日志文件列表中的每个日志文件的特征点；与所述异常日志文件特征点集合进行匹配，若匹配一致，则将与所述异常日志文件特征点集合匹配一致的日志文件确定与异常事件相关的日志文件；与所述正异常日志文件特征点集合进行匹配，若匹配一致，则将与所述正常日志文件特征点集合匹配一致的日志文件过滤掉。本专利技术第二方面提供一种基于分布式软件系统的日志文件处理装置，包括：获取模块，用于获取每个服务器当前输出的日志文件，得到日志文件列表；过滤模块，用于利用预设的过滤条件，对所述日志文件列表中的日志文件进行过滤处理，所述过滤条件包括用以判断日志文件是否为异常日志的条件；输出模块，用于输出异常日志以便进行故障分析和解决。可选地，所述预设的过滤条件包括第一过滤条件或第二过滤条件，则所述过滤模块具体用于：利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理，得到过滤后的第一过滤日志文件列表，所述第一过滤日志文件列表中的日志文件与异常事件相关；或者利用第二过滤条件对所述日志文件列表中的日志文件进行第二过滤处理，得到过滤后的第二过滤日志文件列表，所述第二过滤日志文件列表中的日志文件与异常事件相关。可选地，所述预设的过滤条件包括第一过滤条件和第二过滤条件，则所述过滤模块具体用于：利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理，得到过滤后的第一过滤日志文件列表，所述第一日志文件列表中的日志文件与异常事件相关；利用第二过滤条件对第一过滤日志文件列表中的日志文件进行第二过滤处理，得到过滤后的第三过滤日志文件列表，所述第三过滤日志文件列表中的日志文件与异常事件的相关度大于第一过滤日志文件列表中的日志文件与异常事件的相关度。可选地，所述第一过滤条件包括预设的异常事件重复次数，则所述过滤模块具体用于：根据所述日志文件列表中的日志文件，确定每个日志文件对应的异常事件；根据每个日志文件对应的异常事件，若存在本文档来自技高网...

【技术保护点】
一种基于分布式软件系统的日志文件处理方法，其特征在于，包括：获取每个服务器输出的日志文件，得到日志文件列表；利用预设的过滤条件，对所述日志文件列表中的日志文件进行过滤处理，所述过滤条件包括用以判断日志文件是否为异常日志的条件；输出异常日志以便进行故障分析和解决。

【技术特征摘要】
1.一种基于分布式软件系统的日志文件处理方法，其特征在于，包括：获取每个服务器输出的日志文件，得到日志文件列表；利用预设的过滤条件，对所述日志文件列表中的日志文件进行过滤处理，所述过滤条件包括用以判断日志文件是否为异常日志的条件；输出异常日志以便进行故障分析和解决。2.根据权利要求1所述的方法，其特征在于，所述预设的过滤条件包括第一过滤条件或第二过滤条件，则利用预设的过滤条件，对所述日志文件列表中的日志文件进行过滤处理，包括：利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理，得到过滤后的第一过滤日志文件列表，所述第一过滤日志文件列表中的日志文件与异常事件相关；或者利用第二过滤条件对所述日志文件列表中的日志文件进行第二过滤处理，得到过滤后的第二过滤日志文件列表，所述第二过滤日志文件列表中的日志文件与异常事件相关。3.根据权利要求1所述的方法，其特征在于，所述预设的过滤条件包括第一过滤条件和第二过滤条件，则利用预设的过滤条件，对所述日志文件列表中的日志文件进行过滤处理，包括：利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理，得到过滤后的第一过滤日志文件列表，所述第一过滤日志文件列表中的日志文件与异常事件相关；利用第二过滤条件对第一过滤日志文件列表中的日志文件进行第二过滤处理，得到过滤后的第三过滤日志文件列表，所述第三过滤日志文件列表中的日志文件与异常事件的相关度大于第一过滤日志文件列表中的日志文件与异常事件的相关度。4.根据权利要求2或3所述的方法，其特征在于，所述第一过滤条件包括预设的异常事件重复次数，则利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理包括：根据所述日志文件列表中的日志文件，确定每个日志文件对应的异常事件；根据每个日志文件对应的异常事件，若存在相同异常事件，且所述相同异常事件的次数大于等于预设的异常事件重复次数，则将所述相同异常事件对应的日志文件确定为与异常事件相关，并添加到所述第一过滤日志文件列表中，将不符合预设的异常事件重复次数的日志文件过滤掉。5.根据权利要求2所述的方法，其特征在于，所述第二过滤条件包括预设的日志频度阈值，则利用第二过滤条件对所述日志文件列表中的日志文件进行第二过滤处理包括：计算所述日志文件列表中的每个日志文件的频度，若所述计算的频度小于等于预设的日志频度阈值，则将频度小于等于所述日志频度阈值的日志文件确定为与异常事件相关，并添加到所述第二过滤日志文件列表中，将频度大于所述日志频度阈值的日志文件过滤掉。6.根据权利要求3所述的方法，其特征在于，所述第二过滤条件包括预设的日志频度阈值，则利用第二过滤条件对第一过滤日志文件列表中的日志文件进行第二过滤处理包括：计算所述第一过滤日志文件列表中每个日志文件的频度，若所述计算的频度小于等于预设的日志频度阈值，则将频度小于等于所述日志频度阈值的日志文件确定为与异常事件相关较大，并添加到所述第三过滤日志文件列表中，将频度大于所述日志频度阈值的日志文件过滤掉。7.根据权利要求5所述的方法，其特征在于，所述预设的日志频度阈值包括根据所述日志文件列表中每个日志文件的频度计算的频度均值。8.根据权利要求6所述的方法，其特征在于，所述预设的日志频度阈值包括根据所述第一过滤日志文件列表中每个日志文件的频度计算的频度均值。9.根据权利要求5或7所述的方法，其特征在于，计算所述日志文件列表中每个日志文件的频度，包括：根据预设日志文件相似度阈值，将所述日志文件列表中每个日志文件与日志文件数据库中的所有日志文件进行相似度比较；根据所述日志文件数据库中存在与所述日志文件的相似度大于等于所述相似度阈值的日志文件的个数，确定所述日志文件的频度。10.根据权利要求6或8所述的方法，其特征在于，计算所述第一日志文件列表中每个日志文件的频度，包括：根据预设日志文件相似度阈值，将所述第一日志文件列表中每个日志文件与日志文件数据库中的所有日志文件进行相似度比较；根据所述日志文件数据库中存在与所述日志文件的相似度大于等于所述相似度阈值的日志文件的个数，确定所述日志文件的频度。11.根据权利要求1所述的方法，其特征在于，还包括：根据日志文件数据库中的历史日志文件，将所述历史日志文件中与正常事件相关的日志文件添加到正常日志文件列表中，将与异常事件相关的日志文件添加到异常日志文件列表中；确定正常日志文件列表中每个日志文件的特征点，得到正常日志文件特征点集合，确定异常日志...

【专利技术属性】
技术研发人员：张鹏，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY