用于复杂系统的日志智能分析方法、工具、设备及介质技术方案

本申请公开了一种用于复杂系统的日志智能分析方法、工具、设备及介质，包括：通过配置与管理模块定义复杂系统中各子系统作为受管对象，各受管对象的日志文件，以及日志记录的格式和错误关键字，建立日志相关性组，同时指定待监控的日志文件作为触发点；通过日志记录时间校准模块周期性地将各受管对象的日期时间进行时间基准同步处理；在同一日志相关性组里，当出现错误关键字时，通过日志信息收集模块收集当前经基准后的时间段内各受管对象中产生的日志记录；通过日志分析输出模块创建分析请求，对收集的日志记录进行搜索排序分析，并生成可视化联动展示的报告。这样可以将复杂IT系统各子系统日志关联，实现智能联动，提高排查问题的效率。

Intelligent log analysis methods, tools, devices and media for complex systems

【技术实现步骤摘要】
用于复杂系统的日志智能分析方法、工具、设备及介质
本专利技术涉及日志分析领域，特别是涉及一种用于复杂系统的日志智能分析方法、工具、设备及介质。
技术介绍
目前，传统的互联网(InternetTechnology，简称IT)系统功能单一，当需要涉及多系统联动时，往往通过人工方式实现，出错时相对容易定位，但这种方式效率较低。随着虚拟化、云计算等相关IT技术的发展，当前可以通过应用程序接口(ApplicationProgrammingInterface，简称API)，消息队列等多种方式实现系统的自动联动，提高了系统的易用性和办公效率。但随之而来的是当出现问题时，由于多系统复杂，需要切换不同系统排查错误，加上各系统的错误信息格式可能不一致，造成不太容易快速定位的问题。因此，如何提高复杂IT系统各子系统日志问题的排查效率，是本领域技术人员亟待解决的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种用于复杂系统的日志智能分析方法、工具、设备及介质，可以将复杂系统各子系统日志关联，实现智能联动，提高排查问题的效率。其具体方案如下：一种用于复杂系统的日志智能分析方法，包括：通过配置与管理模块定义所述复杂系统中各子系统作为受管对象，定义各所述受管对象的日志文件、每种所述日志文件中日志记录的格式和错误关键字，以及建立日志相关性组，同时指定待监控的日志文件作为触发点；通过日志记录时间校准模块周期性地将各所述受管对象的日期时间进行时间基准同步处理；在同一所述日志相关性组里，当所述触发点出现所述错误关键字时，通过日志信息收集模块收集当前经基准后的时间段内各所述受管对象中产生的日志记录；通过日志分析输出模块创建分析请求，根据所述分析请求对收集的所述日志记录进行搜索排序分析，并生成可视化联动展示的报告。优选地，在本专利技术实施例提供的上述用于复杂系统的日志智能分析方法中，周期性地将各所述受管对象的日期时间进行时间基准同步处理，具体包括：从各所述受管对象与本地宿主机中同时导出当前日期时间；以所述本地宿主机的时间为基准时间，周期性地对各所述受管对象进行时间差值的计算，以使每个所述受管对象包括基准后的时间、当前源系统时间、基准时间差。优选地，在本专利技术实施例提供的上述用于复杂系统的日志智能分析方法中，当所述触发点出现所述错误关键字时，收集经基准后的当前时间段内各所述受管对象中产生的日志记录，具体包括：对指定的所述触发点进行定时扫描监控；当监控到在某一所述受管对象中所产生的日志记录里包含定义的所述错误关键字时，则将所述日志记录回传并生成对应的ID号保存至本地数据库；同时，将经所述日志记录时间校准模块校正处理后的同一时间段内在其它所述受管对象中所产生的日志记录回传并生成对应的ID号保存至本地数据库。优选地，在本专利技术实施例提供的上述用于复杂系统的日志智能分析方法中，所有保存至所述本地数据库的日志记录时间均为经过所述日志记录时间校准模块基准后的时间。优选地，在本专利技术实施例提供的上述用于复杂系统的日志智能分析方法中，创建分析请求，具体包括：通过选择或字符输入的方式创建分析请求；所述分析请求包括多个分析项和输出展示方式；所述分析项包括选择的日志文件相关性组、所要分析的时间段或关键字、日志的级别或类型、是否日志去重、是否日志裁剪；所述输出展示方式包括日志记录字段、展示风格、错误日志展示形式、静态显示或动态显示。优选地，在本专利技术实施例提供的上述用于复杂系统的日志智能分析方法中，所述展示风格包括记录颜色、是否高亮；所述错误日志展示形式包括同一页面展示、垂直对比展示和树形展示；所述动态显示包括按时间顺序逐条显示某个时间点各个相关日志文件中的记录。优选地，在本专利技术实施例提供的上述用于复杂系统的日志智能分析方法中，所述受管对象包括PowerVC云平台宿主机、硬件管理控制台、VIOS操作系统、存储光纤交换机及存储设备。本专利技术实施例还提供了一种用于复杂系统的日志智能分析工具，包括：配置与管理模块，用于定义所述复杂系统中各子系统作为受管对象，定义各所述受管对象的日志文件、每种所述日志文件中日志记录的格式和错误关键字，以及建立日志相关性组，同时指定待监控的日志文件作为触发点；日志记录时间校准模块，用于周期性地将各所述受管对象的日期时间进行时间基准同步处理；日志信息收集模块，用于在同一所述日志相关性组里，当所述触发点出现所述错误关键字时，收集当前经基准后的时间段内各所述受管对象中产生的日志记录；日志分析输出模块，用于通过日志分析输出模块创建分析请求，根据所述分析请求对收集的所述日志记录进行搜索排序分析，并生成可视化联动展示的报告。本专利技术实施例还提供了一种用于复杂系统的日志智能分析设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本专利技术实施例提供的上述用于复杂系统的日志智能分析方法。本专利技术实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本专利技术实施例提供的上述用于复杂系统的日志智能分析方法。从上述技术方案可以看出，本专利技术所提供的一种用于复杂系统的日志智能分析方法、工具、设备及介质，包括：通过配置与管理模块定义复杂系统中各子系统作为受管对象，定义各受管对象的日志文件、每种日志文件中日志记录的格式和错误关键字，以及建立日志相关性组，同时指定待监控的日志文件作为触发点；通过日志记录时间校准模块周期性地将各受管对象的日期时间进行时间基准同步处理；在同一日志相关性组里，当触发点出现错误关键字时，通过日志信息收集模块收集当前经基准后的时间段内各受管对象中产生的日志记录；通过日志分析输出模块创建分析请求，根据分析请求对收集的日志记录进行搜索排序分析，并生成可视化联动展示的报告。本专利技术通过软件可视化的方式，为复杂IT系统环境下关联日志的分析提供了一种有效的分析方法，可以通过配置与管理模块、日志记录时间校准模块、日志信息收集模块和日志分析输出模块，预先配置管理受管对象，建立日志相关性组，日志时间差自动调整，在特定条件下收集日志，通过指定方式关联日志展示与分析等，解决当前问题日志分析处理过程中，每个日志单独分析，人工拼接相关数据导致的效率低下问题，以及由于系统时钟差异，日志时间不同步，导致的分析差错问题，实现复杂系统中各子系统日志的智能联动，提高排查问题的效率，从而提升故障分析的工作效率和准确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的用于复杂系统的日志智能分析方法的流程图；图2为使用本专利技术实施例提供的用于复杂系统的日志智能分析方法本文档来自技高网...

【技术保护点】
1.一种用于复杂系统的日志智能分析方法，其特征在于，包括：/n通过配置与管理模块定义所述复杂系统中各子系统作为受管对象，定义各所述受管对象的日志文件、每种所述日志文件中日志记录的格式和错误关键字，以及建立日志相关性组，同时指定待监控的日志文件作为触发点；/n通过日志记录时间校准模块周期性地将各所述受管对象的日期时间进行时间基准同步处理；/n在同一所述日志相关性组里，当所述触发点出现所述错误关键字时，通过日志信息收集模块收集当前经基准后的时间段内各所述受管对象中产生的日志记录；/n通过日志分析输出模块创建分析请求，根据所述分析请求对收集的所述日志记录进行搜索排序分析，并生成可视化联动展示的报告。/n

【技术特征摘要】
1.一种用于复杂系统的日志智能分析方法，其特征在于，包括：
通过配置与管理模块定义所述复杂系统中各子系统作为受管对象，定义各所述受管对象的日志文件、每种所述日志文件中日志记录的格式和错误关键字，以及建立日志相关性组，同时指定待监控的日志文件作为触发点；
通过日志记录时间校准模块周期性地将各所述受管对象的日期时间进行时间基准同步处理；
在同一所述日志相关性组里，当所述触发点出现所述错误关键字时，通过日志信息收集模块收集当前经基准后的时间段内各所述受管对象中产生的日志记录；
通过日志分析输出模块创建分析请求，根据所述分析请求对收集的所述日志记录进行搜索排序分析，并生成可视化联动展示的报告。


2.根据权利要求1所述的用于复杂系统的日志智能分析方法，其特征在于，周期性地将各所述受管对象的日期时间进行时间基准同步处理，具体包括：
从各所述受管对象与本地宿主机中同时导出当前日期时间；
以所述本地宿主机的时间为基准时间，周期性地对各所述受管对象进行时间差值的计算，以使每个所述受管对象包括基准后的时间、当前源系统时间、基准时间差。


3.根据权利要求2所述的用于复杂系统的日志智能分析方法，其特征在于，当所述触发点出现所述错误关键字时，收集经基准后的当前时间段内各所述受管对象中产生的日志记录，具体包括：
对指定的所述触发点进行定时扫描监控；
当监控到在某一所述受管对象中所产生的日志记录里包含定义的所述错误关键字时，则将所述日志记录回传并生成对应的ID号保存至本地数据库；
同时，将经所述日志记录时间校准模块校正处理后的同一时间段内在其它所述受管对象中所产生的日志记录回传并生成对应的ID号保存至本地数据库。


4.根据权利要求3所述的用于复杂系统的日志智能分析方法，其特征在于，所有保存至所述本地数据库的日志记录时间均为经过所述日志记录时间校准模块基准后的时间。


5.根据权利要求4所述的用于复杂系统的日志智能分析方法，其特征在于，创建分析请求，具体包括：
通过选...

【专利技术属性】
技术研发人员：田永卫，赵兵超，康明，
申请(专利权)人：浪潮商用机器有限公司，
类型：发明
国别省市：山东;37