日志解析方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术提供一种日志解析方法以及日志解析装置，所述日志解析方法包括：响应于日志解析命令，按照不同的类别获取日志条目，将所述日志条目保存在第一存储空间，其中所述类别由产生所述日志条目的设备属性所确定；从所述第一存储空间获取所述日志条目，从所述日志条目中解析出具有标准化格式的关键信息；将所述关键信息以数据表的形式保存在第二存储空间；从所述第二存储空间获取目标关键信息，对所述目标关键信息进行统计并输出报表。本发明专利技术还可以预设报警阈值，对超出阈值的统计报表输出告警信息；同时本发明专利技术接收用户根据告警信息返回的反馈结果，并根据所述反馈结果自动调整报警阈值，从而达到提高报警可信度的目的。

Log analysis method, device, computer equipment and storage medium

The invention provides a log parsing method and a log parsing device, the log parsing method includes: in response to the log parsing command, obtaining log entries according to different categories, saving the log entries in the first storage space, wherein the category is determined by the device attribute generating the log entries, obtaining the log entries from the first storage space, The key information with standardized format is parsed out from the log entries; the key information is saved in the second storage space in the form of a data table; the target key information is obtained from the second storage space, the target key information is counted and the report is output. The invention can also preset alarm threshold and output alarm information for statistical reports exceeding the threshold; at the same time, the invention receives the feedback result returned by the user according to the alarm information, and automatically adjusts the alarm threshold according to the feedback result, so as to achieve the purpose of improving the alarm reliability.

【技术实现步骤摘要】
日志解析方法、装置、计算机设备及存储介质
本专利技术涉及计算机监控
，特别涉及一种日志解析方法、装置、计算机设备及存储介质。
技术介绍
在现代运维体系中，规模化的应用系统与网络设备需要自动化的监管系统进行管理，对系统日志(syslog)信息的监管就是其中重要一环。然而在实际中，由于不同的应用系统、网络设备对应的日志格式各不相同，这给标准化的系统日志分析带来了很大的难度。目前现有技术中有通过正则表达式对日志进行解析的实例，然而利用正则表达式解析出的数据仍然是海量并且无规律的，无法为计算机设备的整体运行情况提供简单明了的判断依据。
技术实现思路
本专利技术的目的是提供一种日志解析方法、装置、计算机设备及存储介质，以解决现有技术中存在的上述问题。为实现上述目的，本专利技术提供一种日志解析方法，包括：响应于日志解析命令，按不同的类别获取日志条目，将所述日志条目保存在第一存储空间；其中所述类别由产生所述日志条目的设备属性确定；从所述第一存储空间获取所述日志条目，从所述日志条目中解析出具有标准化格式的关键信息；将所述关键信息以数据表的形式保存在第二存储空间；从所述第二存储空间获取目标关键信息，对所述目标关键信息进行统计并输出报表。进一步，所述从所述日志条目中解析出具有标准化格式的关键信息是通过正则表达式实现的。进一步，所述日志解析方法还包括：判断所述报表是否满足预设报警条件，若满足，输出对应的告警信息。进一步，所述日志解析方法还包括：接收报警反馈结果，并根据所述报警反馈结果自动调整所述预设报警条件；其中所述报警反馈信息用于表征所述告警信息对应的事件的严重程度。进一步，所述将所述日志条目保存在第一存储空间包括：从所述第一存储空间中查询是否有与待存储日志条目相同的内容，若否，将所述待存储日志条目保存在所述第一存储空间；若是，不存储所述待存储日志条目。为实现上述目的，本专利技术还提供一种日志解析装置，其特征在于，包括：日志获取模块，适用于响应日志解析命令，按不同的类别获取日志条目，将所述日志条目保存在第一存储空间；其中所述类别由产生所述日志条目的设备属性所确定；信息解析模块，适用于从所述第一存储空间获取所述日志条目，从所述日志条目中解析出具有标准化格式的关键信息；数据表存储模块，适用于将所述关键信息以数据表的形式保存在第二存储空间；报表输出模块，适用于从所述第二存储空间获取目标关键信息，对所述目标关键信息进行统计并输出报表。进一步，所述日志解析装置还包括报警模块，适用于判断所述报表是否满足预设报警条件，若满足，输出对应的告警信息。进一步，所述日志解析装置还包括反馈模块，适用于接收报警反馈结果，并根据所述报警反馈结果自动调整所述预设报警条件；其中所述报警反馈结果表征所述告警信息对应的事件的严重程度。为实现上述目的，本专利技术还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。为实现上述目的，本专利技术还提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。本专利技术提供的日志解析方法、装置、计算机设备及存储介质，通过正则表达式获取日志中的有效信息，并接受用户对有效信息的搜索指令，按照搜索字段输出相应数据的图形报表以供运维人员清楚直观地掌握计算机系统的运行状况。本专利技术可以预设报警阈值，对超出阈值的统计报表输出告警信息；同时本专利技术接收用户根据告警信息返回的反馈结果，并根据所述反馈结果自动调整报警阈值，从而达到提高报警可信度的目的。附图说明图1为本专利技术的日志解析方法实施例一的流程图；图2为本专利技术的日志解析装置实施例一的程序模块示意图；图3为本专利技术的日志解析装置实施例一的硬件结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供的日志解析方法、装置、计算机设备及存储介质，通过正则表达式获取日志中的有效信息，并接受用户对有效信息的搜索指令，按照搜索字段输出相应数据的图形报表以供运维人员清楚直观地掌握计算机系统的运行状况。本专利技术可以预设报警阈值，对超出阈值的统计报表输出告警信息；同时本专利技术接收用户根据告警信息返回的反馈结果，并根据所述反馈结果自动调整报警阈值，从而达到提高报警可信度的目的。实施例一请参阅图1，本实施例提出一种日志解析方法，具体包括以下步骤：S1:响应于日志解析命令，按照不同的类别获取日志条目，将所述日志条目保存在第一存储空间；其中所述类别由产生所述日志条目的设备属性所确定。所谓日志(Log)是指系统所指定对象的某些操作和其操作结果按时间有序的集合，系统日志专门条目由操作系统组件产生的事件，主要包括驱动程序、系统组件和应用软件的崩溃以及数据丢失错误等信息。每条日志条目相互间独立，没有关联，用一个序号来唯一标识。日志的功能在于通过不同时刻的日志条目来描述系统操作过程中发生的所有事件，以便管理人员及时了解系统状况，以及后期进行查询追踪。本专利技术中要获取的日志数据可以来自任何日志产生源，诸如数据库管理系统、数据库应用、中间件、操作系统、硬件部件、或其它日志产生的应用、部件或系统。在接收到日志解析命令时，本专利技术按类别从设备中进行日志的采集。计算机系统中的日志一般存储在固定地址，例如某个固定文件夹中，因此可以通过编程直接从指定的文件夹中采集系统日志，或者是利用现有的日志采集工具自动采集。本专利技术中按照类别进行日志采集。这里的类别是由设备的属性决定的，包括设备品牌和设备种类，设备品牌包括思科、华为、浪潮、苹果等国内外互联网公司推出的各种品牌，设备种类包括防火墙设备、路由器设备、交换机设备、负载均衡设备等具有不同功能的软硬件产品。本专利技术中的类别可以按照需求由一个或者多个属性确定，例如仅仅根据单一品牌属性划分为思科类别、华为类别、浪潮类别等，也可以同时考虑品牌和种类属性划分为思科服务器类别、华为交换机类别等。本专利技术将采集道德系统日志按类别存储到第一存储空间。这里的第一存储空间可以是内存缓冲区域，也可以是硬盘或者磁盘中的专门用于存储系统日志的固定存储空间。将内存缓冲区域作为上述第一存储空间的优点是存取速度快，并且不占用多余的外部存储空间，成本低廉；但缺点是无法长期保存所有系统日志条目。将硬盘、磁盘等外部存储器作为上述第一存储空间可以长期保存日志条目，但是由于日志条目的数据量非常大，因此会使得存取速度越来越慢，长期以往会影响系统的运行效率，因此这种情况下需要定期清理不用的日志条目。另外为了避免重复存储，本专利技术还包括从第一存储空间中查询是否有与待存储日志条目相同的内容，若否，将所述待存储日志条目保存在所述第一存储空间；若是，不存储所述待存储日志条目。日志条目的生成频率是可以根据需要人为设置的，例如每隔15分钟输出一个以时间命名的数据库日志条目，或者每分钟生成一个内存访问日志条目，等等。一般情况下获取日志条目的命令按照固定的间隔频率发出，且获取日志条目命令的发送频率大于日志条本文档来自技高网...

【技术保护点】
1.一种日志解析方法，其特征在于，包括：响应于日志解析命令，按照不同的类别获取日志条目，将所述日志条目保存在第一存储空间，其中所述类别由产生所述日志条目的设备属性所确定；从所述第一存储空间获取所述日志条目，从所述日志条目中解析出具有标准化格式的关键信息；将所述关键信息以数据表的形式保存在第二存储空间；从所述第二存储空间获取目标关键信息，对所述目标关键信息进行统计并输出报表。

【技术特征摘要】
1.一种日志解析方法，其特征在于，包括：响应于日志解析命令，按照不同的类别获取日志条目，将所述日志条目保存在第一存储空间，其中所述类别由产生所述日志条目的设备属性所确定；从所述第一存储空间获取所述日志条目，从所述日志条目中解析出具有标准化格式的关键信息；将所述关键信息以数据表的形式保存在第二存储空间；从所述第二存储空间获取目标关键信息，对所述目标关键信息进行统计并输出报表。2.根据权利要求1所述的日志解析方法，其特征在于，所述从所述日志条目中解析出具有标准化格式的关键信息是通过正则表达式实现的。3.根据权利要求1或2所述的日志解析方法，其特征在于，还包括：判断所述报表是否满足预设报警条件，若满足，输出对应的告警信息。4.根据权利要求3所述的日志解析方法，其特征在于，还包括：接收报警反馈结果，并根据所述报警反馈结果自动调整所述预设报警条件；所述报警反馈结果用于表征所述告警信息对应的事件的严重程度。5.根据权利要求1所述的日志解析方法，其特征在于，所述将所述日志条目保存在第一存储空间包括：从所述第一存储空间中查询是否有与待存储日志条目相同的内容，若否，将所述待存储日志条目保存在所述第一存储空间；...

【专利技术属性】
技术研发人员：林政飞，梁鹏，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44