分布式文件系统日志分析方法、系统、设备及存储介质技术方案

本申请公开了分布式文件系统日志分析方法、系统、设备及存储介质，其中，该方法包括：获取分布式文件系统中丢弃信息的日志，得到目标日志；利用日志分析程序，提取所述目标日志中的目标数据，并根据所述目标数据分析所述丢弃信息丢弃的原因；其中，所述目标数据为所述丢弃信息在发送、接收过程中生成的数据。本申请大幅度缩短查找目标数据的时间，从而缩短通过日志分析分布式文件系统丢弃消息原因的时间，进而提高通过日志分析分布式文件系统丢弃消息原因的效率。

Distributed file system log analysis method, system, equipment and storage medium

The invention discloses a method, system, device and storage medium, log analysis of the distributed file system, the method includes: obtaining the discarded information in a distributed file system log, log target; using log analysis program, extract the target log in the target data, and according to the target data analysis of the among them, the discarded discarded information; the target data for the discarded information generated in the process of sending and receiving data. This application greatly reduces the time to find target data, thereby shortening the time to log messages by analyzing the distributed file system, and further improving the efficiency of distributing the file system to discard messages by log analysis.

【技术实现步骤摘要】
分布式文件系统日志分析方法、系统、设备及存储介质
本专利技术涉及计算机
，特别涉及分布式文件系统日志分析方法、系统、设备及存储介质。
技术介绍
分布式文件系统集群在进行数据恢复、数据写入等操作时，由于操作较多使网络模块异常丢弃部分消息，导致集群状态异常，此时丢弃的消息为节点与节点之间的通信消息，通过日志查找造成集群状态异常的原因，需要查找多个节点的日志并分析，采用人工查找多个节点的日志的方法非常耗时，效率低。因此，如何提高通过日志分析分布式文件系统丢弃消息原因的效率是本领域技术人员亟待解决的问题。
技术实现思路
有鉴于此，本专利技术提供一种分布式文件系统日志分析方法、系统、设备及存储介质，目的在于提高通过分析日志分析分布式文件系统丢弃消息原因的效率。其具体方案如下：一种分布式文件系统日志分析方法，包括：获取分布式文件系统中丢弃信息的日志，得到目标日志；利用日志分析程序，提取所述目标日志中的目标数据，并根据所述目标数据分析所述丢弃信息丢弃的原因；其中，所述目标数据为所述丢弃信息在发送、接收过程中生成的数据。可选的，所述获取分布式文件系统中丢弃信息的日志，得到目标日志的过程之前还包括：通过查询指令获取所述分布式文件系统中的所述丢弃信息。可选的，所述获取分布式文件系统中丢弃信息的日志，得到目标日志的过程之前还包括：根据所述丢弃信息获取该信息的发送端和接收端；其中，所述发送端创建第一虚连接，所述接收端创建第二虚连接，所述发送端和所述接收端通过所述第一虚连接和所述第二虚连接建立的连接进行通信。可选的，所述利用日志分析程序，提取所述目标日志中的目标数据，并根据所述目标数据分析所述丢弃信息丢弃的原因的过程包括：利用日志分析程序，通过查找指令，提取所述目标日志中的目标数据，并根据所述目标数据分析所述丢弃信息丢弃的原因；其中，所述目标数据包括所述发送端向所述接收端发起建立连接的请求信息数据和/或所述接收端对所述发送端请求建立连接的响应信息数据和/或所述发送端向所述接收端发起断开连接的请求信息数据和/或所述接收端对所述发送端请求断开连接的响应信息数据和/或所述第一虚连接工作时生成的数据和/或所述第二虚连接工作时生成的数据。可选的，所述丢弃信息丢弃的原因包括未找到虚连接或所述第一虚连接和所述第二虚连接的DST_ID不一致或所述第一虚连接和所述第二虚连接的TCP连接为空。相应的，本专利技术还公开了一种分布式文件系统日志分析系统，包括：日志获取模块，用于获取分布式文件系统中丢弃信息的日志，得到目标日志；数据分析模块，用于利用日志分析程序，提取所述目标日志中的目标数据，并根据所述目标数据分析所述丢弃信息丢弃的原因；其中，所述目标数据为所述丢弃信息在发送、接收过程中生成的数据。可选的，所述日志获取模块之前还包括：信息获取模块，用于通过查询指令获取所述分布式文件系统中的所述丢弃信息。可选的，所述日志获取模块之前还包括：数据获取模块，用于根据所述丢弃信息获取该信息的发送端和接收端。可选的，所述数据分析模块，具体用于利用日志分析程序，通过查找指令，提取所述目标日志中的目标数据，并根据所述目标数据分析所述丢弃信息丢弃的原因；其中，所述目标数据包括所述发送端向所述接收端发起建立连接的请求信息数据和/或所述接收端对所述发送端请求建立连接的响应信息数据和/或所述发送端向所述接收端发起断开连接的请求信息数据和/或所述接收端对所述发送端请求断开连接的响应信息数据和/或所述第一虚连接工作时生成的数据和/或所述第二虚连接工作时生成的数据。本专利技术还公开了一种分布式文件系统日志分析设备，所述分布式文件系统日志分析设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的分布式文件系统日志分析程序，所述分布式文件系统日志分析程序配置为实现上述的分布式文件系统日志分析方法的步骤。本专利技术还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有分布式文件系统日志分析程序，所述分布式文件系统日志分析程序被处理器执行时实现上述的分布式文件系统日志分析方法的步骤。可见，本专利技术提供的分布式文件系统日志分析方法，通过获取分布式文件系统中丢弃信息的日志，得到目标日志；利用日志分析程序，提取所述目标日志中的目标数据，并根据所述目标数据分析所述丢弃信息丢弃的原因；其中，所述目标数据为所述丢弃信息在发送、接收过程中生成的数据。本专利技术通过对造成信息丢弃原因的分析，得到丢弃信息日志中对分析丢弃原因有用的数据，即目标数据；利用日志分析程序，重点分析目标数据，得到目标丢弃信息丢弃的原因。与人工分析丢弃信息原因相比，大幅度缩短查找目标数据的时间，从而缩短通过日志分析分布式文件系统丢弃消息原因的时间，进而提高通过日志分析分布式文件系统丢弃消息原因的效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种分布式文件系统日志分析方法的流程图；图2为本专利技术实施例提供的另外一种分布式文件系统日志分析方法的流程图；图3为本专利技术实施例提供的一种分布式文件系统日志分析系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种分布式文件系统日志分析方法，如图1所示，包括：步骤S11：获取分布式文件系统中丢弃信息的日志，得到目标日志。需要进行说明的是，计算机技术中信息通常是指指定对象的某些操作和其操作结果按时间有序的集合。每个日志文件由日志记录组成，每条日志记录描述了一次单独的系统事件。需要进行说明的是，上述获取目标日志包括但不限于获取丢弃信息的发送端和接收端双方的日志。丢弃信息的日志包括的数据包括但不限于丢弃信息生成的时间、消息类型、消息描述、消息序号、消息的发送端、消息的接收端、发送端发送的时间、接收端接收的时间及对应的DST_ID、SRC_ID信息。需要进一步解释的是：上述SRC_ID和DST_ID是发送的消息中包含的编号，其中SRC_ID表示该消息发送端的编号，DST_ID表示消息接收端的编号。接收端和发送端双方创建的虚连接中也保存一份SRC_ID和DST_ID。可以理解的是，当发送端和接收端建立连接时，那么，发送端的SRC_ID和接收端的DST_ID一定是相同的。步骤S12：利用日志分析程序，提取目标日志中的目标数据，并根据目标数据分析丢弃信息丢弃的原因；其中，目标数据为丢弃信息在发送、接收过程中生成的数据。其中，对于步骤S12中收集目标数据的原因为：在多次人工分析丢弃信息丢弃原因的过程中，总结出根据丢弃信息在发送、接收过程中生成的数据能够分析出丢弃信息丢弃原因。因此，步骤S12中利用日志分析程序，分析目标数据以得到丢弃信息丢弃的原因。可见，本专利技术提供的分布式文件系统日志分析方法，通过获取分布式文件本文档来自技高网...

【技术保护点】
一种分布式文件系统日志分析方法，其特征在于，包括：获取分布式文件系统中丢弃信息的日志，得到目标日志；利用日志分析程序，提取所述目标日志中的目标数据，并根据所述目标数据分析所述丢弃信息丢弃的原因；其中，所述目标数据为所述丢弃信息在发送、接收过程中生成的数据。

【技术特征摘要】
1.一种分布式文件系统日志分析方法，其特征在于，包括：获取分布式文件系统中丢弃信息的日志，得到目标日志；利用日志分析程序，提取所述目标日志中的目标数据，并根据所述目标数据分析所述丢弃信息丢弃的原因；其中，所述目标数据为所述丢弃信息在发送、接收过程中生成的数据。2.根据权利要求1所述的分布式文件系统日志分析方法，其特征在于，所述获取分布式文件系统中丢弃信息的日志，得到目标日志的过程之前还包括：通过查询指令获取所述分布式文件系统中的所述丢弃信息。3.根据权利要求1所述的分布式文件系统日志分析方法，其特征在于，所述获取分布式文件系统中丢弃信息的日志，得到目标日志的过程之前还包括：根据所述丢弃信息获取该信息的发送端和接收端；其中，所述发送端创建第一虚连接，所述接收端创建第二虚连接，所述发送端和所述接收端通过所述第一虚连接和所述第二虚连接建立的连接进行通信。4.根据权利要求3所述的分布式文件系统日志分析方法，其特征在于，所述利用日志分析程序，提取所述目标日志中的目标数据，并根据所述目标数据分析所述丢弃信息丢弃的原因的过程包括：利用日志分析程序，通过查找指令，提取所述目标日志中的目标数据，并根据所述目标数据分析所述丢弃信息丢弃的原因；其中，所述目标数据包括所述发送端向所述接收端发起建立连接的请求信息数据和/或所述接收端对所述发送端请求建立连接的响应信息数据和/或所述发送端向所述接收端发起断开连接的请求信息数据和/或所述接收端对所述发送端请求断开连接的响应信息数据和/或所述第一虚连接工作时生成的数据和/或所述第二虚连接工作时生成的数据。5.根据权利要求3或4所述的分布式文件系统日志分析方法，其特征在于，所述丢弃信息丢弃的原因包括未找到虚连接或所述第一虚连接和所述第二虚连接的DST_ID不一致或所述第一虚连接和所述第二虚连接的TCP连接为空。6.一种分布式文件系统日...

【专利技术属性】
技术研发人员：王庆海，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41