一种数据处理状况的检测方法和系统技术方案

本发明专利技术提供了一种数据处理状况的检测方法和系统，其方法包括步骤：S100获取Flume服务器采集的日志记录；S200打印所述日志记录；S300获取打印过程中的状态信息，根据所述状态信息分析各个节点设备的数据处理状况。系统包括：获取模块、打印模块和控制模块；所述打印模块分别与所述获取模块和所述控制模块连接；所述获取模块，获取Flume服务器采集的日志记录；所述打印模块，打印所述日志记录；所述控制模块，获取打印过程中的状态信息，根据所述状态信息分析各个节点设备的数据处理状况。本发明专利技术实现及时的、快速的检测出各个节点设备的数据处理状况。

A data processing status detection method and system

The invention provides a method and a system for detecting data processing status. The method comprises steps: S100 obtains the log records collected by Flume server; S200 prints the log records; S300 obtains the state information in the printing process, and analyzes the data processing status of each node device according to the state information. The system comprises: acquisition module, printing module and control module; the printing module is connected with the acquisition module and the control module respectively; the acquisition module obtains the log records collected by the Flume server; the printing module prints the log records; and the control module obtains the status in the printing process. Information, according to the state information, the data processing status of each node device is analyzed. The invention realizes timely and rapid detection of data processing status of each node device.

【技术实现步骤摘要】
一种数据处理状况的检测方法和系统
本专利技术涉及数据处理领域，尤指一种数据处理状况的检测方法和系统。
技术介绍
在设备中，日志是一个非常重要的功能组成部分，日志可以记录下系统所产生的所有行为，并按照某种规范表达出来。在系统出现错误时，可以通过日志所记录的信息为系统进行排错，优化系统的性能，或者根据日志信息来调整系统的各种行为，日志在系统中的地位十分重要。然而，在对日志进行数据收集过程中，经常会出现终端日志收集系统停止收集数据的现象，由于出现终端日志收集系统故障并停止收集数据时，并不能及时被运维人发现，只有在对数据进行统计或对数据进行相关查询操作等，才会被发现，存在很大的滞后性，经常会出现长时间数据丢失现象，如何实时检测日志收集是否出现故障急需解决的问题。
技术实现思路
本专利技术的目的是提供一种数据处理状况的检测方法和系统，实现及时的、快速的检测出各个节点设备的数据处理状况。本专利技术提供的技术方案如下：本专利技术提供一种数据处理状况的检测方法，包括步骤：S100获取Flume服务器采集的日志记录；S200打印所述日志记录；S300获取打印过程中的状态信息，根据所述状态信息分析各个节点设备的数据处理状况。进一步的，所述步骤S100之前包括步骤：S010获取Nginx服务器下发的日志信息；S020将所述日志信息储存至预设目录文件中。进一步的，所述步骤S100包括步骤：S110获取打印指令；所述打印指令包括所述Flume服务器的标识信息；S120根据所述打印指令，从所述预设目录文件中查找到所述标识信息对应的储存区间中的日志记录；所述日志记录包括若干个日志信息。进一步的，所述步骤S300包括步骤：S310获取所有Flume服务器打印各自对应的日志记录的第一打印速率；S320判断所述第一打印速率是否小于预设打印速率；若是，进入步骤S330；S330根据节点分布情况，依次重启每个节点设备，并重新获取所有Flume服务器打印各自对应的日志记录的第二打印速率；S340比较所述预设打印速率和所述第二打印速率，得到各个节点设备的数据处理状况。进一步的，所述步骤S300之后包括步骤：S400根据各个节点设备的数据处理状况，分析得到故障原因和故障节点。本专利技术还提供一种数据处理状况的检测系统，包括：获取模块、打印模块和控制模块；所述打印模块分别与所述获取模块和所述控制模块连接；所述获取模块，获取Flume服务器采集的日志记录；所述打印模块，打印所述日志记录；所述控制模块，获取打印过程中的状态信息，根据所述状态信息分析各个节点设备的数据处理状况。进一步的，所述数据处理状况的检测系统还包括：接收模块和储存模块；所述储存模块分别与所述接收模块和所述获取模块连接；接收模块，获取Nginx服务器下发的日志信息；储存模块，将所述日志信息储存至预设目录文件中。进一步的，所述获取模块包括：第一获取单元和调用单元；所述第一获取单元与所述调用单元连接；所述调用单元与所述储存模块连接；所述第一获取单元，获取打印指令；所述打印指令包括所述Flume服务器的标识信息；所述调用单元，根据所述打印指令，从所述预设目录文件中查找到所述标识信息对应的储存区间中的日志记录；所述日志记录包括若干个日志信息。进一步的，所述控制模块包括：第二获取单元、判断单元、控制单元和分析单元；所述判断单元分别与所述第二获取单元和控制单元连接；所述控制单元与所述分析单元连接；所述第二获取单元，获取所有Flume服务器打印各自对应的日志记录的第一打印速率；所述判断单元，判断所述第一打印速率是否小于预设打印速率；所述控制单元，当所述第一打印速率小于预设打印速率时，根据节点分布情况，依次重启每个节点设备，并所述第二获取单元重新获取所有Flume服务器打印各自对应的日志记录的第二打印速率；所述分析单元，比较所述预设打印速率和所述第二打印速率，得到各个节点设备的数据处理状况。进一步的，所述数据处理状况的检测系统还包括：分析模块；所述分析模块与所述控制模块连接；分析模块，根据各个节点设备的数据处理状况，分析得到故障原因和故障节点。通过本专利技术提供的一种数据处理状况的检测方法和系统，能够带来以下至少一种有益效果：1)本专利技术获取Flume服务器采集的日志记录，将日志记录进行打印显示，打印显示时同步获取状态信息，根据状态信息分析各个节点设备的数据处理状况信息。2)本专利技术通过分析各个节点设备的数据处理状况信息，能够及时的、快速的检测出各个节点设备出现故障的发生情况，便于用户及时排除故障，保障海量的日志记录的正常收集，提升数据收集效率。附图说明下面将以明确易懂的方式，结合附图说明优选实施方式，对一种数据处理状况的检测方法和系统的上述特性、技术特征、优点及其实现方式予以进一步说明。图1是本专利技术一种数据处理状况的检测方法的一个实施例的流程图；图2是本专利技术一种数据处理状况的检测方法的另一个实施例的流程图；图3是本专利技术一种数据处理状况的检测方法的另一个实施例的流程图；图4是本专利技术一种数据处理状况的检测系统的一个实施例的结构示意图。具体实施方式为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对照附图说明本专利技术的具体实施方式。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。为使图面简洁，各图中只示意性地表示出了与本专利技术相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。本专利技术一种数据处理状况的检测方法的一个实施例，如图1所示，包括：S100获取Flume服务器采集的日志记录；S200打印所述日志记录；S300获取打印过程中的状态信息，根据所述状态信息分析各个节点设备的数据处理状况。具体的，本实施例中，获取Flume服务器采集的日志记录，通过电脑等等测试端将日志记录进行打印显示，打印显示时同步获取状态信息，根据状态信息分析各个节点设备的数据处理状况信息，从而能够及时的、快速的检测出各个节点设备的数据处理状况信息，根据数据处理状况信息能够及时了解掌握节点设备出现故障的发生情况，从而便于用户及时排除故障，保障海量的日志记录的正常收集，提升数据收集效率。本专利技术一种数据处理状况的检测方法的另一个实施例，是上述实施例的优化实施例，如图2所示，本实施例与上述实施例相比，主要改进在于，包括：S010获取Nginx服务器下发的日志信息；S020将所述日志信息储存至预设目录文件中；S110获取打印指令；所述打印指令包括所述Flume服务器的标识信息；S120根据所述打印指令，从所述预设目录文件中查找到所述标识信息对应的储存区间中的日志记录；所述日志记录包括若干个日志信息；S200打印所述日志记录；S300获取打印过程中的状态信息，根据所述状态信息分析各个节点设备的数据处理状况。具体的，本实施例中，移动终端根据公网域名发送用户日志信息至对应的域名服务器，通过DNS域名解析和NAT映射，将移动终端发送过来的日志信息传送到Nginx服务器，Ngi本文档来自技高网...

【技术保护点】
1.一种数据处理状况的检测方法，其特征在于，包括步骤：S100获取Flume服务器采集的日志记录；S200打印所述日志记录；S300获取打印过程中的状态信息，根据所述状态信息分析各个节点设备的数据处理状况。

【技术特征摘要】
1.一种数据处理状况的检测方法，其特征在于，包括步骤：S100获取Flume服务器采集的日志记录；S200打印所述日志记录；S300获取打印过程中的状态信息，根据所述状态信息分析各个节点设备的数据处理状况。2.根据权利要求1所述的数据处理状况的检测方法，其特征在于，所述步骤S100之前包括步骤：S010获取Nginx服务器下发的日志信息；S020将所述日志信息储存至预设目录文件中。3.根据权利要求2所述的数据处理状况的检测方法，其特征在于，所述步骤S100包括步骤：S110获取打印指令；所述打印指令包括所述Flume服务器的标识信息；S120根据所述打印指令，从所述预设目录文件中查找到所述标识信息对应的储存区间中的日志记录；所述日志记录包括若干个日志信息。4.根据权利要求1所述的数据处理状况的检测方法，其特征在于，所述步骤S300包括步骤：S310获取所有Flume服务器打印各自对应的日志记录的第一打印速率；S320判断所述第一打印速率是否小于预设打印速率；若是，进入步骤S330；S330根据节点分布情况，依次重启每个节点设备，并重新获取所有Flume服务器打印各自对应的日志记录的第二打印速率；S340比较所述预设打印速率和所述第二打印速率，得到各个节点设备的数据处理状况。5.根据权利要求1-4任一项所述的数据处理状况的检测方法，其特征在于，所述步骤S300之后包括步骤：S400根据各个节点设备的数据处理状况，分析得到故障原因和故障节点。6.一种数据处理状况的检测系统，其特征在于，包括：获取模块、打印模块和控制模块；所述打印模块分别与所述获取模块和所述控制模块连接；所述获取模块，获取Flume服务器采集的日志记录；所述打印模块，打印所述日志记录；所述控制模块，获取打印过程中的状...

【专利技术属性】
技术研发人员：魏晓林，
申请(专利权)人：四川斐讯信息技术有限公司，
类型：发明
国别省市：四川,51