一种基于Hadoop的监控方法、系统、存储介质及设备技术方案

本发明专利技术提供了一种基于Hadoop的监控方法、系统、存储介质及设备，方法包括：由监控模块采集Hadoop的若干子服务的运行信息，并将运行信息分别发送至消息队列；由日志收集模块收集若干子服务在运行过程中产生的日志文本，并将日志文本分别发送至消息队列；由消息队列将接收到的运行信息和日志文本分别写入各自对应的存储单元；由分析模块从多个存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控。本发明专利技术实现了对Hadoop的子服务进行多种维度的全面监控，并且可以使运维人员及时了解到异常情况，以采取积极的解决措施。以采取积极的解决措施。以采取积极的解决措施。

【技术实现步骤摘要】
一种基于Hadoop的监控方法、系统、存储介质及设备


[0001]本专利技术涉及大数据
，尤其涉及一种基于Hadoop的监控方法、系统、存储介质及设备。

技术介绍

[0002]对于Hadoop(一种分布式系统基础架构)的在线与离线服务、后台日志的管理、服务状态的监控与报错定位等，一直是维护人员的难题，主要原因在于缺少统一的监控管理方法。当服务报错并异常终止时，维护人员需要登录系统后台找到具体的log(日志)文件，并在海量的日志文本中找到异常开始的时间点并逐渐排查。对于重要的在线业务，这种定位方式不符合实时性的要求，容易错过最佳的修复时间造成数据的大量丢失。此外，诸如内存或数据积压等问题，往往异常情况持续到一定的时间之后才会影响到实际业务并被维护人员发现。对于越复杂的项目架构，维护的成本就会越高。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提出一种基于Hadoop的监控方法、系统、存储介质及设备，用以解决现有技术中对于Hadoop的多种信息的监控缺少统一管理的问题。
[0004]基于上述目的，本专利技术提供了一种基于Hadoop的监控方法，包括以下步骤：
[0005]由监控模块采集Hadoop的若干子服务的运行信息，并将运行信息分别发送至消息队列；
[0006]由日志收集模块收集若干子服务在运行过程中产生的日志文本，并将日志文本分别发送至消息队列；
[0007]由消息队列将接收到的运行信息和日志文本分别写入各自对应的存储单元；
[0008]由分析模块从多个存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控。
[0009]在一些实施例中，由分析模块从多个存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控包括：
[0010]由分析模块从运行信息所在的存储单元中分别解析运行信息，并在每个运行信息的解析过程中捕获其中异常的运行状态信息以及资源占用情况达到预警程度的异常资源占用信息；
[0011]从异常的运行状态信息和异常资源占用信息中分别提取相应的异常项名称和异常发生时间，并将异常项名称和异常发生时间展示至可视界面。
[0012]在一些实施例中，将日志文本分别发送至消息队列包括：
[0013]将日志文本分别添加时间戳后发送至消息队列。
[0014]在一些实施例中，由分析模块从多个存储单元中分别解析相应的运行信息及日志
文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控还包括：
[0015]由分析模块从日志文本所在的存储单元中分别解析日志文本，并在每个日志文本的解析过程中捕获其中的报错信息，并从报错信息中提取报错项和对应的报错内容，并将报错项和对应的报错内容添加对应的时间戳中的时间记录后展示至可视界面。
[0016]在一些实施例中，方法还包括：
[0017]由监控模块为每个运行信息在消息队列创建一个存储单元；
[0018]由日志收集模块为每个日志文本在消息队列创建一个存储单元。
[0019]在一些实施例中，方法还包括：
[0020]由消息队列基于预设的历史数据保留时间对运行信息和日志文本进行保留。
[0021]在一些实施例中，若干子服务包括HDFS、YARN及MapReduce中的任意一个或多个。
[0022]本专利技术的另一方面，还提供了一种基于Hadoop的监控系统，包括：
[0023]第一发送模块，配置用于由监控模块采集Hadoop的若干子服务的运行信息，并将运行信息分别发送至消息队列；
[0024]第二发送模块，配置用于由日志收集模块收集若干子服务在运行过程中产生的日志文本，并将日志文本分别发送至消息队列；
[0025]存储模块，配置用于由消息队列将接收到的运行信息和日志文本分别写入各自对应的存储单元；以及
[0026]监控模块，配置用于由分析模块从多个存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控。
[0027]本专利技术的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述方法。
[0028]本专利技术的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述方法。
[0029]本专利技术至少具有以下有益技术效果：
[0030]本专利技术通过设置监控模块来采集Hadoop的子服务的运行信息，并设置日志收集模块来收集子服务运行过程中的日志文本，并经由消息队列将运行信息和日志文本存储至存储单元，再通过设置的分析模块对运行信息和日志文本进行解析以及提取异常信息，从而将重要的异常情况展示到可视界面，可以及时让运维人员了解到异常情况的发生，从而对Hadoop的子服务进行多种维度的全面监控；并且通过关键信息可以使运维人员高效定位到相应的异常项目，以及时采取对应的解决措施，从而避免造成更严重的影响。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0032]图1为根据本专利技术实施例提供的基于Hadoop的监控方法的示意图；
[0033]图2为根据本专利技术实施例提供的基于Hadoop的监控系统的示意图；
[0034]图3为根据本专利技术实施例提供的实现基于Hadoop的监控方法的计算机可读存储介质的示意图；
[0035]图4为根据本专利技术实施例提供的执行基于Hadoop的监控方法的计算机设备的硬件结构示意图。
具体实施方式
[0036]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0037]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
[0038]基于上述目的，本专利技术实施例的第一个方面，提出了一种基于Hadoop的监控方法的实施例。图1示出的是本专利技术提供的基于Hadoop的监控方法的实施例的示意图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Hadoop的监控方法，其特征在于，包括以下步骤：由监控模块采集Hadoop的若干子服务的运行信息，并将所述运行信息分别发送至消息队列；由日志收集模块收集所述若干子服务在运行过程中产生的日志文本，并将所述日志文本分别发送至所述消息队列；由所述消息队列将接收到的所述运行信息和所述日志文本分别写入各自对应的存储单元；由分析模块从多个所述存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从所述异常信息中提取关键信息，且将所述关键信息展示至所述Hadoop的可视界面以进行监控。2.根据权利要求1所述的方法，其特征在于，由分析模块从多个所述存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从所述异常信息中提取关键信息，且将所述关键信息展示至所述Hadoop的可视界面以进行监控包括：由所述分析模块从所述运行信息所在的存储单元中分别解析所述运行信息，并在每个所述运行信息的解析过程中捕获其中异常的运行状态信息以及资源占用情况达到预警程度的异常资源占用信息；从所述异常的运行状态信息和所述异常资源占用信息中分别提取相应的异常项名称和异常发生时间，并将所述异常项名称和异常发生时间展示至所述可视界面。3.根据权利要求1所述的方法，其特征在于，将所述日志文本分别发送至所述消息队列包括：将所述日志文本分别添加时间戳后发送至所述消息队列。4.根据权利要求3所述的方法，其特征在于，由分析模块从多个所述存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从所述异常信息中提取关键信息，且将所述关键信息展示至所述Hadoop的可视界面以进行监控还包括：由所述分析模块从所述日志文本所在的存储单元中分别解析所述日志文本，并在每个所述日志文本的解析过程中捕获其...

【专利技术属性】
技术研发人员：和思扬，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：