一种对组件进行巡检的方法及装置制造方法及图纸

本发明专利技术提供一种对组件进行巡检的方法及装置，用以解决现有技术不存在对Hadoop集群组件的功能进行巡检措施的问题。该方法包括：执行待巡检组件的业务，得到业务的执行结果；将执行结果与预设基准结果进行对比，确定执行结果与基准结果之间的差别；若执行结果与基准结果之间的差别在预设范围之内，则确定待巡检组件正常，否则，确定待巡检组件异常，该方案实现了对集群组件的功能和正确性进行检查，进而避免了由于集群的组件故障而导致的隐患。

A method and device for inspection of components

The invention provides a method and device for inspecting components, so as to solve the problem that existing technologies do not exist for checking the functions of Hadoop cluster components. The method includes: to perform inspection of components business, get the results of the implementation of business; the results of the implementation and the results were compared between the preset reference, determine the implementation results and the difference between the benchmark results; if the execution result and reference the difference within the preset range, is determined to be normal or component inspection, to determine the inspection components the abnormal, the scheme realizes to inspect the cluster component functions and correctness, and avoid the due to component failure of cluster risks.

【技术实现步骤摘要】
一种对组件进行巡检的方法及装置
本专利技术涉及分布式存储
，特别是涉及一种对组件进行巡检的方法及装置。
技术介绍
Hadoop是一个能够对大量数据进行分布式处理的开源软件框架。Hadoop在可用的计算机集簇间分配数据并完成计算任务，而这些集簇可以扩展到数以千计的节点中。所以对于Hadoop来说，相对于某些节点的健康情况，更重要的是整个集群是否可以提供可靠的服务。而当前Hadoop系统的巡检，大多是检查服务器软硬件的使用情况，如资源使用以及进程状态，并未对集群组件的功能提供和正确性进行检查，从而遗漏掉可能存在的重大隐患。
技术实现思路
本专利技术提供一种对组件进行巡检的方法及装置，用以解决现有技术不存在对Hadoop集群组件的功能进行巡检措施的问题。根据本专利技术的一个方面，提供了一种对组件进行巡检的方法，包括：执行待巡检组件的业务，得到业务的执行结果；将执行结果与预设基准结果进行对比，确定执行结果与基准结果之间的差别；若执行结果与基准结果之间的差别在预设范围之内，则确定待巡检组件正常，否则，确定待巡检组件异常。其中，执行待巡检组件的业务，得到业务的执行结果，包括：按照预先记录的执行步骤执行预先存储的组件的脚本文件。进一步的，上述方法还包括：在执行待巡检组件的业务，得到业务的执行结果之前，录制待巡检组件使用的脚本文件，并存储脚本文件的执行步骤，以及保存脚本文件运行的结果作为基准结果。进一步的，上述方法还包括：在执行待巡检组件的业务，得到业务的执行结果之前，预先存储待巡检组件执行业务所需的信息，信息至少包括：输入文件信息、数据库信息、资源配置、输出方式、执行命令以及业务开始执行时间。其中，待巡检组件的业务至少包括以下一种：传输指定文件至文件存储系统、从文件存储系统上获取指定文件、提交多个任务，确定多个任务中能被分配到指定数量资源的任务的数量、写入结构化/非结构化数据、查询/输入指定的流式数据、为存储在分布式文件存储系统/数据存储系统的文件提供结构化查询；对指定节点的日志文件进行采集、聚合处理，并将处理结果输出至指定的输出数据接收方；生成指定文件的索引；对指定网页进行全文搜索和网络爬虫处理。根据本专利技术的第二个方面，提供了一种对组件进行巡检的装置，包括：执行模块，用于执行待巡检组件的业务，得到业务的执行结果；对比模块，用于将执行结果与预设基准结果进行对比，确定执行结果与基准结果之间的差别；确定模块，用于若执行结果与基准结果之间的差别在预设范围之内，则确定待巡检组件正常，否则，确定待巡检组件异常。其中，上述执行模块具体用于：根据预设规则按照预先记录的执行步骤执行预先存储的组件的脚本文件。进一步的，上述装置还包括：第一存储模块，用于在执行待巡检组件的业务，得到业务的执行结果之前，录制待巡检组件使用的脚本文件，并存储脚本文件的执行步骤，以及保存脚本文件运行的结果作为基准结果。进一步的，上述装置还包括：第二存储模块，用于在执行待巡检组件的业务，得到业务的执行结果之前，预先存储待巡检组件执行业务所需的信息，信息至少包括：输入文件信息、数据库信息、资源配置、输出方式、执行命令以及业务开始执行时间。其中，上述待巡检组件的业务至少包括以下一种：传输指定文件至文件存储系统、从文件存储系统上获取指定文件、提交多个任务，确定多个任务中能被分配到指定数量资源的任务的数量、写入结构化/非结构化数据、查询/输入指定的流式数据、为存储在分布式文件存储系统/数据存储系统的文件提供结构化查询；对指定节点的日志文件进行采集、聚合处理，并将处理结果输出至指定的输出数据接收方；生成指定文件的索引；对指定网页进行全文搜索和网络爬虫处理。本专利技术有益效果如下：本专利技术实施例提供的方案，通过预设规则执行待巡检的业务，并将业务执行结果与预设的基准结果进行对比，从而实现了对集群组件的功能和正确性进行检查，进而避免了由于集群的组件故障而导致的隐患。附图说明图1是本专利技术实施例中对组件进行巡检的方法的流程图；图2是本专利技术实施例中对形成对组件进行巡检的装置的结构框图；图3是本专利技术实施例中的一种基于hdfs对组件进行巡检的方法的流程；图4是本专利技术实施例中的另一种基于hdfs对组件进行巡检的方法的流程；图5是本专利技术实施例中的一种基于yarn对组件进行巡检的方法的流程；图6是本专利技术实施例中的另一种基于yarn对组件进行巡检的方法的流程；图7是本专利技术实施例中的一种基于Hbase对组件进行巡检的方法的流程；图8是本专利技术实施例中另一种基于Hbase对组件进行巡检的方法的流程；图9是本专利技术实施例中的一种基于kafka对组件进行巡检的方法的流程；图10是本专利技术实施例中另一种基于kafka对组件进行巡检的方法的流程；图11是本专利技术实施例中的一种基于impala对组件进行巡检的方法的流程；图12是本专利技术实施例中另一种基于impala对组件进行巡检的方法的流程；图13是本专利技术实施例中的一种基于flume对组件进行巡检的方法的流程；图14是本专利技术实施例中一种基于nutch或solrflume对组件进行巡检的方法的流程；图15是本专利技术实施例中的另一种基于nutch或solr对组件进行巡检的方法的流程；图16是本专利技术提供的对组件进行巡检的装置的结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。第一实施例在通过本实施例对本专利技术提供的方案进行具体说明之前，首先对本专利技术的整体构思进行说明：使用大数据管理系统录制各巡检组件的使用脚本文件并将其执行过程进行顺序存储，同时保存执行的结果作为基准；执行巡检功能时即开始脚本文件的运行；执行结束后将执行结果与基准结果进行对比，若误差在阈值范围之内则认为组件正常，可正常提供服务，否则确定组件异常，可以发出告警信息。在上述构思的基础上，本实施例提供了一种对组件进行巡检的方法，图1是该方法的流程图，如图1所示，该方法包括如下处理：步骤101：执行待巡检组件的业务，得到业务的执行结果；其中，执行待巡检组件的业务，得到业务的执行结果，具体可以包括：按照预先记录的执行步骤执行预先存储的组件的脚本文件。进一步的，预设规则中可以包括预先存储的待巡检组件执行业务所需的信息，该信息至少包括以下一种，输入文件信息、数据库信息、资源配置、输出方式、执行命令以及业务开始执行时间，基于此，在执行该步骤101之前，本实施例提供的方法还可以包括：预先存储待巡检组件执行业务所需的信息。步骤102：将执行结果与预设基准结果进行对比，确定执行结果与基准结果之间的差别；优选的，本实施例提供的方法还可以包括：在执行待巡检组件的业务，得到业务的执行结果之前，录制待巡检组件使用的脚本文件，并存储脚本文件的执行步骤，以及保存脚本文件运行的结果作为基准结果。步骤103：若执行结果与基准结果之间的差别在预设范围之内，则确定待巡检组件正常，否则，确定待巡检组件异常。在本实施例中，待巡检组件的业务至少包括以下一种：传输指定文件至文件存储系统、从文件存储系统上获取指定文件、提交多个任务，确本文档来自技高网...

【技术保护点】
一种对组件进行巡检的方法，其特征在于，包括：执行待巡检组件的业务，得到所述业务的执行结果；将所述执行结果与预设基准结果进行对比，确定所述执行结果与所述基准结果之间的差别；若执行结果与基准结果之间的差别在预设范围之内，则确定所述待巡检组件正常，否则，确定所述待巡检组件异常。

【技术特征摘要】
1.一种对组件进行巡检的方法，其特征在于，包括：执行待巡检组件的业务，得到所述业务的执行结果；将所述执行结果与预设基准结果进行对比，确定所述执行结果与所述基准结果之间的差别；若执行结果与基准结果之间的差别在预设范围之内，则确定所述待巡检组件正常，否则，确定所述待巡检组件异常。2.根据权利要求1所述的方法，其特征在于，所述执行待巡检组件的业务，得到所述业务的执行结果，包括：按照预先记录的执行步骤执行预先存储的所述组件的脚本文件。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在执行待巡检组件的业务，得到所述业务的执行结果之前，录制待巡检组件使用的脚本文件，并存储所述脚本文件的执行步骤，以及保存所述脚本文件运行的结果作为所述基准结果。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在执行待巡检组件的业务，得到所述业务的执行结果之前，预先存储所述待巡检组件执行业务所需的信息，所述信息至少包括：输入文件信息、数据库信息、资源配置、输出方式、执行命令以及业务开始执行时间。5.根据权利要求1至4任意一项所述的方法，其特征在于，所述待巡检组件的业务至少包括以下一种：传输指定文件至文件存储系统、从文件存储系统上获取指定文件、提交多个任务，确定所述多个任务中能被分配到指定数量资源的任务的数量、写入结构化/非结构化数据、查询/输入指定的流式数据、为存储在分布式文件存储系统/数据存储系统的文件提供结构化查询；对指定节点的日志文件进行采集、聚合处理，并将处理结果输出至指定的输出数据接收方；生成指定文件的索引；对指定网页进行全文搜索和网络爬虫处理。6.一种对组件进行巡检的装置，...

【专利技术属性】
技术研发人员：尤元建，刘建鹏，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44