Hadoop集群的异常监测方法、装置、设备及介质制造方法及图纸

本申请实施例提供了一种Hadoop集群的异常监测方法、装置、设备及介质，涉及人工智能技术领域，包括：调用第一监测模型基于目标任务的任务进度信息和任务日志信息进行异常监测，得到第一异常监测结果，调用第二监测模型基于目标任务的任务数据信息进行异常监测，得到第二异常监测结果，根据第一异常监测结果和第二异常监测结果生成告警信息。可以对Hadoop集群中的目标任务进行实时监测，可以及时发现Hadoop集群中目标任务的异常。本申请可以涉及区块链技术，如可将告警信息写入区块链中。本申请还可以涉及数字医疗技术领域，如可将Hadoop集群用于执行医疗领域的任务。Hadoop集群用于执行医疗领域的任务。Hadoop集群用于执行医疗领域的任务。

【技术实现步骤摘要】
Hadoop集群的异常监测方法、装置、设备及介质


[0001]本申请涉及大数据
，尤其涉及一种Hadoop集群的异常监测方法、装置、设备及介质。

技术介绍

[0002]在大数据
中，可以通过Hadoop集群对电商、金融、工业、通信、医疗等各个领域提供海量数据的存储、查询和分析功能。为了满足各种应用场景下的业务需求，Hadoop集群可以运行多个任务。在业务的执行过程中，需要对Hadoop集群的任务进行异常监测。目前的异常监测方法中，无法对Hadoop集群中的任务进行实时监测，难以及时发现Hadoop集群中的异常任务，从而难以及时执行运维操作。

技术实现思路

[0003]本申请实施例提供了一种Hadoop集群的异常监测方法、装置、设备及介质。通过任务进度信息和任务日志信息可以识别目标任务在任务执行过程中的状态异常，以及通过任务数据信息可以识别目标任务在任务执行过程中的数据异常，对Hadoop集群中的目标任务进行实时监测，可以及时发现Hadoop集群中目标任务的异常，以便及时执行运维操作，保障目标任务的正常运行。
[0004]第一方面，本申请实施例提供了一种Hadoop集群的异常监测方法，该方法包括：
[0005]响应于对Hadoop集群中目标任务进行监测的触发操作，获取目标任务的任务进度信息和任务日志信息；
[0006]调用第一监测模型基于任务进度信息和任务日志信息进行异常监测，得到第一异常监测结果，该第一异常监测结果用于指示目标任务在任务状态维度的异常情况；
[0007]获取目标任务的任务数据信息，调用第二监测模型基于任务数据信息进行异常监测，得到第二异常监测结果，该第二异常监测结果用于指示目标任务在任务数据维度的异常情况；
[0008]根据第一异常监测结果和第二异常监测结果生成告警信息。
[0009]第二方面，本申请实施例提供了一种Hadoop集群的异常监测装置，该装置包括：
[0010]获取单元，用于响应于对Hadoop集群中目标任务进行监测的触发操作，获取目标任务的任务进度信息和任务日志信息；
[0011]异常监测单元，用于调用第一监测模型基于任务进度信息和任务日志信息进行异常监测，得到第一异常监测结果，该第一异常监测结果用于指示目标任务在任务状态维度的异常情况；
[0012]异常监测单元还用于获取目标任务的任务数据信息，调用第二监测模型基于任务数据信息进行异常监测，得到第二异常监测结果，该第二异常监测结果用于指示目标任务在任务数据维度的异常情况；
[0013]生成单元，用于根据第一异常监测结果和第二异常监测结果生成告警信息。
[0014]第三方面，本申请实施例还提供了一种Hadoop集群的异常监测设备，包括输入接口、输出接口，该Hadoop集群的异常监测设备还包括：
[0015]处理器，适于实现一条或多条指令；以及，
[0016]计算机存储介质，该计算机存储介质存储有一条或多条指令，该一条或多条指令适于由处理器加载并执行第一方面所述的方法。
[0017]第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序指令，计算机程序指令被处理器执行时，用于执行第一方面所述的方法。
[0018]在本申请实施例中，可以调用第一监测模型基于任务进度信息和任务日志信息进行异常监测，得到第一异常监测结果，在任务执行过程中识别任务状态维度的状态异常，不同于在任务结束时识别任务状态维度的状态异常，可以及时识别任务状态维度的异常。并且，可以调用第二监测模型对任务数据信息进行异常监测，得到第二异常监测结果，在任务执行过程中识别任务数据维度的数据异常，不同于在任务结束时识别任务数据维度的数据异常，可以及时识别任务数据维度的异常。除此之外，本申请综合考虑了任务状态维度的状态异常以及任务数据维度的数据异常，可以同时对两个维度进行异常监测，可以全方位的进行异常监测，及时识别异常。本申请方案可以对Hadoop集群中的目标任务进行实时监测，及时发现Hadoop集群中目标任务的异常，以便及时执行运维操作，保障目标任务的正常运行。
附图说明
[0019]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本申请实施例提供的一种Hadoop集群的异常监测系统的架构示意图；
[0021]图2是本申请实施例提供的一种Hadoop集群的异常监测方法的流程示意图；
[0022]图3是本申请实施例提供的另一种Hadoop集群的异常监测方法的流程示意图；
[0023]图4是本申请实施例提供的再一种Hadoop集群的异常监测方法的流程示意图；
[0024]图5是本申请实施例提供的一种Hadoop集群的异常监测装置的结构示意图；
[0025]图6是本申请实施例提供的一种Hadoop集群的异常监测设备的结构示意图。
具体实施方式
[0026]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027]在大数据
中，可以通过Hadoop集群对电商、金融、工业、通信、医疗等各个领域提供海量数据的存储、查询和分析功能。例如，Hadoop集群可以用于存储医疗
的医疗数据，如个人健康档案、处方、检查报告等医疗数据。又例如，Hadoop集群可以用于分
析金融
的金融数据，如对股市的K线图进行分析。为了满足各种应用场景下的业务需求，Hadoop集群中可以运行任务。任务可能会出现异常。因此，需要对Hadoop集群中的任务进行异常监测。然而，现有的异常监测方案中，仅可以通过任务的执行结果发现异常，无法在任务的执行过程中发现异常，无法对Hadoop集群中的任务进行实时监测，从而难以及时发现Hadoop集群中的任务异常，难以及时对异常任务执行运维操作。
[0028]基于此，本申请实施例提供了一种Hadoop集群的异常监测方法、装置、设备及介质，在该方法中，Hadoop集群的异常监测设备可以调用第一监测模型基于目标任务的任务进度信息和任务日志信息进行任务状态维度的异常监测，得到第一异常监测结果，以及调用第二监测模型基于目标任务的任务数据信息进行任务数据维度的异常监测，得到第二异常监测结果，并根据第一异常监测结果和第二异常监测结果生成告警信息。通过任务进度信息和任务日志信息可以识别目标任务在任务执行过程中的状态异常，以及通过任务数据信息可以识别目标任务在任务执行过程中的数据异常，可以对Hadoop集群本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Hadoop集群的异常监测方法，其特征在于，所述方法包括：响应于对Hadoop集群中目标任务进行监测的触发操作，获取所述目标任务的任务进度信息和任务日志信息；调用第一监测模型基于所述任务进度信息和所述任务日志信息进行异常监测，得到第一异常监测结果，所述第一异常监测结果用于指示所述目标任务在任务状态维度的异常情况；获取所述目标任务的任务数据信息，调用第二监测模型基于所述任务数据信息进行异常监测，得到第二异常监测结果，所述第二异常监测结果用于指示所述目标任务在任务数据维度的异常情况；根据所述第一异常监测结果和所述第二异常监测结果生成告警信息。2.如权利要求1所述的方法，其特征在于，所述第一监测模型包括第一分类任务，所述调用第一监测模型基于所述任务进度信息和所述任务日志信息进行异常监测，得到第一异常监测结果，包括：对所述任务进度信息和所述任务日志信息进行特征提取，得到第一特征向量；调用所述第一监测模型中的所述第一分类任务基于所述第一特征向量进行分类处理，得到所述目标任务属于所述任务状态维度的各个状态类别的概率；根据所述目标任务属于所述任务状态维度的状态异常类别的概率确定所述第一异常监测结果。3.如权利要求2所述的方法，其特征在于，所述状态异常类别的数量为一个，所述根据所述目标任务属于所述任务状态维度的状态异常类别的概率确定所述第一异常监测结果，包括：获取第一概率阈值；将所述目标任务属于所述任务状态维度的状态异常类别的概率与所述第一概率阈值作比较；若所述目标任务属于所述任务状态维度的状态异常类别的概率大于所述第一概率阈值，则确定所述第一异常监测结果为所述目标任务在所述任务状态维度下状态异常。4.如权利要求2所述的方法，其特征在于，所述状态异常类别的数量为至少两个，所述根据所述目标任务属于所述任务状态维度的状态异常类别的概率确定所述第一异常监测结果，包括：获取所述目标任务属于所述任务状态维度的各个状态异常类别的概率；基于注意力机制对所述任务状态维度的各个状态异常类别的概率进行加权处理，得到所述目标任务在所述任务状态维度的第一异常概率；若所述第一异常概率大于第一概率阈值，则确定所述第一异常监测结果为所述目标任务在所述任务状态维度下状态异常。5.如权利要求2所述的方法，其特征在于，所述状态异常类别的数量为至少两个，所述根据所述目标任务属于所述任务状态维度的状态异常类别的概率确定所述第一异常监测结果，包括：获取所述任务状态维度的各个状态异常类别对应的参考概率阈值；分别将所述任务状态维度的每个状态异常类别的概率与所述任务状态维度...

【专利技术属性】
技术研发人员：刘竞迪，王海昕，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：