一种大数据处理任务的故障处理方法和装置制造方法及图纸

本公开提供了一种大数据处理任务的故障处理方法和装置，涉及数据处理领域，尤其涉及大数据技术领域。具体实现方案为：当大数据处理任务发生故障，根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中发生故障的故障环节；根据预先设置的环节与自动化脚本之间的对应关系，确定所述故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障；调用所述目标自动化脚本解决所述故障环节所发生的故障。可以降低大数据处理任务运维的人工成本。可以降低大数据处理任务运维的人工成本。可以降低大数据处理任务运维的人工成本。

【技术实现步骤摘要】
一种大数据处理任务的故障处理方法和装置


[0001]本公开涉及数据处理
，尤其涉及大数据


技术介绍

[0002]大数据处理任务的整个流程中包括许多环节，任一环节出现故障都可能导致大数据处理任务无法正常运行。

技术实现思路

[0003]本公开提供了一种用于降低大数据处理任务运维的人工成本的方法、装置、设备以及存储介质。
[0004]根据本公开的第一方面，提供了大数据处理任务的故障处理方法，包括：
[0005]当大数据处理任务发生故障，根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中发生故障的故障环节；
[0006]根据预先设置的环节与自动化脚本之间的对应关系，确定所述故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障；
[0007]调用所述目标自动化脚本解决所述故障环节所发生的故障。
[0008]根据本公开的第二方面，提供了一种大数据处理任务的故障处理装置，包括：
[0009]故障定位模块，用于当大数据处理任务发生故障，根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中发生故障的故障环节；
[0010]脚本选择模块，用于根据预先设置的环节与自动化脚本之间的对应关系，确定所述故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障；
[0011]脚本调用模块，用于调用所述目标自动化脚本解决所述故障环节所发生的故障。
[0012]根据本公开的第三方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与所述至少一个处理器通信连接的存储器；其中，
[0015]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面中任一项所述的方法。
[0016]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述第一方面中任一项所述的方法。
[0017]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面中任一项所述的方法。
[0018]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0019]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0020]图1是根据本公开提供的大数据处理任务的故障处理方法的一种流程示意图；
[0021]图2是根据本公开提供的大数据处理任务的故障处理方法的另一种流程示意图；
[0022]图3是根据本公开提供的大数据处理任务的故障处理方法所使用的决策树的一种结构示意图
[0023]图4是根据本公开提供的大数据处理任务的故障处理方法的另一种流程示意图；
[0024]图5是根据本公开提供的大数据处理任务的故障处理装置的一种结构示意图；
[0025]图6是用来实现本公开实施例的大数据处理任务的故障处理方法的电子设备的框图。
具体实施方式
[0026]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0027]为了更清楚对本公开提供的大数据处理任务的故障处理方法进行说明，下面将对本公开提供的大数据处理任务的一种可能的应用场景进行示例性的说明。可以理解的是，以下示例仅是本公开提供的大数据处理任务的一种可能的应用场景，在其他可能的实施例中，本专利技术实施例提供的大数据处理任务也可以应用于其他可能的应用场景中，以下示例对此不做任何限制。
[0028]大数据处理任务包括许多环节，例如数据采集、数据分流、数据计算、数据应用等环节。并且不同环节可能是分布于不同计算平台执行的，如基于Spark(一种计算引擎)的平台、Kafka(一种开源数据流处理平台)平台、基于HDFS(Hadoop Distributed File System，分布式文件系统)平台、基于Doris(一种数据分析系统)的平台
[0029]任一环节出现故障都可能导致整个大数据处理任务无法正常执行(即发生故障)。
[0030]相关技术中，当大数据处理任务发生故障时，可以由相关人员人工排查导致大数据处理任务发生故障的问题，并解决该问题。一方面人工成本较高，另一方面从发生故障，到通知相关人员进行处理，再到相关人员完成处理往往需要较长时间，因此时效性较差。
[0031]基于此，本公开提供了一种大数据处理任务的故障处理方法，本公开提供的大数据处理任务的故障处理可以应用于任意具备大数据处理任务的故障处理能力的电子设备上。本公开提供的大数据处理任务的故障处理方法可以如图1所示，包括：
[0032]S101，当大数据处理任务发生故障，根据大数据处理任务中所有环节之间的依赖关系，确定大数据处理任务中发生故障的故障环节。
[0033]S102，根据预先设置的环节与自动化脚本之间的对应关系，确定故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障。
[0034]S103，调用自动化脚本解决故障环节所发生的故障。
[0035]选用该实施例，可以通过大数据处理任务中各个环节之间的依赖关系，定位发生故障的故障环节，并根据发生故障额故障环节，从预先设置的用于解决不同故障的自动化
脚本中筛选出能够用于解决故障环节所发生的故障的目标自动化脚本，从而通过目标自动化脚本自动解决故障环节所发生的故障。无需人工排查导致故障的问题并解决，有效降低了大数据处理任务运维的人工成本。
[0036]并且，由于可以在大数据处理任务发生故障后第一时间自动化的解决故障，解决故障的时效性更高，避免因故障无法及时解决导致大数据处理任务长期无法正常执行，有效提高了大数据处理任务运行的稳定性。
[0037]下面将对前述S101
‑
S103中的各个步骤进行详细说明:
[0038]在S101中，大数据处理任务可以是任意类型的大数据处理任务，并且大数据处理任务中所包括的环节根据应用场景的不同也可以不同，示例性的，在一种可能的实施例中，大数据处理任务中包括数据采集、数据分流、数据计算、智能分析环节。而在另一种可能的实施例中，大数据处理任务中包括数据采集、数据计算、数据应用环节。
[0039]可以理解理解的是，大数据处理任务中不同环节可能是由不同的计算平台进行处理的，即不同环节分布于不同的计算平台。大数据处理任务中的所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据处理任务的故障处理方法，包括：当大数据处理任务发生故障，根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中发生故障的故障环节；根据预先设置的环节与自动化脚本之间的对应关系，确定所述故障环节对应的目标自动化脚本，其中，每个自动化脚本用于解决所对应的环节出现的故障；调用所述目标自动化脚本解决所述故障环节所发生的故障。2.根据权利要求1所述的方法，其中，所述根据预先设置的环节与自动化脚本之间的对应关系，包括：根据所述故障环节，查询预设决策树中包含用于表示所述故障环节的节点的子节点；将所述子节点所表示的自动化脚本确定为所述故障环节所对应的自动化脚本。3.根据权利要求1
‑
2任一所述的方法，还包括：在调用所述自动化脚本解决所述故障环节所发生的故障之后，如果所述故障环节的故障未解决，向预设终端设备发送报警消息。4.根据权利要求1
‑
3任一所述的方法，还包括：在调用所述自动化脚本解决所述故障环节所发生的故障之后，展示用于表示所述故障环节的故障是否解决的处理结果；获取针对所述处理结果输入的调整指令；根据所述调整指令调整所述对应关系。5.根据权利要求1所述的方法，其中，根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中发生故障的故障环节，包括：根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中各环节产生的数据之间的数据血缘关系；根据所述数据血缘关系进行数据回溯，确定所述大数据处理任务中发生故障的环节。6.一种大数据处理任务的故障处理装置，包括：故障定位模块，用于当大数据处理任务发生故障，根据所述大数据处理任务中所有环节之间的依赖关系，确定所述大数据处理任务中发生故障的故障环节；脚本选择模块，用于根据预先设置的环节与自动化脚本之间的对应关系，确定所述故障环节对应的目标自动化脚本，其中...

【专利技术属性】
技术研发人员：张永泉，李楠，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：