一种任务执行方法、装置及设备制造方法及图纸

本说明书实施例提供一种任务执行方法、装置及设备，可应用于大数据技术领域。所述方法包括：对目标任务进行拆分得到至少两个执行指令；所述至少两个执行指令用于构成所述目标任务的执行过程；针对各个执行指令设置读取线程；所述读取线程用于分别导出对应的执行指令的执行日志；在执行所述目标任务的过程中，获取各个读取线程导出的执行日志；基于所述执行日志展示所述目标任务的执行进度。上述方法能够掌握各个步骤的执行情况，对于流程执行过程能够获取到较为清晰的感知。在任务执行错误时可以通过筛选直接展示关键部分信息，不仅减少了运维人员的工作量，也使得执行错误时较容易地实现断点重提、错误分析等工作，有利于提高工作的执行效率。

【技术实现步骤摘要】
一种任务执行方法、装置及设备
本说明书实施例涉及大数据
，特别涉及一种任务执行方法、装置及设备。
技术介绍
随着计算机技术的发展，在越来越多的
可以将待处理的任务转化为程序化的作业，进而利用预先设置的计算机程序指令实现对于相应的作业的处理。而为了实现作业的有效执行，往往需要对作业的执行结果进行监控。目前一般通过导出作业的执行日志，对执行日志进行查看来获取作业的执行结果。但是，上述获取作业的执行结果的方式，只能在作业执行完毕后查看作业的整体执行效果。而作业一般是由多个执行步骤所构成的，使得直接查看作业的执行日志的方式无法获取作业的实时执行流程。此外，在作业执行错误的情况下，直接从作业的执行日志中对错误原因进行分析不仅对测试人员的经验具有较高的要求，也增加了纠错所需要的时间。因此，目前亟需一种能够细致准确的掌握任务的执行进度的技术方案。
技术实现思路
本说明书实施例的目的是提供一种任务执行方法、装置及设备，以解决如何细致准确地掌握任务的执行进度的问题。为解决上述技术问题，本说明书实施例提供一种任务执行方法，包括：对目标任务进行拆分得到至少两个执行指令；所述至少两个执行指令用于构成所述目标任务的执行过程；针对各个执行指令设置读取线程；所述读取线程用于分别导出对应的执行指令的执行日志；在执行所述目标任务的过程中，获取各个读取线程导出的执行日志；基于所述执行日志展示所述目标任务的执行进度。本说明书实施例还提出一种任务执行装置，包括：目标任务拆分模块，用于对目标任务进行拆分得到至少两个执行指令；所述至少两个执行指令用于构成所述目标任务的执行过程；读取线程设置模块，用于针对各个执行指令设置读取线程；所述读取线程用于分别导出对应的执行指令的执行日志；执行日志获取模块，用于在执行所述目标任务的过程中，获取各个读取线程导出的执行日志；执行进度展示模块，用于基于所述执行日志展示所述目标任务的执行进度。本说明书实施例还提出一种任务执行设备，包括存储器和处理器；所述存储器，用于存储计算机程序指令；所述处理器，用于执行所述计算机程序指令以实现以下步骤：对目标任务进行拆分得到至少两个执行指令；所述至少两个执行指令用于构成所述目标任务的执行过程；针对各个执行指令设置读取线程；所述读取线程用于分别导出对应的执行指令的执行日志；在执行所述目标任务的过程中，获取各个读取线程导出的执行日志；基于所述执行日志展示所述目标任务的执行进度。由以上本说明书实施例提供的技术方案可见，本说明书实施例在获取到目标任务后，可以对目标任务进行拆分，并针对拆分得到执行指令设置相应的读取线程，从而能够在目标任务的执行过程中，基于目标任务中的执行指令的执行顺序，利用所述读取线程依次获取各个执行指令的执行日志，最终能够通过所述执行日志展示所述目标任务的执行进度。通过上述方法，在目标任务的执行过程中，能够掌握其中的各个步骤的执行情况，对于流程的执行过程能够获取到较为清晰的感知。在任务出现执行错误等情况时，也可以通过筛选直接展示关键部分的信息，不仅减少了运维人员的工作量，也使得在任务执行错误时能够较为容易地实现断点重提、错误分析等工作，有利于提高工作的执行效率。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本说明书实施例一种任务执行方法的流程图；图2为本说明书实施例一种获取执行日志的示意图；图3为本说明书实施例一种导出执行日志的示意图；图4为本说明书实施例一种断点续做的示意图图5为本说明书实施例一种执行日志归集的示意图；图6为本说明书实施例一种任务执行方法流程的示意图；图7为本说明书实施例一种任务执行装置的模块图；图8为本说明书实施例一种任务执行设备的结构图。具体实施方式下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。为了解决上述技术问题，首先介绍本说明书实施例一种任务执行方法。所述任务执行方法的执行主体可以为任务执行设备，所述任务执行设备包括但不限于服务器、工控机、PC机等。如图1所示，所述任务执行方法可以包括以下具体实施步骤。S110：对目标任务进行拆分得到至少两个执行指令；所述至少两个执行指令用于构成所述目标任务的执行过程。目标任务可以是待执行的任务，例如可以是基于大数据平台的作业，也可以是其他类型的作业。所述目标任务一般具有较长的执行流程，若通过读取目标任务所对应的任务日志的方式来获取任务的执行进度，则无法通过日志直接获取到其中的具体步骤，从而无法对目标任务的执行过程进行较为细致的掌握。此外，任务日志中也可能无法对目标任务中的各个具体步骤的执行情况进行说明，使得在获取目标任务执行状态，以及需要进行断点重启等工作时存在有较大的不便。所述目标任务可以由多个执行步骤所构成。具体的，这些执行步骤可以对应于目标任务内的每一行代码，也可以对应于一个不可拆分的最小执行单元。这些执行步骤可以是顺序执行的，即在处理完一个执行步骤后再执行下一个步骤，也可以是并发执行的，即可以在同一个时刻执行多个步骤。因此，可以对所述目标任务进行拆分，得到至少两个执行指令。所述执行指令用于表示目标任务执行中的最小划分步骤，即可以用于表示上述所介绍的执行步骤。这些执行指令一起构成了目标任务的执行过程。在确定所述执行指令之后，如果在目标任务的执行过程中，能够实时地获取到目标任务中的各个执行指令的执行结果，则可以较为细致地对目标任务的执行进度进行掌握。在一些实施方式中，所述目标任务可以是.hql脚本。在拆分得到执行指令时，可以是基于所述目标任务中的分割符号将所述目标任务拆分为至少两个HiveSQL命令。所述分割符号起到对目标任务内的执行指令进行分割的效果，具体的，所述分割符号例如可以是分号，以起到分隔语句的效果。基于所述分割符号进行拆分后即可得到对应的HiveSQL数据集，所述HiveSQL数据集中的数据即可作为执行指令。S120：针对各个执行指令设置读取线程；所述读取线程用于分别导出对应的执行指令的执行日志。在获取到目标任务中的执行指令后，可以针对所述执行指令设置读取线程。所述读取线程用于导出对应的执行指令的执行日志。所述执行日志可以用于记录执行指令的执行状态，即用于表示目标任务在执行时的具体信息，例如开始时刻、结束时刻、执行结果等信息。在本说明书实施例中，在所述读取线程是对应于各个执行指令的情况下，各个读取线程所读取的执行日志即为对应于各个执行指本文档来自技高网...

【技术保护点】
1.一种任务执行方法，其特征在于，包括：/n对目标任务进行拆分得到至少两个执行指令；所述至少两个执行指令用于构成所述目标任务的执行过程；/n针对各个执行指令设置读取线程；所述读取线程用于分别导出对应的执行指令的执行日志；所述执行日志用于记录执行指令的执行状态；/n在执行所述目标任务的过程中，获取各个读取线程导出的执行日志；/n基于所述执行日志展示所述目标任务的执行进度。/n

【技术特征摘要】
1.一种任务执行方法，其特征在于，包括：
对目标任务进行拆分得到至少两个执行指令；所述至少两个执行指令用于构成所述目标任务的执行过程；
针对各个执行指令设置读取线程；所述读取线程用于分别导出对应的执行指令的执行日志；所述执行日志用于记录执行指令的执行状态；
在执行所述目标任务的过程中，获取各个读取线程导出的执行日志；
基于所述执行日志展示所述目标任务的执行进度。


2.如权利要求1所述的方法，其特征在于，所述目标任务包括.hql脚本；所述对目标任务进行拆分得到至少两个执行指令，包括：
基于所述目标任务中的分割符号将所述目标任务拆分为至少两个HiveSQL命令。


3.如权利要求1所述的方法，其特征在于，所述基于所述执行日志展示所述目标任务的执行进度，包括：
解析所述执行日志得到日志信息；
根据所述日志信息确定所述目标任务的执行进度；
展示所述执行进度。


4.如权利要求3所述的方法，其特征在于，所述执行指令包括HiveSQL命令；所述日志信息包括HiveServer节点IP信息、HiveQueryID信息、YarnApplicationID信息、报错信息中的至少一种。


5.如权利要求4所述的方法，其特征在于，所述在执行所述目标任务的过程中，依次获取各个读取线程导出的执行日志，包括：
基于HiveServer节点IP信息定位候选执行日志；
从所述候选执行日志中筛选出对应于HiveQueryID信息的执行日志。


6.如权利要求1所述的方法，其特征在于，所述读取线程通过设置目标任务标识、执行指令标识、执行指令代码中的至少一种参数来定位至对应的执行指令。


7.如权利要求1所述的方法，其特征在于，所述基于所述执行日志展示所述目标任务的执行进度，包括：
基于各个执行指令所...

【专利技术属性】
技术研发人员：楼亚楠，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11