数据处理任务的执行方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理任务的执行方法及装置，涉及大数据技术领域，其中该方法包括：接收数据处理任务，将数据处理任务拆解为多个子任务；确定数据处理任务的计划完成时刻、数据处理任务的处理数据量；将计划完成时刻、处理数据量，输入任务分析模型，输出每个子任务的预估执行时长；其中任务分析模型根据历史数据处理任务所处理的数据量信息、历史任务执行日志，对机器学习模型训练得到；根据处理数据量确定多个子任务的执行顺序；根据多个子任务的执行顺序、每个子任务的预估执行时长，确定每个子任务的开始执行时刻；根据每个子任务的开始执行时刻执行每个子任务。本发明专利技术可以实现提升大数据量数据处理任务的执行效率。实现提升大数据量数据处理任务的执行效率。实现提升大数据量数据处理任务的执行效率。

【技术实现步骤摘要】
数据处理任务的执行方法及装置


[0001]本专利技术涉及大数据
，尤其涉及一种数据处理任务的执行方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]目前执行数据量较大的数据处理任务，任务量大，耗时较长，并且经常对任务完成时间造成挑战，受多个因素影响，执行效果往往不令人满意；且当前执行数据处理任务一般在业务系统中进行，任务数据量多时往往影响任务执行效率，也会影响业务系统处理其他业务的效率。现有技术为提高硬件服务器的负载能力，以承担更多大数据处理任务，但该方法成本高、不易操作且任务执行效率提升有限。

技术实现思路

[0004]本专利技术实施例提供一种数据处理任务的执行方法，用以提升大数据量数据处理任务的执行效率，该方法包括：
[0005]接收数据处理任务，将数据处理任务拆解为多个子任务；
[0006]确定数据处理任务的计划完成时刻、数据处理任务的处理数据量；
[0007]将计划完成时刻、处理数据量，输入任务分析模型，输出每个子任务的预估执行时长；其中任务分析模型根据历史数据处理任务所处理的数据量信息、历史任务执行日志，对机器学习模型训练得到；
[0008]根据处理数据量确定多个子任务的执行顺序；
[0009]根据多个子任务的执行顺序、每个子任务的预估执行时长，确定每个子任务的开始执行时刻；
[0010]根据每个子任务的开始执行时刻执行每个子任务。
[0011]本专利技术实施例还提供一种数据处理任务的执行装置，用以提升大数据量数据处理任务的执行效率，该装置包括：
[0012]任务拆解模块，用于接收数据处理任务，将数据处理任务拆解为多个子任务；
[0013]任务监控模块，用于确定数据处理任务的计划完成时刻、数据处理任务的处理数据量；
[0014]任务分析模块，用于将计划完成时刻、处理数据量，输入任务分析模型，输出每个子任务的预估执行时长；根据处理数据量确定多个子任务的执行顺序；根据多个子任务的执行顺序、每个子任务的预估执行时长，确定每个子任务的开始执行时刻；其中任务分析模型根据历史数据处理任务所处理的数据量信息、历史任务执行日志，对机器学习模型训练得到；
[0015]任务调度模块，用于根据每个子任务的开始执行时刻执行每个子任务。
[0016]本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并
可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据处理任务的执行方法。
[0017]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理任务的执行方法。
[0018]本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述数据处理任务的执行方法。
[0019]本专利技术实施例与现有技术中提高硬件服务器的负载能力的技术方案相比，通过将数据处理任务拆解为多个子任务；确定数据处理任务的计划完成时刻、数据处理任务的处理数据量；将计划完成时刻、处理数据量，输入任务分析模型，输出每个子任务的预估执行时长；根据处理数据量确定多个子任务的执行顺序；根据多个子任务的执行顺序、每个子任务的预估执行时长，确定每个子任务的开始执行时刻；根据每个子任务的开始执行时刻执行每个子任务，可以实现提升大数据量数据处理任务的执行效率。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0021]图1为本专利技术实施例中数据处理任务的执行方法的流程图；
[0022]图2为本专利技术实施例中数据处理任务的执行方法的具体实例的流程图；
[0023]图3为本专利技术实施例中数据处理任务的执行方法的具体实例的流程图；
[0024]图4为本专利技术实施例中数据处理任务的执行装置的结构框图；
[0025]图5为本专利技术实施例中数据处理任务的执行装置的设备示意图。
具体实施方式
[0026]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。
[0027]为了实现提升大数据量数据处理任务的执行效率，本专利技术实施例提供一种数据处理任务的执行方法。图1为本专利技术实施例中数据处理任务的执行方法的流程图。如图1所示，本专利技术实施例中数据处理任务的执行方法可以包括：
[0028]步骤101、接收数据处理任务，将数据处理任务拆解为多个子任务；
[0029]步骤102、确定数据处理任务的计划完成时刻、数据处理任务的处理数据量；
[0030]步骤103、将计划完成时刻、处理数据量，输入任务分析模型，输出每个子任务的预估执行时长；其中任务分析模型根据历史数据处理任务所处理的数据量信息、历史任务执行日志，对机器学习模型训练得到；
[0031]步骤104、根据处理数据量确定多个子任务的执行顺序；
[0032]步骤105、根据多个子任务的执行顺序、每个子任务的预估执行时长，确定每个子任务的开始执行时刻；
[0033]步骤106、根据每个子任务的开始执行时刻执行每个子任务。
[0034]在一个实施例中，将数据处理任务拆解为多个子任务，可以包括：根据数据处理任务的处理数据之间的依赖关系，将数据处理任务拆解为多个子任务。接收到数据处理任务后，先对数据处理任务中需要处理的数据进行梳理，梳理出处理数据之间的依赖关系，例如数据1的处理需要引用之前处理过的数据2，则数据1和数据2之间为依赖关系，若实现一功能仅需要处理数据1，则可以拆解出子任务1用于实现该功能，子任务1中可以包含数据1、数据2及处理数据1的程序。
[0035]在一个实施例中，历史任务执行日志中可以记录有历史数据处理任务的计划完成时刻和实际执行时长。在历史数据处理任务执行前对历史数据处理任务的计划完成时刻进行确定，执行后对实际执行时长进行记录，生成历史任务执行日志，并记录历史数据处理任务所处理的数据量信息，根据记录的历史数据处理任务所处理的数据量信息、生成的历史任务执行日志，对机器学习模型进行训练；其中，机器学习模型可以根据系统性能、数据处理任务类型、数据处理任务数据量等进行选择。
[0036]在一个实施例中，根据处理数据量确定多个子任务的执行顺序，可以包括：确定历史数据处理任务所处理的数据量信息，与执行数据处理任务的数据处理系统的性能数据之间的关联关系；根据处理数据量、所述关联关系，确定多个子任务的执行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理任务的执行方法，其特征在于，包括：接收数据处理任务，将数据处理任务拆解为多个子任务；确定数据处理任务的计划完成时刻、数据处理任务的处理数据量；将计划完成时刻、处理数据量，输入任务分析模型，输出每个子任务的预估执行时长；其中任务分析模型根据历史数据处理任务所处理的数据量信息、历史任务执行日志，对机器学习模型训练得到；根据处理数据量确定多个子任务的执行顺序；根据多个子任务的执行顺序、每个子任务的预估执行时长，确定每个子任务的开始执行时刻；根据每个子任务的开始执行时刻执行每个子任务。2.如权利要求1所述的方法，其特征在于，将数据处理任务拆解为多个子任务，包括：根据数据处理任务的处理数据之间的依赖关系，将数据处理任务拆解为多个子任务。3.如权利要求1所述的方法，其特征在于，历史任务执行日志中记录有历史数据处理任务的计划完成时刻和实际执行时长。4.如权利要求1所述的方法，其特征在于，多个子任务的执行顺序包括：多个子任务并行处理，或多个子任务串行处理。5.如权利要求1所述的方法，其特征在于，根据处理数据量确定多个子任务的执行顺序，包括：确定历史数据处理任务所处理的数据量信息，与执行数据处理任务的数据处理系统的性能数据之间的关联关系；根据处理数据量、所述关联关系，确定多个子任务的执行顺序。6.一种数据处理任务的执行装置，其特征在于，包括：任务拆解模块，用于接收数据处理任务，将数据处理任务拆解为多个子任务；任务监控模块，用于确定数据处理任务的计划完成时刻、数据处理任务的处理数据量；任务分析模块，用于将计划完成时刻、处理数据量，输入任务...

【专利技术属性】
技术研发人员：焦杰，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：