一种数据任务指令的处理方法、计算机设备、存储介质技术

本申请实施例公开了一种数据任务指令的处理方法和装置。所述方法包括：获取提交的数据处理任务指令，识别到数据处理任务指令携带有注解信息，并调用指令解析器，从注解信息中提取数据检测任务对应的检测任务信息，根据检测任务信息，生成针对数据处理任务的数据检测任务指令，使得仅对提交的数据处理任务指令中添加注解信息，减少了直接编写数据检测任务指令的工作量，相比于原本分别提交数据处理任务和数据检测任务，改为由一个接口提交数据任务指令后，不再需要分别提交，避免了发生遗漏的风险，降低出错的概率，而且两种任务可以一同开发，继而便于后期对两种任务进行统一的维护，减低了开发和维护的成本。

A data task instruction processing method, computer equipment and storage medium

【技术实现步骤摘要】
一种数据任务指令的处理方法、计算机设备、存储介质
本申请涉及数据处理
，具体涉及一种数据任务指令的处理方法、一种数据处理方法、一种计算机设备、一种计算机可读存储介质。
技术介绍
随着大数据的蓬勃发展，很多国内外大公司基于各种分布式计算技术构建企业级数据仓库，数据量常常达到PB级，随着计算能力的提升，数据仓库上运行的常规报表任务、数据分析任务、数据挖掘任务等数据处理任务能够达到成千上万个。数据仓库上运行大量的数据处理任务，这些任务是用SQL描述的，随着业务、数据越来越复杂，导致任务的复杂度也直线上升。数据仓库的数据处理任务要求保障数据质量。现有方案是以产品的方式解决了ODPS(分布式的海量数据处理平台)上的数据质量自动监控问题。申请人经研究发现，依赖其他产品(DQC(数据质量)平台)，通过配置化方式生成数据检测任务，需要先在ODPS数据处理平台上建立数据处理任务，发布到调度系统，依赖调度系统数据处理任务才能出现在DQC平台上，在DQC平台上再针对数据处理任务配置数据检测任务，导致数据处理任务的开发和数据检测任务的配置是分开的，数据处理任务和数据检测任务无法一同开发，继而不方便后期进行统一的维护，存在开发和维护成本高的问题。
技术实现思路
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的数据任务指令的处理方法、数据处理方法以及计算机设备、计算机可读存储介质。依据本申请的一个方面，提供了一种数据任务指令的处理方法，包括：获取提交的数据处理任务指令；根据识别到所述数据处理任务指令携带有注解信息，确定所述数据处理任务具有对应的数据检测任务；调用指令解析器，从所述注解信息中提取所述数据检测任务对应的检测任务信息；根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令。可选地，所述检测任务信息包括检测类型，所述根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令包括：根据所述数据检测任务的检测类型，生成数据检测任务指令。可选地，所述根据所述数据检测任务的检测类型，生成数据检测任务指令包括：根据所述检测类型，确定对应的数据检测任务的指令模板；根据所述指令模板，生成数据检测任务指令。可选地，所述检测任务信息包括自定义指令，所述根据所述数据检测任务的检测类型，生成数据检测任务指令包括：识别所述数据检测任务的检测类型为自定义类型；将所述检测任务信息包括的自定义指令，确定为数据检测任务指令。可选地，在所述根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令之前，所述方法还包括：根据所述数据处理任务指令，确定所述数据检测任务针对的目标数据集；所述根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令包括：根据所述检测任务信息，生成针对所述目标数据集的数据检测任务指令。可选地，所述目标数据集包括数据处理任务的处理结果数据集，在所述根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令之后，所述方法还包括：检测执行所述数据处理任务产生的处理结果数据集；针对所述处理结果数据集，执行所述数据检测任务指令。可选地，在所述根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令之后，所述方法还包括：执行所述数据检测任务指令，得到数据检测任务的检测结果；根据所述检测结果，更改所述数据处理任务的执行状态。可选地，所述检测任务信息包括检测结果类型，所述根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令包括：根据所述检测结果类型，确定所述数据检测任务的检测结果能否更改对应的数据处理任务的执行状态。可选地，在所述根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令之后，所述方法还包括：获取提交的数据任务执行方式；根据所述数据任务执行方式，执行所述数据处理任务和/或数据检测任务。可选地，在所述根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令之后，所述方法还包括：根据所述数据检测任务指令，生成分布式数据检测任务；调度所述分布式数据检测任务至分布式数据仓库执行。可选地，所述根据识别到所述数据处理任务指令携带有注解信息，确定所述数据处理任务具有对应的数据检测任务包括：对所述数据处理任务指令进行语句切分；识别切分的语句中是否有注解信息；若识别到有注解信息，则确定所述数据处理任务具有对应的数据检测任务。可选地，所述检测任务信息包括检测类型、待检测数据、条件数据中至少一种。相应地，根据本申请的另一方面，还提供了一种数据处理方法，包括：获取数据处理任务指令，其中，所述数据处理任务指令包括注解；根据所述注解，确定所述数据处理任务具有对应的数据检测任务；从所述注解中提取所述数据检测任务；根据所述数据检测任务，生成数据检测任务指令。相应地，根据本申请的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述一个或多个的方法。相应地，根据本申请的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述一个或多个的方法。依据本申请实施例，通过获取提交的数据处理任务指令，根据识别到数据处理任务指令携带有注解信息，确定数据处理任务具有对应的数据检测任务，并调用指令解析器，从注解信息中提取数据检测任务对应的检测任务信息，根据检测任务信息，生成针对数据处理任务的数据检测任务指令，使得仅对提交的数据处理任务指令中添加一些注解信息，少量工作就可以让指令解析器自动生成数据检测任务，减少了直接编写数据检测任务指令的工作量，相比于原本需要通过数据处理平台和数据质量检测平台这两个接口，分别提交数据处理任务和数据检测任务，改为由统一的一个接口提交数据任务指令后，数据处理任务指令和数据检测任务指令不再需要分别提交，避免了发生遗漏的风险，降低出错的概率，而且数据处理任务和数据检测任务可以一同开发，继而便于后期对两种任务进行统一的维护，减低了开发和维护的成本。进一步，在根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令之后，还可以包括：获取提交的数据任务执行方式；根据所述数据任务执行方式，执行所述数据处理任务和/或数据检测任务，避免无论何时都同时执行两种数据任务，克服任务执行方式不灵活的问题，更好的满足实际需要。进一步，根据检测类型，确定对应的数据检测任务的指令模板；根据指令模板，生成数据检测任务指令，减少了开发人员重复开发相同的数据检测任务指令的工作量，提高了开发效率。上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且本文档来自技高网...

【技术保护点】
1.一种数据任务指令的处理方法，其特征在于，包括：/n获取提交的数据处理任务指令；/n根据识别到所述数据处理任务指令携带有注解信息，确定所述数据处理任务具有对应的数据检测任务；/n调用指令解析器，从所述注解信息中提取所述数据检测任务对应的检测任务信息；/n根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令。/n

【技术特征摘要】
1.一种数据任务指令的处理方法，其特征在于，包括：
获取提交的数据处理任务指令；
根据识别到所述数据处理任务指令携带有注解信息，确定所述数据处理任务具有对应的数据检测任务；
调用指令解析器，从所述注解信息中提取所述数据检测任务对应的检测任务信息；
根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令。


2.根据权利要求1所述的方法，其特征在于，所述检测任务信息包括检测类型，所述根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令包括：
根据所述数据检测任务的检测类型，生成数据检测任务指令。


3.根据权利要求2所述的方法，其特征在于，所述根据所述数据检测任务的检测类型，生成数据检测任务指令包括：
根据所述检测类型，确定对应的数据检测任务的指令模板；
根据所述指令模板，生成数据检测任务指令。


4.根据权利要求2所述的方法，其特征在于，所述检测任务信息包括自定义指令，所述根据所述数据检测任务的检测类型，生成数据检测任务指令包括：
识别所述数据检测任务的检测类型为自定义类型；
将所述检测任务信息包括的自定义指令，确定为数据检测任务指令。


5.根据权利要求1所述的方法，其特征在于，在所述根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令之前，所述方法还包括：
根据所述数据处理任务指令，确定所述数据检测任务针对的目标数据集；
所述根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令包括：
根据所述检测任务信息，生成针对所述目标数据集的数据检测任务指令。


6.根据权利要求5所述的方法，其特征在于，所述目标数据集包括数据处理任务的处理结果数据集，在所述根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令之后，所述方法还包括：
检测执行所述数据处理任务产生的处理结果数据集；
针对所述处理结果数据集，执行所述数据检测任务指令。


7.根据权利要求1所述的方法，其特征在于，在所述根据所述检测任务信息，生成针对所述数据处理任务的数据检测任务指令之后，所述方法还包括：
执行所述数据检测任务指令，得到...

【专利技术属性】
技术研发人员：崔玮，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY