一种执行数据处理任务的方法和装置制造方法及图纸

本发明专利技术公开了一种执行数据处理任务的方法和装置，属于数据处理技术领域。所述方法包括：获取多个维度下的数据处理任务的数据依赖关系；根据所述数据依赖关系确定所述多个维度下的数据处理任务的触发条件；执行完任意数据处理任务时，判断是否满足其它数据处理任务的触发条件；如果满足，则继续执行所述其它数据处理任务。采用本发明专利技术，可以提高数据处理的准确度。

A method and device for performing data processing tasks

【技术实现步骤摘要】
一种执行数据处理任务的方法和装置
本专利技术涉及数据处理
，特别涉及一种执行数据处理任务的方法和装置。
技术介绍
数据服务平台是一种提供数据同步、数据交换、数据集成、数据调用等数据处理功能的平台，通过数据服务平台来执行数据处理任务可以提高数据处理的效率，降低数据处理的繁琐程度。数据服务平台中的数据处理任务可以按照不同规则分为从低到高的多个维度，如按照任务执行频率可以分为小时维度(即每小时执行一次)、天维度(即每天执行一次)、周维度(即每周执行一次)等，或者按照数据覆盖范围可以分为区维度(即覆盖一个区的数据)、市维度(即覆盖一个市的数据)、省维度(即覆盖一个省的数据)。数据服务平台可以针对不同的数据处理任务配置不同的执行时间，当到达预设的执行时间时，数据服务平台可以获取待处理数据，然后基于数据处理任务的执行逻辑对待处理数据进行处理。在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下问题：不同维度下的数据处理任务所使用的待处理数据往往具备一定的数据依赖关系，如天维度的数据处理任务需要基于小时维度的数据处理结果来进行，省维度的数据处理任务需要基于区维度及市维度的数据处理结果来进行，然而，由于不同维度的数据处理任务的执行频率和执行时间不同，当执行高维度的数据处理任务时，所获取的待处理数据很有可能还未进行低维度的数据处理或者经低维度的数据处理后又发生了变化，从而导致数据处理结果出现偏差，数据处理的准确度较低。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种执行数据处理任务的方法和装置。所述技术方案如下：第一方面，提供了一种执行数据处理任务的方法，所述方法包括：获取多个维度下的数据处理任务的数据依赖关系；根据所述数据依赖关系确定所述多个维度下的数据处理任务的触发条件；执行完任意数据处理任务时，判断是否满足其它数据处理任务的触发条件；如果满足，则继续执行所述其它数据处理任务。可选的，所述多个维度包括秒、分钟、小时、天、周、月中一项或多项维度；所述方法还包括：使用CRON表达式记录所述多个维度下的数据处理任务的触发条件。可选的，所述方法还包括：为存在数据依赖的N个维度的数据处理任务配置同一任务调度项；将所述N个维度中的最低维度的数据处理任务的CRON表达式确定为所述任务调度项的CRON表达式；所述执行完任意数据处理任务时，判断是否满足其它数据处理任务的触发条件，包括：执行完所述任务调度项中目标维度的数据处理任务时，判断当前的触发时间，是否能触发所述任务调度项中其他维度的CRON表达式。可选的，所述一个任务调度项包含的N个维度的数据处理任务通过有向无环图关联；对于所述有向无环图中的任一数据处理任务，在所述数据处理任务的父任务全部执行成功之后触发。可选的，所述数据处理任务的触发条件至少包括到达所述数据处理任务的预设触发时间和/或所述数据处理任务的前置任务的均已执行完成。第二方面，提供了一种执行数据处理任务的装置，所述装置包括：获取模块，用于获取多个维度下的数据处理任务的数据依赖关系；确定模块，用于根据所述数据依赖关系确定所述多个维度下的数据处理任务的触发条件；判断模块，用于执行完任意数据处理任务时，判断是否满足其它数据处理任务的触发条件；执行模块，用于如果满足，则继续执行所述其它数据处理任务。可选的，所述多个维度包括秒、分钟、小时、天、周、月中一项或多项维度；所述装置还包括：记录模块，用于使用CRON表达式记录所述多个维度下的数据处理任务的触发条件。可选的，所述装置还包括配置模块，用于：为存在数据依赖的N个维度的数据处理任务配置同一任务调度项；将所述N个维度中的最低维度的数据处理任务的CRON表达式确定为所述任务调度项的CRON表达式；所述判断模块，具体用于：执行完所述任务调度项中目标维度的数据处理任务时，判断当前的触发时间，是否能触发所述任务调度项中其他维度的CRON表达式。可选的，所述一个任务调度项包含的N个维度的数据处理任务通过有向无环图关联；对于所述有向无环图中的任一数据处理任务，在所述数据处理任务的父任务全部执行成功之后触发。可选的，所述数据处理任务的触发条件至少包括到达所述数据处理任务的预设触发时间和/或所述数据处理任务的前置任务的均已执行完成。第三方面，提供了一种数据处理服务器，所述数据处理服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的执行数据处理任务的方法。第四方面，提供了一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的执行数据处理任务的方法。本专利技术实施例提供的技术方案带来的有益效果是：本专利技术实施例中，获取多个维度下的数据处理任务的数据依赖关系；根据数据依赖关系确定多个维度下的数据处理任务的触发条件；执行完任意数据处理任务时，判断是否满足其它数据处理任务的触发条件；如果满足，则继续执行其它数据处理任务。这样，通过对不同维度的数据处理任务的数据依赖关系，设定不同维度的数据处理任务的触发条件，并在任意数据处理任务执行完毕后，即判断是否触发其它数据处理任务，这样，统一调度多维度的数据处理任务，当一个维度的数据处理任务执行结束时，会立刻判断下一维度的数据处理任务是否执行，满足条件就立刻执行，提高了数据处理任务执行的实时性，同时保证数据处理任务执行前，依赖的数据已准备好，从而降低了数据处理结果出现偏差的概率，提高了数据处理的准确度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种执行数据处理任务的方法流程图；图2是本专利技术实施例提供的一种执行数据处理任务的装置结构示意图；图3是本专利技术实施例提供的一种执行数据处理任务的装置结构示意图；图4是本专利技术实施例提供的一种执行数据处理任务的装置结构示意图；图5是本专利技术实施例提供的一种数据处理服务器的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。本专利技术实施例提供了一种执行数据处理任务的方法，该方法可以主要由数据处理服务器来实现，其中，数据处理服务器可以是数据服务平台的后台服务器，其可以基于不同的任务调度方案执行不同的数据处本文档来自技高网...

【技术保护点】
1.一种执行数据处理任务的方法，其特征在于，所述方法包括：/n获取多个维度下的数据处理任务的数据依赖关系；/n根据所述数据依赖关系确定所述多个维度下的数据处理任务的触发条件；/n执行完任意数据处理任务时，判断是否满足其它数据处理任务的触发条件；/n如果满足，则继续执行所述其它数据处理任务。/n

【技术特征摘要】
1.一种执行数据处理任务的方法，其特征在于，所述方法包括：
获取多个维度下的数据处理任务的数据依赖关系；
根据所述数据依赖关系确定所述多个维度下的数据处理任务的触发条件；
执行完任意数据处理任务时，判断是否满足其它数据处理任务的触发条件；
如果满足，则继续执行所述其它数据处理任务。


2.根据权利要求1所述的方法，其特征在于，所述多个维度包括秒、分钟、小时、天、周、月中一项或多项维度；
所述方法还包括：
使用CRON表达式记录所述多个维度下的数据处理任务的触发条件。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
为存在数据依赖的N个维度的数据处理任务配置同一任务调度项；
将所述N个维度中的最低维度的数据处理任务的CRON表达式确定为所述任务调度项的CRON表达式；
所述执行完任意数据处理任务时，判断是否满足其它数据处理任务的触发条件，包括：
执行完所述任务调度项中目标维度的数据处理任务时，判断当前的触发时间，是否能触发所述任务调度项中其他维度的CRON表达式。


4.根据权利要求3所述的方法，其特征在于，所述一个任务调度项包含的N个维度的数据处理任务通过有向无环图关联；
对于所述有向无环图中的任一数据处理任务，在所述数据处理任务的父任务全部执行成功之后触发。


5.根据权利要求1所述的方法，其特征在于，所述数据处理任务的触发条件至少包括到达所述数据处理任务的预设触发时间和/或所述数据处理任务的前置任务的均已执行完成。


6.一种执行数据处理任务的装置，其特征在于，所述装置包括：
获取模块，用于获取多个维度下的数据处理任务的数据依赖关系；
确定模块，用于根据所述数据依赖关系确定所述多个维度下的数据处理任务的触发条件；
判断模块，用于执行完任意数据处理任务时，判断是否满足其它数据处理...

【专利技术属性】
技术研发人员：陈影旺，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海;31