任务频次转换方法、装置、电子设备、存储介质制造方法及图纸

技术编号:20868604 阅读:24 留言:0更新日期:2019-04-17 09:45
本发明专利技术提供一种任务频次转换方法、装置、电子设备、存储介质,所述任务频次转换方法包括:确定各任务的依赖关系,各任务关联任务频次;在所确定的依赖关系中,依赖任务与被依赖任务的任务频次不一致时,于至少部分所述依赖任务及被依赖任务之间进行任务频次转换,以使被依赖任务的任务频次与依赖任务的任务频次相同。本发明专利技术提供方法及装置提供任务频次转换的步骤,将任务频次的判断触发和从任务执行的逻辑中剥离,单独开发并设计任务频次转换,任务仅执行负责执行,由此,实现不同频度的任务频次转换,不但可以实现高频到低频、低频到高频的转换,还可以是自定义特殊频次,大大增加了任务配置的灵活性。

【技术实现步骤摘要】
任务频次转换方法、装置、电子设备、存储介质
本专利技术涉及计算机应用
,尤其涉及一种任务频次转换方法、装置、电子设备、存储介质。
技术介绍
大数据离线任务调度系统是大数据底层平台核心的生产系统,用于工作流可视化开发和托管调度运维的海量数据离线加工,支持按照时间和依赖关系的任务全面托管调度,支持每日上万级别的任务按照DAG(DirectedAcyclicGraph,有向无环图)关系准确、准时运行。大型互联网公司中每天需要调度运行的任务多达上万,甚至数十万量级。任务运行的触发条件一般分为时间触发、上游依赖触发;任务的运行频次也会按需求场景不同,例如,任务的运行频次可以包括:月频次、周频次、天频次、小时频次、甚至是半小时频次、十五分钟频次等。在配置任务上下游依赖关系的时,不同频度的依赖有实际需求,如天任务依赖小时、小时依赖天、天同时依赖小时和天等等,这种需求往往不同的需求者对同一种配置都有不同的理解、触发条件和用途,并大大加深了任务触发设计的复杂度,结果往往是系统实现的支持方式有限,扩展性差。当前技术缺陷在于缺少不同频次的依赖,仅仅只能在下游任务做有限扩展,做离线任务开发的使用人员对于配置实现的理解不一致、容易混淆;下游任务的对上游不同频次组合场景的进行判断,多一个场景就要做一次补丁、任务迭代,越来越重。
技术实现思路
本专利技术为了克服上述相关技术存在的缺陷,提供一种任务频次转换方法、装置、电子设备、存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。根据本专利技术的一个方面,提供一种任务频次转换方法,包括:确定各任务的依赖关系,各任务关联任务频次;在所确定的依赖关系中,依赖任务与被依赖任务的任务频次不一致时,于至少部分所述依赖任务及被依赖任务之间进行任务频次转换,以使被依赖任务的任务频次与依赖任务的任务频次相同。可选地,在所确定的依赖关系中,依赖任务与被依赖任务的任务频次不一致时,对各所述依赖任务及被依赖任务之间进行任务频次转换,以使所述依赖关系中各任务的任务频次相同。可选地,所述任务频次转换根据被依赖任务是否命中预确定触发条件来触发依赖任务的执行。可选地,被依赖任务的任务频次小于依赖任务的任务频次时,所述预确定触发条件包括:被依赖任务首次执行成功触发依赖任务;依赖任务的任务频次所指示的周期内,该被依赖任务皆执行成功触发依赖任务;被依赖任务执行成功预定次数触发依赖任务。可选地,被依赖任务的任务频次大于依赖任务的任务频次时,所述预确定触发条件包括:按依赖任务的任务频次指示的周期,确定被依赖任务执行成功或失败的时间,根据所确定的时间触发依赖任务执行或暂停执行。可选地,所述预确定触发条件自至少一个预配置触发条件和/或至少一个自定义配置触发条件中确定。可选地,所述任务频次包括年频次、月频次、周频次、天频次、小时频次、半小时频次、15分钟频次、分钟频次中的一项或多项。根据本专利技术的又一方面,还提供一种任务频次转换装置,包括:确定模块,用于确定各任务的依赖关系,各任务关联任务频次;任务频次转换模块,用于在所确定的依赖关系中,依赖任务与被依赖任务的任务频次不一致时,于至少部分所述依赖任务及被依赖任务之间进行任务频次转换,以使被依赖任务的任务频次与依赖任务的任务频次相同。根据本专利技术的又一方面,还提供一种电子设备,所述电子设备包括:处理器;存储介质,其上存储有计算机程序,所述计算机程序被所述处理器运行时执行如上所述的步骤。根据本专利技术的又一方面,还提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上所述的步骤。相比现有技术,本专利技术的优势在于:本专利技术通过提供任务频次转换的步骤,将任务频次的判断触发和从任务执行的逻辑中剥离,单独开发并设计任务频次转换,任务仅执行负责执行,由此,实现不同频度的任务频次转换,不但可以实现高频到低频、低频到高频的转换,还可以是自定义特殊频次,大大增加了任务配置的灵活性。并且任务的调度管理、触发都可以保证在同频任务间完成,对于历史数据的校验、任务是否完成等都不会由于需要去做跨频次判断,大大降低了系统设计的复杂度。附图说明通过参照附图详细描述其示例实施方式,本专利技术的上述和其它特征及优点将变得更加明显。图1示出了根据本专利技术实施例的任务频次转换方法的流程图。图2示出了根据本专利技术一具体实施例的任务频次转换方法的示意图。图3示出了根据本专利技术另一具体实施例的任务频次转换方法的示意图。图4示出了根据本专利技术实施例的任务频次转换装置的示意图。图5示意性示出本专利技术示例性实施例中一种计算机可读存储介质示意图。图6示意性示出本专利技术示例性实施例中一种电子设备示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本专利技术将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。此外,附图仅为本专利技术的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此,实际执行的顺序有可能根据实际情况改变。图1示出了根据本专利技术实施例的任务频次转换方法的流程图。参考图1,所述任务频次转换方法包括如下步骤:步骤S110:确定各任务的依赖关系,各任务关联任务频次;步骤S120:在所确定的依赖关系中,依赖任务与被依赖任务的任务频次不一致时,于至少部分所述依赖任务及被依赖任务之间进行任务频次转换,以使被依赖任务的任务频次与依赖任务的任务频次相同。在本专利技术的示例性实施方式的任务频次转换方法中,通过提供任务频次转换的步骤,将任务频次的判断触发和从任务执行的逻辑中剥离,单独开发并设计任务频次转换,任务仅执行负责执行,由此,实现不同频度的任务频次转换,不但可以实现高频到低频、低频到高频的转换,还可以是自定义特殊频次,大大增加了任务配置的灵活性。并且任务的调度管理、触发都可以保证在同频任务间完成,对于历史数据的校验、任务是否完成等都不会由于需要去做跨频次判断,大大降低了系统设计的复杂度。具体而言,在本专利技术的各个实施例中,所述任务频次包括年频次、月频次、周频次、天频次、小时频次、半小时频次、15分钟频次、分钟频次中的一项或多项。本专利技术并非以此为限,半年频次、季度频次或其他自定义频次皆在本专利技术的保护范围之内。本专利技术由于提供了任务频次转换的步骤,使得系统可以支持任意自定义频次,系统灵活性高。具体而言,在本专利技术的各个实施例中,上述步骤S120可以是在所确定的依赖关系中,依赖任务与被依赖任务的任务频次不一致时,对各所述依赖任务及被依赖任务之间进行任务频次转换,以使所述依赖关系中各任务的任务频次相同。可以理解,依赖任务与被依赖任务的任务频本文档来自技高网...

【技术保护点】
1.一种任务频次转换方法,其特征在于,包括:确定各任务的依赖关系,各任务关联任务频次;在所确定的依赖关系中,依赖任务与被依赖任务的任务频次不一致时,于至少部分所述依赖任务及被依赖任务之间进行任务频次转换,以使被依赖任务的任务频次与依赖任务的任务频次相同。

【技术特征摘要】
1.一种任务频次转换方法,其特征在于,包括:确定各任务的依赖关系,各任务关联任务频次;在所确定的依赖关系中,依赖任务与被依赖任务的任务频次不一致时,于至少部分所述依赖任务及被依赖任务之间进行任务频次转换,以使被依赖任务的任务频次与依赖任务的任务频次相同。2.如权利要求1所述的任务频次转换方法,其特征在于,在所确定的依赖关系中,依赖任务与被依赖任务的任务频次不一致时,对各所述依赖任务及被依赖任务之间进行任务频次转换,以使所述依赖关系中各任务的任务频次相同。3.如权利要求1所述的任务频次转换方法,其特征在于,所述任务频次转换根据被依赖任务是否命中预确定触发条件来触发依赖任务的执行。4.如权利要求3所述的任务频次转换方法,其特征在于,被依赖任务的任务频次小于依赖任务的任务频次时,所述预确定触发条件包括:被依赖任务首次执行成功触发依赖任务;依赖任务的任务频次所指示的周期内,该被依赖任务皆执行成功触发依赖任务;被依赖任务执行成功预定次数触发依赖任务。5.如权利要求3所述的任务频次转换方法,其特征在于,被依赖任务的任务频次大于依赖任务的任务频次时,所述预确定触发条件包括:按依赖任务的任...

【专利技术属性】
技术研发人员:黄伟良丁林松田振郝雷
申请(专利权)人:江苏满运软件科技有限公司
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1