【技术实现步骤摘要】
本申请涉及金融科技,尤其涉及一种任务优先级编排方法、装置、设备及计算机程序产品。
技术介绍
1、在金融科技领域,应用于数据湖的数据抽取、转换与加载任务(etl任务)越来越多,而由于不同数据的不同时效保障要求,每个任务都有其不同的重要性,如监管数据、重要报表等。因此,决定任务重要性的优先级也是每个任务调度需要考虑的问题。
2、优先级一般由任务开发时确定,但是金融数仓的etl任务场景具备规模大、层次深、链路复杂的特点,仅靠普通的人力或者传统的优先级编排无法给出合理的优先级。同时,伴随着业务对数据提出越来越高的时效要求,现有的优先级无法确保系统高吞吐量的同时能够保障高时效要求的数据能够及时到位,优先级编排的合理性较差。
3、上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种任务优先级编排方法、装置、设备及计算机程序产品,旨在解决现有的金融数仓任务优先级编排方法合理性较差的技术问题。
2、为实
...【技术保护点】
1.一种任务优先级编排方法,其特征在于,所述方法包括:
2.如权利要求1所述的方法,其特征在于,所述获取预先生成的权重任务集合的步骤之前还包括:
3.如权利要求2所述的方法,其特征在于,所述根据所述任务链路,获得若干个所述权重任务数据的步骤包括:
4.如权利要求1所述的方法,其特征在于,所述任务时效分类规则包括时效等级分类规则和出数时间分类规则,所述基于预设的优先级编排算法和任务时效分类规则,对所述权重任务集合进行优先级编排,获得优先级任务集合的步骤包括:
5.如权利要求4所述的方法,其特征在于,所述基于所述优先级编排算
...【技术特征摘要】
1.一种任务优先级编排方法,其特征在于,所述方法包括:
2.如权利要求1所述的方法,其特征在于,所述获取预先生成的权重任务集合的步骤之前还包括:
3.如权利要求2所述的方法,其特征在于,所述根据所述任务链路,获得若干个所述权重任务数据的步骤包括:
4.如权利要求1所述的方法,其特征在于,所述任务时效分类规则包括时效等级分类规则和出数时间分类规则,所述基于预设的优先级编排算法和任务时效分类规则,对所述权重任务集合进行优先级编排,获得优先级任务集合的步骤包括:
5.如权利要求4所述的方法,其特征在于,所述基于所述优先级编排算法,对若干个所述第二分类任务集合进行优先级编排,获得所述优先级任务集合的步骤包括:
6.如权利要求5所述的方法,其特征在于,所述优先级编排算法包括集合优先级计算算法和单任务优先级计算算法,所述基于所述优先级编排算法,计算所述目标任务集合的优先级,获得优先级数据的步骤包括:
7...
【专利技术属性】
技术研发人员:邹亮,袁航,苏奇,郑叶虎,
申请(专利权)人:招商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。