一种任务处理方法及装置、设备、存储介质制造方法及图纸

本申请实施例公开了一种任务处理方法及装置、设备、存储介质，该方法包括：通过声明依赖组件，在第一文件生成完成之后，将通知消息发送给消息系统，其中，所述声明依赖组件为与所述第一文件关联的组件；通过分发器从所述消息系统中读取所述通知消息，并将所述通知消息转发给检查器，所述检查器为所述分发器根据预先配置的依赖条件创建的；通过所述检查器，在所述检查器根据所述通知消息中的内容确定所述预先配置的依赖条件达成的情况下，向与第二文件关联的引用依赖组件发送所述预先配置的依赖条件对应的条件达成消息；通过所述引用依赖组件响应所述条件达成消息，利用所述第一文件生成所述第二文件。通过避免频繁的数据库访问，提高运行效率。提高运行效率。提高运行效率。

【技术实现步骤摘要】
一种任务处理方法及装置、设备、存储介质


[0001]本申请实施例涉及但不限于数据处理领域技术，尤其涉及一种任务处理方法及装置、设备、存储介质。

技术介绍

[0002]数据仓库(Extract-Transform-Load，ETL)系统是通过流程之间的相互依赖整合数据的。然而，现有ETL系统存在以下问题：1)流程级别的依赖设置，控制粒度不够细，有时候用户可能需要组件级别的依赖。2)轮询数据库会使数据库承受较大负载。实际使用中，依赖场景是大批量使用的，运行期间将会有大量的依赖流程需要轮询数据库，以检查是否满足可执行条件，此时，数据库会承受较大负载。为了减轻数据查询对数据库的负载压力，可以将轮询数据库的时间间隔设置的较长。然而，轮询时间设置太长，获取依赖流程执行状态的及时性又不够，如果轮询时间间隔设置太短，数据库的负载压力将会很大，很难兼顾两者。

技术实现思路

[0003]有鉴于此，本申请实施例提供一种任务处理方法及装置、设备、存储介质。
[0004]本申请实施例的技术方案是这样实现的：
[0005]第一方面，本申请实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，其特征在于，所述方法包括：通过声明依赖组件，在第一文件生成完成之后，将通知消息发送给消息系统，其中，所述声明依赖组件为与所述第一文件关联的组件；通过分发器从所述消息系统中读取所述通知消息，并将所述通知消息转发给检查器，所述检查器为所述分发器根据预先配置的依赖条件创建的；通过所述检查器，在所述检查器根据所述通知消息中的内容确定所述预先配置的依赖条件达成的情况下，向与第二文件关联的引用依赖组件发送所述预先配置的依赖条件对应的条件达成消息；所述第二文件的生成依赖于所述第一文件的生成，其中，所述预先配置的依赖条件包括至少一条依赖条件；通过所述引用依赖组件响应所述条件达成消息，利用所述第一文件生成所述第二文件。2.根据权利要求1所述的方法，其特征在于，所述通过声明依赖组件，在第一文件生成完成之后，将通知消息发送给消息系统，包括：所述声明依赖组件在所述第一文件生成完成之后，将所述第一文件的执行记录存入数据库，其中，所述执行记录至少包括3元组：执行ID、第一标识和调度时间，所述第一标识包括流程标识或引用依赖组件的标识；在所述执行记录存储成功之后，将所述通知消息发送给所述消息系统。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述引用依赖组件接收配置的所述至少一条依赖条件；通过所述引用依赖组件将所述至少一条依赖条件中的每一依赖条件注册到所述分发器中；通过所述分发器为所述每一依赖条件创建对应的检查器。4.根据权利要求1所述的方法，其特征在于，所述通过所述引用依赖组件响应所述条件达成消息，利用所述第一文件生成所述第二文件，包括：在所述引用依赖组件在收到所述条件达成消息之后，确定除达成的依赖条件之外，当前已没有其他依赖条件未达成时，利用所述第一文件生成所述第二文件；确定当前还有其他依赖条件未达成时，等待所述其他依赖条件对应的条件达成消息，直至所有依赖条件都达成。5.根据权利要求2所述的方法，其特征在于，所述通知消息中包括3元组：执行ID、第一标识和调度时间；所述预先配置的依赖条件包括4元组：第一标识、开始调度时间、结束调度时间和目标次数；所述检查器根据所述通知消息中的内容确定所述预先配置的依赖条件达成，包括：所述检查器在根据...

【专利技术属性】
技术研发人员：韩伟森，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：