【技术实现步骤摘要】
一种基于角色模型和消息邮箱的数据作业调度方法和系统
[0001]本专利技术涉及计算机
，特别涉及一种基于角色模型和消息邮箱的数据作业调度方法和系统。
技术介绍
[0002]近年来，随着云计算和互联网技术的蓬勃发展，数据显现出爆发式的持续增长模式，大数据时代悄然到来。如何高效地调度用户的作业，已然成为了一个亟待解决的问题。
[0003]现有作业调度方法大致流程如下：创建一个全局的调度器，并为每个任务创建一个调度器；任务调度器负责任务调度，调度器与每个任务节点通信；任务节点接受调度器调度执行任务，完成任务后通知调度器；任务节点并发多线程时，节点需要维护多个线程状态，多个线程之间，先完成的线程需要join等待；任务完成后由调度器修改任务状态。
[0004]然而，现有的调度方法存在以下问题：
[0005]1)通过调度器来协调各组件之间的工作，通常需要编写复杂的调度逻辑代码；
[0006]2)任务节点多线程并发时状态同步需要通过线程join来实现，先执行完的线程需要等待，占用系统资源；
[...
【技术保护点】
【技术特征摘要】
1.一种基于角色模型和消息邮箱的数据作业调度方法，其特征在于，包括：步骤1：根据数据处理功能，定义任务节点的角色类型；步骤2：根据业务场景的不同，定义消息邮箱；步骤3：基于角色所处理的事件类型，定义角色的消息类型；步骤4：基于数据业务，确定数据作业流程，并基于所述数据作业流程，进行数据作业配置；步骤5：基于数据作业配置结果，建立调度流程，完成数据作业调度。2.根据权利要求1所述的一种基于角色模型和消息邮箱的数据作业调度方法，其特征在于，步骤1中，定义的角色类型包括：取数者：用于读取源头数据，并将数据流发送到下一节点消息邮箱中；加工者：用于读取消息邮箱中的数据，按照预设规则对数据进行处理，并将结果发送到下一节点的消息邮箱；写数者：用于读取消息邮箱中的数据，并将数据写入到各类数据载体中；监察者：用于对所述取数者、加工者、写数者进行监察，当所述取数者、加工者、写数者遇到不能自我解决的问题时，由所述监察者来统一处理；任务管理者：用于对创建的任务进行管理。3.根据权利要求1所述的一种基于角色模型和消息邮箱的数据作业调度方法，其特征在于，步骤2中，定义的消息邮箱包括：通用邮箱：常规的消息邮箱，消息遵循先进先出原则，每个角色独立拥有一个邮箱；优先级邮箱：在所述通用邮箱的基础上可以设置消息的优先级，角色优先读取高优先级的消息；快速邮箱：有多个发送者、一个接收者，并且溢出的消息会被丢弃；共享邮箱：所有的角色共用的一个邮箱。4.根据权利要求1所述的一种基于角色模型和消息邮箱的数据作业调度方法，其特征在于，步骤3中，定义角色的消息类型包括：启动消息，结束信息，数据消息，异常信息，广播消息。5.根据权利要求1所述的一种基于角色模型和消息邮箱的数据作业调度方法，其特征在于，基于数据业务，确定数据作业流程，并基于所述数据作业流程，进行数据作业配置包括：对所述数据业务进行分析，确定多个子任务，并对所述多个子任务进行排序，根据排序结果，为每个子任务建立顺序标识；根据所述多个子任务的属性，为每个子任务建立任务标识；基于所述顺序标识、任务标识，建立述数据作业流程，并基于所述数据作业流程，部署所述数据业务的任务节点；根据所述任务节点的任务特征，对所述任务节点进行数据作业配置。6.根据权利要求1所述的一种基于角色模型和消息邮箱的数据作业调度方法，其特征在于，步骤5中，基于数据作业配置结果，建立调度流程，完成数据作业调度，包括：基于所述数据作业流程，确定调度任务，并为所述调度任务创建任务管理者，并向所述任务管理者对应的消息邮箱发送启动消息；
所述任务管理者在接收到启动消息后，基于数据作业配置结果，解析任务配置，获取配置资源；根据所述配置资源，所述任务管理者创建对应类型的取数者、加工者、写数者，并分别向所述取数者、加工者、写数者对应的消息邮箱发送启动消息；当所述取数者在接收到启动消息后，根据自身类型对数据源进行初始化，并开始读取数据，并将读取的数据包装成数据消息类型，得到目标数据，并将所述目标数据发送到下一节点对应的加工者的消息邮箱；当检测到所述取数者完成数据读取后，向下一节点对应的加工者的消息邮箱发送结束消息，并回收对所述取数者配置的资源；当所述加工者在接收到启动消息和接收到目标数据后，根据配置规则对所述目标...
【专利技术属性】
技术研发人员：唐定伟，叶智慧，陈成斌，苏胜林，马军亮，
申请(专利权)人：中睿信数字技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。