The invention relates to a method and system for scheduling system based on cloud, the method includes scheduling application in the cluster deployment of Zookeeper service registration, cluster deployment of Zookeeper service confirmation in the cluster scheduling can enable the application; after successful registration, access token, and query the scheduling configuration table the corresponding token acquisition processing; the job list scheduling by scheduling configuration table; to perform scheduling, scheduling after the completion of the scheduling result to the scheduling module; the invention solves the problem of distributed task scheduling in cloud systems, support real-time tasks, timing task and crontab task is flexible good scalability, robust stability, can cloud system tasks to achieve cluster management and scheduling, effectively prevent the single point Obstacle to achieve high availability of scheduling management, but also to achieve a comprehensive operational monitoring, improve the efficiency of the implementation of the operation and maintenance intuitive and efficient.
【技术实现步骤摘要】
基于云系统的作业调度方法和系统
本专利技术涉及计算机及通信领域,尤其涉及一种基于云系统的作业调度方法和系统。
技术介绍
云系统是采用国际首创的HFP及HDRDP技术在局域网架构下实现云计算使用效果的新一代通用计算机系统产品。云系统,又称云计算中心操作系统、云OS,是云计算后台数据中心的整体管理运营系统。在云系统中进行作业调度时,往往都以集群为单位处理。crontab命令常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供之后读取和执行,crontab文件包含送交cron守护进程的一系列作业和指令。但是,系统自带的crontab调度只能在单一节点上执行,且不具备伸缩、扩展、高可用能力,给系统业务和运维带来一定的困难,因此,亟需一种新的技术手段,能够解决上述技术问题。
技术实现思路
本专利技术提供一种基于云系统的作业调度方法和系统,以解决上述技术问题。本专利技术解决上述技术问题的技术方案如下:一种基于云系统的作业调度方法,包括:a.调度模块通过在Zookeeper服务器上进行注册,确认作业调度是否启用,所述Zookeeper服务器的Zookeeper服务为集群部署;b.注册成功后,获取令牌,并查询所述令牌对应的作业调度配置表;c.通过作业调度配置表获取该待调度作业的处理作业列表;d.执行待调度作业,调度完成后将调度结果反馈给调度模块。进一步,步骤c中还包括根据并发处理字段对处理作业列表进行多线程处理,并对各线程中的处理作业列表进行优先级排序,各线程循环处理作业列表。通过多线程 ...
【技术保护点】
一种基于云系统的作业调度方法,其特征在于,包括:a.通过在Zookeeper服务器上进行注册,启动作业调度,所述Zookeeper服务器的Zookeeper服务为集群部署;b.注册成功后,获取令牌,并查询所述令牌对应的作业调度配置表;c.通过作业调度配置表获取该待调度作业的处理作业列表;d.执行待调度作业,调度完成后将调度结果进行反馈。
【技术特征摘要】
1.一种基于云系统的作业调度方法,其特征在于,包括:a.通过在Zookeeper服务器上进行注册,启动作业调度,所述Zookeeper服务器的Zookeeper服务为集群部署;b.注册成功后,获取令牌,并查询所述令牌对应的作业调度配置表;c.通过作业调度配置表获取该待调度作业的处理作业列表;d.执行待调度作业,调度完成后将调度结果进行反馈。2.根据权利要求1所述的基于云系统的作业调度方法,其特征在于,步骤c中还包括根据作业调度配置表中并发处理字段对配置的处理作业列表进行多线程处理,并对各线程中的处理作业列表进行优先级排序,各线程循环执行处理作业列表。3.根据权利要求2所述的基于云系统的作业调度方法,其特征在于,设置多个调度模块对调度作业均衡负载,调度模块对作业调度配置表中的作业配置信息进行校验,判断配置信息中各字段是否满足格式要求。4.根据权利要求3所述的基于云系统的作业调度方法,其特征在于,对所述作业配置信息进行解析,获取处理时间周期,并根据预设的时间周期阈值判断处理时间周期是否有效;若判断结果为无效,则处理下一条作业;若判断结果为有效,则读取结果集表,判断是否存在本周期未处理完的数据,若存在,则结束本次处理,处理下一条作业。5.根据权利要求4所述的基于云系统的作业调度方法,其特征在于,当作业配置信息符合要求且处理时间周期有效时,如果作业调度结果集中不存在本周期未处理完的数据,则将结果记录插入到作业调度结果集表,记录包含本作业的处理周期,并将处理状态置为初始状态,锁定该作业。6.根据权利要求5所述的基于云系统的...
【专利技术属性】
技术研发人员:沈文川,
申请(专利权)人:北京思特奇信息技术股份有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。