任务调度方法、装置、设备及存储介质制造方法及图纸

本申请提供一种任务调度方法、装置、设备及存储介质，涉及任务调度技术领域。该方法包括：若监听到预设的消息队列中具有待执行任务的消息，则从所述多个执行器中选择目标执行器；向所述目标执行器发送任务调度请求，所述任务调度请求用于指示所示所述目标执行器从所述消息队列中获取所述待执行任务的任务标识，并根据所述任务标识，从预设数据库中获取所述待执行任务的任务配置信息，根据所述任务配置信息执行所述待执行任务。相对于现有技术，避免了文件系统稳定性不够好，无法做到每台机器信息实时同步的问题。

【技术实现步骤摘要】
任务调度方法、装置、设备及存储介质
本申请涉及任务调度
，具体而言，涉及一种任务调度方法、装置、设备及存储介质。
技术介绍
在大数据系统中，每天都有很多数据处理任务在运行，调度系统可以将任务管理并调度起来，极大地提高大数据系统的效率，Airflow是目前使用最广泛的一种任务调度系统。主要包含了Scheduler(调度器)、Worker(执行器)、WebServer(Web服务)，用户通过编写Python文件来配置任务信息，调度器会将任务文件进行解析并通知执行器执行任务。目前的调度任务部署是通过人工编写Python文件并存放于Airflow安装部署的机器上，Airflow的调度器会定时去解析任务文件，通过Redis等消息队列将任务发送给执行器，执行器从队列中拉取要执行的任务，然后解析对应的任务文件执行任务。但是这样的部署方式由于配置信息和任务信息都存储在磁盘上，文件系统稳定性不够好，无法做到每台机器信息实时同步，在实际使用过程中容易出现问题。
技术实现思路
本申请的目的在于，针对上述现有技术中的不足，提供本文档来自技高网...

【技术保护点】
1.一种任务调度方法，其特征在于，应用于分布式系统中的调度器，所述分布式系统还包括：多个执行器，所述方法包括：/n若监听到预设的消息队列中具有待执行任务的消息，则从所述多个执行器中选择目标执行器；/n向所述目标执行器发送任务调度请求，所述任务调度请求用于指示所述目标执行器从所述消息队列中获取所述待执行任务的任务标识，并根据所述任务标识，从预设数据库中获取所述待执行任务的任务配置信息，根据所述任务配置信息执行所述待执行任务。/n

【技术特征摘要】
1.一种任务调度方法，其特征在于，应用于分布式系统中的调度器，所述分布式系统还包括：多个执行器，所述方法包括：
若监听到预设的消息队列中具有待执行任务的消息，则从所述多个执行器中选择目标执行器；
向所述目标执行器发送任务调度请求，所述任务调度请求用于指示所述目标执行器从所述消息队列中获取所述待执行任务的任务标识，并根据所述任务标识，从预设数据库中获取所述待执行任务的任务配置信息，根据所述任务配置信息执行所述待执行任务。


2.如权利要求1所述的方法，其特征在于，所述若监听到预设的消息队列中具有待执行任务的消息，则从所述多个执行器中选择目标执行器之前，所述方法还包括：
解析所述预设数据库中的任务表，得到至少一个待执行任务的消息，其中，所述待执行任务的消息包括：所述待执行任务的任务标识；
将所述待执行任务的任务标识写入所述消息队列中。


3.如权利要求2所述的方法，其特征在于，所述解析所述预设数据库中的任务表，得到至少一个待执行任务的信息，包括：
根据预设时间间隔解析所述任务表。


4.如权利要求2所述的方法，其特征在于，所述待执行任务的消息还包括：所述待执行任务的预设运行时间；所述将所述待执行任务的任务标识写入所述消息队列中，包括：
根据所述待执行任务的运行时间，从所述至少一个待执行任务中确定目标任务，并将所述目标任务的任务标识写入所述消息队列中。


5.如权利要求2所述的方法，其特征在于，所述分布式系统还包括：网页服务器，所述方法还包括：所述任务的消息为所述网页服务器对前端通过预设接口发送的预设格式的数据进行解析并写入到所述预设数据库中的任务信息。


6.如权利要求5所述的方法，其特征在于，所述任务的信息还包括：所述任务的任务配置信息，所述任务的任务配置信息为所述前端基于用户的任务配置操作所输入的信息。


7.如权利要求6所述的方法，其特征在于，所述任务配置操作包括：增加、删除或修改中任一或多种配置操作。


8.如权利要求5所述的方法，其特征在于，所述网页服务器和/或所...

【专利技术属性】
技术研发人员：汪文星，刘柏，范长杰，李仁杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33