【技术实现步骤摘要】
一种任务调度方法、装置及设备
本申请涉及机器学习
，尤其涉及一种任务调度方法、装置及设备。
技术介绍
随着机器学习的广泛应用，机器学习受到了业界的广泛关注。机器学习过程包含数据集预处理、特征处理、模型训练及模型部署等步骤，例如，算法工程师建立数据模型时，先编写个脚本做数据预处理，之后再写一个脚本做特征处理、模型训练脚本最后到模型训练部署的脚本编辑结束为止。可见，每次需要花费大量时间和精力重新构建不同的机器学习步骤来完成机器学习框架的搭建，这不仅提高了机器学习使用门槛，降低算法工程师的工作效率，而且降低了机器学习系统的资源利用率。
技术实现思路
本申请提供一种任务调度方法、装置及设备，通过组成一个包括第一任务、第二任务的工作流，第一任务成功执行完成之后，自动执行第一任务的下游任务(第二任务)，一方面，可自动且迅速构建不同的机器学习步骤以完成学习框架的搭建，降低了机器学习使用门槛，提高了算法工程师的工作效率；另一方面，在第一任务成功执行完成之后，自动执行第一任务的下游任务，因而，执行工作流中任务的CPU资源几乎不会闲置，进而提高了机器学习系统的资源利用率。第一方面，...
【技术保护点】
1.一种任务调度方法，其特征在于，包括：获取调度请求，所述调度请求用于请求调度存储于数据库中工作流中的任务，其中，所述工作流包括多个任务；响应于获取到的所述调度请求，从所述数据库中调度出所述工作流中的第一任务，且将所述第一任务存入消息队列；判断所述第一任务是否为空闲的任务，如果所述第一任务是空闲的任务，则执行所述第一任务，并将所述第一任务的执行状态写入到所述数据库中；从所述数据库中查询所述第一任务的执行状态，如果所述第一任务执行成功，则从所述数据库中调度出第二任务；所述第二任务为所述工作流中所述第一任务的下游任务。
【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：获取调度请求，所述调度请求用于请求调度存储于数据库中工作流中的任务，其中，所述工作流包括多个任务；响应于获取到的所述调度请求，从所述数据库中调度出所述工作流中的第一任务，且将所述第一任务存入消息队列；判断所述第一任务是否为空闲的任务，如果所述第一任务是空闲的任务，则执行所述第一任务，并将所述第一任务的执行状态写入到所述数据库中；从所述数据库中查询所述第一任务的执行状态，如果所述第一任务执行成功，则从所述数据库中调度出第二任务；所述第二任务为所述工作流中所述第一任务的下游任务。2.根据权利要求1所述的方法，其特征在于，所述从所述数据库中查询所述第一任务的执行状态之后，还包括：如果所述第一任务执行失败，则清空所述消息队列中的任务。3.根据权利要求1所述的方法，其特征在于，所述如果所述第一任务执行成功，则从所述数据库中调度出第二任务，包括：如果所述第一任务执行成功，则判断包含所述第一任务的工作流是否运行成功；如果运行成功，则判断所述第一任务是否存在下游任务，如果存在，则从所述数据库中调度出第二任务；所述第二任务为所述工作流中所述第一任务的下游任务。4.根据权利要求1所述的方法，其特征在于，所述获取调度请求，包括：接收调度请求或查询调度请求。5.根据权利要求1所述的方法，其特征在于，所述从所述数据库中调度出所述工作流中的第一任务之前，还包括：对通过由互联网端拖拉组件形成的工作流进行解析；将解析后的所述由互联网端拖拉组件形成的工作流存储于所述数据库。6.根据权利要求1所述的方法，其特征在于，所述从所述数据库中调度出所述工作流中的第一任...
【专利技术属性】
技术研发人员：郑海刚，张宾，吕旭涛，王孝宇，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。