一种调度控制python多进程执行相应任务的方法技术

一种调度控制python多进程执行相应任务的方法，包括python进程队列、任务队列和正在运行队列，其特征在于，步骤1，获取任务，对所述任务解析后放入任务队列；步骤2，当python进程队列和任务队列非空时，从python进程队列取出空闲的python进程，从任务队列中取出任务，将所取出的任务赋予给所述空闲的python进程运行，直至python进程队列和任务队列之一为空为止；步骤3，当接到中止任务指令时，从任务队列中找到对应的任务并移除，如果该任务在正在运行队列中时，则找到对应的python进程并中止其执行。

【技术实现步骤摘要】

本专利技术涉及高并发任务领域，尤其涉及一种调度控制python多进程执行相应任务的方法。

技术介绍

1、python虽好。但其gil的特性使得其在运行时只能利用cpu一个核的算力。在执行多任务计算时，python多进程尤为必要。而调度控制python多进程执行的模型，必不可少。因此需要解决:高并发任务高效并行执行问题，单python进程无法利用机器全部cpu算力的问题。

2、因此存在如下技术问题：大量dag任务的高效调度执行问题。单个dag任务高效并行执行，大幅降低数据拷贝，降低序列化的问题。单python进程很难全部利用机器全部cpu算力的问题。

技术实现思路

1、因此本专利技术提出了如下解决方案：

2、一种调度控制python多进程执行相应任务的方法，包括python进程队列、任务队列和正在运行队列，

3、步骤1，获取任务，对所述任务解析后放入任务队列；

4、步骤2，当python进程队列和任务队列非空时，从python进程队列取出空闲的python进程，从本文档来自技高网...

【技术保护点】

1.一种调度控制python多进程执行相应任务的方法，包括python进程队列、任务队列和正在运行队列，其特征在于，

2.根据权利要求1所述的调度控制python多进程执行相应任务的方法，其特征在于，步骤3还包括将所述中止的任务和进程标识从正在运行队列中移除。

3.根据权利要求2所述的调度控制python多进程执行相应任务的方法，其特征在于，所述步骤3还包括将所述对应的Python进程加入到python进程队列中。

4.根据权利要求3所述的调度控制python多进程执行相应任务的方法，其特征在于，还包括步骤4，指示python进程反馈或者自留计算结果集...

【技术特征摘要】

1.一种调度控制python多进程执行相应任务的方法，包括python进程队列、任务队列和正在运行队列，其特征在于，

2.根据权利要求1所述的调度控制python多进程执行相应任务的方法，其特征在于，步骤3还包括将所述中止的任务和进程标识从正在运行队列中移除。

3.根据权利要求2所述的调度控制python多进程执行相应任务的方法，其特征在于，所述步骤3还包括将所述对应的python进程加入到python进程队列中。

4.根据权利要求3所述的调度控制python多进程执行相应任务的方法，其特征在于，还包括步骤4，指示python进程反馈或者自留计算结果集。

5.根据权利要求4所述的调度控...

【专利技术属性】
技术研发人员：杨竞霜，叶壹力，
申请(专利权)人：嘉实远见科技北京有限公司，
类型：发明
国别省市：