一种基于性能表现的作业调度方法技术

本发明专利技术提出了一种基于性能表现的作业调度方法，其主要针对大数据应用中的批量作业，主要可以应用于云，大数据处理系统等分布式环境。该方法主要包括以下内容：作业完成时间的预测；小作业优先的策略；单步前瞻评价机制；超时作业处理机制；基于大数据处理系统的算法实现；一个真实实验实例。本发明专利技术的作业调度方法，在保证周转时间最优的基础上，具有资源占有率平稳、决策可解释性强的优点。

【技术实现步骤摘要】
一种基于性能表现的作业调度方法
本专利技术涉及云资源调度
，尤其涉及一种基于性能表现的作业调度方法。
技术介绍
作业调度是大数据平台的核心技术，它的主要功能是控制作业运行的顺序并提交用户的作业，使得用户的作业能够在某种资源上运行。由于漫长的执行时间和巨大的资源耗费，作业调度是云和大数据平台中的一个热点课题。近年来人们对作业调度进行了各种分析，也提出了许多不同的作业调度方法，但这些算法都存在一些不足之处，例如，有的作业调度方法对于不同系统状况的适应性较差，有的作业调度方法无法进行在线调度，因此急需一种能够满足日益增长的调度需求的作业调度方法。
技术实现思路
本专利技术所解决的技术问题在于提供一种最小化作业的周转时间，并能维持均衡的资源占有率能在真实的云平台和大数据平台进行调度的调度方法。实现本专利技术目的的技术解决方案为：一种基于性能表现的作业调度方法，包括以下步骤：步骤1，根据多种类型作业运行时的资源占有率，使用指数函数对每种类型作业的完成时间关于资源占有率的函数关系进行曲线拟合，根据拟合的曲线本文档来自技高网...

【技术保护点】
1.一种基于性能表现的作业调度方法，其特征在于，包括以下步骤：/n步骤1，根据多种类型作业运行时的资源占有率，使用指数函数对每种类型作业的完成时间关于资源占有率的函数关系进行曲线拟合，根据拟合的曲线建立作业运行时间的预测模型，所述作业的类型包括CPU密集型、内存密集型和I/O密集型；/n步骤2，在用户当前提交的作业列表中，根据超时作业处理机制和小作业优先策略对作业进行作业排序，生成作业调度优先序列；/n步骤3，根据所述作业调度优先序列依次放入作业，直到资源占有率达到可行的资源占有率的数值，获得多种作业调度方案；/n步骤4，计算每种所述作业调度方案的调度收益值，若所述调度收益值最大的作业调度方案...

【技术特征摘要】
1.一种基于性能表现的作业调度方法，其特征在于，包括以下步骤：
步骤1，根据多种类型作业运行时的资源占有率，使用指数函数对每种类型作业的完成时间关于资源占有率的函数关系进行曲线拟合，根据拟合的曲线建立作业运行时间的预测模型，所述作业的类型包括CPU密集型、内存密集型和I/O密集型；
步骤2，在用户当前提交的作业列表中，根据超时作业处理机制和小作业优先策略对作业进行作业排序，生成作业调度优先序列；
步骤3，根据所述作业调度优先序列依次放入作业，直到资源占有率达到可行的资源占有率的数值，获得多种作业调度方案；
步骤4，计算每种所述作业调度方案的调度收益值，若所述调度收益值最大的作业调度方案的数量为1，选择所述调度收益值最大的作业调度方案进行调度；
步骤5，若所述调度收益值最大的作业调度方案的数量大于或等于2，对所有所述调度收益值最大的作业调度方案，使用单步前瞻算法，利用所述作业运行时间的预测模型，计算作业调度后所有作业平均周转时间的预测值，选择所述预测值最小的作业调度方案进行调度。


2.根据权利要求1所述的一种基于性能表现的作业调度方法，其特征在于，所述步骤2包括：
步骤2-1，调用所述超时作业处理机制，即比较所述作业列表中每个作业的已等待时间与预设作业最大超时时间，将超时的作业优先置入所述作业调度优先序列，所述超时的作业即满足已等待时间大于或等于预设作业最大超时时间的作业；
步骤2-2，根据所述小作业优先策略，即按照所述作业列表中每个作业的资源需求从小到大的顺序，将所述作业置入排序序列，生成作业调度优先序列。


3.根据权利要求1所述的一种基于性能表现的作业调度方法，其特征在于，所述步骤3包括：
步骤3-1，在预设的资源占有率范围内，遍历所有可行的资源占有率；
步骤3-2，对于每个所述可行的资源占有率，根据所述作业调度优先序列依次放入作业；
步骤3-3，当所述资源占有率达到可行的资源占有率的数值，停止放入所述作业，获得所述多种作业调...

【专利技术属性】
技术研发人员：汪敏，吴姗姗，鲍亮，朱勇，朱子杰，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：江苏;32