作业实际运行时间的预测方法技术

本发明专利技术公开了一种作业实际运行时间的预测方法，包括：采集历史数据，从而计算每一用户的估计运行时间准确率分布，即R值分布；根据每一用户的R值分布对所有用户进行聚类；对于待预测的新作业，根据新作业所属的用户及聚类结果，提取相应用户所属类别下所有用户的历史数据作为训练数据；利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型；将新作业中的作业特征分别输入至每一训练好的预测模型中，并综合所有预测模型的输出结果计算新作业的R值，进而预测新作业实际运行时间。该方法一定程度上改善基于作业历史和基于作业内在特征的建模方法的局限性，使得作业的运行时间预测更加的准确。

【技术实现步骤摘要】
作业实际运行时间的预测方法
本专利技术涉及高性能作业性能预测
，尤其涉及一种作业实际运行时间的预测方法。
技术介绍
在高性能计算领域，对提交的作业进行运行时间预测是一项非常重要的研究。准确的预测高性能计算作业的运行时间，对于资源的合理分配和作业的合理调度有非常重要的意义。一种常用于作业运行时间预测的方法是基于作业历史的预测。基于作业历史的预测指的是，利用计算平台上历史运行作业的信息对当前提交的作业进行运行时间预测。运行作业的信息指的是作业泛属性即作业所用的CPU核数、用户估计作业运行时间、用户作业提交的等待队列等属性。当前基于作业历史的运行时间预测的建模主要有三种方法。其一是利用作业之间的相似性，这种研究方法通过在历史任务数据中找到和当前最相似的任务，然后再利用这些相似的任务来预测当前任务的运行时间。其二是使用回归方法，这种研究方法通过构建各种回归模型比如线性回归模型，从而对新任务进行运行时间预测。其三是利用用户估计运行时间准确率，这种方法不是直接预测作业的运行时间而是通过预测用户估计时间的准确性间接的预测作业的运行时间。它所基于的公式为：用户估计运行时间准确率＝作业实际的运行时间/用户估计时间。基于作业历史的预测，这类研究方法的局限性主要在于作业泛属性和作业运行时间的关联性无法保证。另一种常用于作业运行时间预测的方法是基于作业内在特征的预测。用户提交的运行作业有其内在的特征，比如输入参数，输入文件，配置参数，通信过程以及资源等。基于作业内在特征的预测指的是，利用作业内在的特征作为输入，然后利用各类算法比如机器学习算法进行作业运行时间预测。这类研究方法的局限性在于，它只适用与内在特征和运行时长有明确关系的一类作业。
技术实现思路
本专利技术的目的是提供一种作业实际运行时间的预测方法，可以准确实现作业实际运行时间的预测。本专利技术的目的是通过以下技术方案实现的：一种作业实际运行时间的预测方法，包括：采集历史数据，从而计算每一用户的估计运行时间准确率分布，即R值分布；根据每一用户的R值分布对所有用户进行聚类；对于待预测的新作业，根据新作业所属的用户及聚类结果，提取相应用户所属类别下所有用户的历史数据作为训练数据；利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型；将新作业中的作业特征分别输入至每一训练好的预测模型中，并综合所有预测模型的输出结果计算新作业的R值，进而预测新作业实际运行时间。由上述本专利技术提供的技术方案可以看出，从用户建模的角度出发，根据R值分布对用户进行了聚类，后续过程中不是直接预测作业的运行时间而是通过预测R值的大小间接的预测作业的运行时间，本专利技术能在一定程度上改善基于作业历史和基于作业内在特征的建模方法的局限性，使得作业的运行时间预测更加的准确。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种作业实际运行时间的预测方法的流程图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例提供一种作业实际运行时间的预测方法，如图1所示，其主要包括如下步骤：步骤1、采集历史数据，从而计算每一用户的估计运行时间准确率分布，即R值分布。本专利技术实施例中，可以利用超算平台收集用户所提交高性能作业的历史数据，所述的历史数据包括每一个作业的作业泛属性和作业的内在特征。作业泛属性包括作业所属的用户、作业的实际运行时间、用户估计的CPU核数、作业提交的等待队列、作业的提交时间、用户是否取消了该作业、用户估计的作业运行时间。作业的内在特征包括作业的输入文件。本专利技术实施例中，对于每一用户的每一个历史作业计算相应的R值，去掉R值小于0的作业；再将每一用户的所有作业的R值按照从小到大进行排序，从而构成每一个用户的R值分布；其中，R值计算公式为：其中，Treal表示当前作业实际的运行时间，Test表示用户估计的当前作业运行时间。步骤2、根据每一用户的R值分布对所有用户进行聚类。本专利技术实施例中，所述根据每一用户的R值分布对所有用户进行聚类包括：一个用户的R值分布，取它的百分位点，构成一个100维的向量；然后将这一向量作为相应用户的特征，采用层次聚类技术进行用户聚类，从而确定每一用户所述的类别。假设有S个用户，第i个用户的R值分布为Di，该用户的R值特征向量为Qi，Qi＝[Ri1,Ri2,....,Ri100]。其中Rij表示Di中第Nj个作业所对应的R值；Nj的计算公式为：其中，N表示用户R值分布中的作业总数。可以利用欧几里得距离来定义用户之间的相似度；设第i个用户有R值特征向量Qi＝[Ri1,Ri2,....,Ri100]，第p个用户有R值特征向量Qp＝[Rp1,Rp2,....,Rp100]，则第i个用户和第p个用户之间的相似度Sip为：用户之间的相似度也就是层次聚类中的距离，在上述公式的基础上用单链接层次聚类进行用户聚类，最后聚类出的用户类别个数由具体的实验效果决定，以实验效果最好的类别个数作为最后确定的类别个数。步骤3、对于待预测的新作业，根据新作业所属的用户及聚类结果，提取相应用户所属类别下所有用户的历史数据作为训练数据。本专利技术实施例中，根据新作业所属用户这个特征，就可以找到该用户在步骤2中聚类结果所属的类别，然后将这个类别中的所有用户的历史数据作为训练数据。步骤4、利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型。本专利技术实施例中，需要从训练数据中选出作业特征作为模型输入。所述作业特征包括：用户特征、作业泛属性特征，作业内在特征；其中：1)用户特征包括：用户正确预测作业运行时间的概率、用户错误预测作业运行时间的概率及用户取消作业的概率。a、用户正确预测作业运行时间的概率的计算公式为：其中，REij为第i个用户在第j个作业之前正确预测作业运行时间的概率；Beforeij为用户在第j个作业之前提交的作业数目，即等于j-1；Correctij为第i个用户在第j个作业之前提交的作业中正确预测作业运行时间的数目，Cik表示第i个用户的第k个作业是否被正确预测，表示第k个作业实际的运行时间，表示用户估计的第k个作业运行时间，其中上标k表示第k个作业，τ1为设定的第一阈值，例如可设置成0.1；b、用户错误预测作业运行时间的概率的计算公式为：其中，ERij为第i个用户在第j个作业之前正确预测作业运行时间的概率；Errorij为第i个用户在第j个作业之前提交的作业中错误预测作业运行时间的数目，Eik表示第i个用户的第k个作业是否被错误预测，τ2为设定的第二阈值，例如可设置成0.8；c、用户取消作业的概率的计算公式为：其中，CAij为第i个用户在第j个作业之前取消作业的概率；Cancelij为第i个用户在第j个作业之前提交的作业中取消作业的数目，Ca本文档来自技高网...

【技术保护点】
1.一种作业实际运行时间的预测方法，其特征在于，包括：采集历史数据，从而计算每一用户的估计运行时间准确率分布，即R值分布；根据每一用户的R值分布对所有用户进行聚类；对于待预测的新作业，根据新作业所属的用户及聚类结果，提取相应用户所属类别下所有用户的历史数据作为训练数据；利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型；将新作业中的作业特征分别输入至每一训练好的预测模型中，并综合所有预测模型的输出结果计算新作业的R值，进而预测新作业实际运行时间。

【技术特征摘要】
1.一种作业实际运行时间的预测方法，其特征在于，包括：采集历史数据，从而计算每一用户的估计运行时间准确率分布，即R值分布；根据每一用户的R值分布对所有用户进行聚类；对于待预测的新作业，根据新作业所属的用户及聚类结果，提取相应用户所属类别下所有用户的历史数据作为训练数据；利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型；将新作业中的作业特征分别输入至每一训练好的预测模型中，并综合所有预测模型的输出结果计算新作业的R值，进而预测新作业实际运行时间。2.根据权利要求1所述的一种作业实际运行时间的预测方法，其特征在于，对于每一用户的每一个历史作业计算相应的R值，去掉R值小于0的作业；再将每一用户的所有作业的R值按照从小到大进行排序，从而构成每一个用户的R值分布；其中，R值计算公式为：其中，Treal表示当前作业实际的运行时间，Test表示用户估计的当前作业运行时间。3.根据权利要求1所述的一种作业实际运行时间的预测方法，其特征在于，所述根据每一用户的R值分布对所有用户进行聚类包括：一个用户的R值分布，取它的百分位点，构成一个100维的向量；然后将这一向量作为相应用户的特征，采用层次聚类技术进行用户聚类，从而确定每一用户所述的类别。4.根据权利要求1所述的一种作业实际运行时间的预测方法，其特征在于，所述作业特征包括：用户特征、作业泛属性特征，作业内在特征；其中：用户特征包括：用户正确预测作业运行时间的概率、用户错误预测作业运行时间的概率及用户取消作业的概率；作业泛属性特征包括：用户估计的CPU核数、用户作业提交的等待队列、用户估计的作业运行时间、用户提交时间以及用户是否取消了该作业；作业的内在特征包括：从作业的输入文件中提取的作业的程序参数。5.根据权利要求4所述的一种作业实际运行时间的预测方法，其特征在于，用户正确预测作业运行时间的概率的计算公式为：其中，RE...

【专利技术属性】
技术研发人员：孙广中，吴燕晶，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34