作业信息的统计方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种作业信息的统计方法、装置、计算机设备和存储介质。所述方法通过获取SLURM作业调度系统中目标作业的作业信息，并从作业信息中提取统计目标作业所需的目标作业信息，以及根据目标作业信息对目标作业的预设参数进行统计，其中，目标作业为SLURM作业调度系统中正在运行的作业，预设参数用于评估目标作业所在集群的作业运行情况。上述方法实现了对SLURM计算集群中的作业进行实时统计，解决了传统的统计方法难以实现对作业进行实时统计的问题。统计的问题。统计的问题。

【技术实现步骤摘要】
作业信息的统计方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种作业信息的统计方法、装置、计算机设备和存储介质。

技术介绍

[0002]作业调度系统(Simple Linux Utility for Resource Management，SLURM)是一种可用于大型计算节点集群的高度可伸缩的集群管理器或作业调度系统，会对集群中的作业调度信息按照时间、用户、空间等角度进行统计，生成各种统计报表，通过对统计报表的分析，可以对集群的使用情况、用户的行为有一个更为清晰和准确的把握。
[0003]目前，基于SLURM系统对作业进行统计分析时，通常是在作业调度完成后将调度完成的作业的相关信息存储至数据库中，以便之后从数据库中读取出作业的相关信息，并采用相应的统计方法对该作业进行不同角度的统计分析，从而得到统计结果。
[0004]但是，采用上述统计方法难以实现对作业进行实时统计。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够实现实时作业统计的作业信息的统计方法、装置、计算机设备和存储介质。
[0006]第一方面，一种作业信息的统计方法，所述方法包括：
[0007]基于SLURM作业调度系统获取目标作业的作业信息；所述目标作业为计算集群中正在运行的作业；
[0008]从所述作业信息中提取统计所述目标作业所需的目标作业信息；
[0009]根据所述目标作业信息对所述目标作业的预设参数进行统计；所述预设参数用于评估所述计算集群的作业运行情况。
[0010]上述作业信息的统计方法，通过获取SLURM作业调度系统中目标作业的作业信息，并从作业信息中提取统计目标作业所需的目标作业信息，以及根据目标作业信息对目标作业的预设参数进行统计，其中，目标作业为SLURM作业调度系统中正在运行的作业，预设参数用于评估目标作业所在集群的作业运行情况。上述方法实现了对SLURM计算集群中的作业进行实时统计，解决了传统的统计方法难以实现对作业进行实时统计的问题。
[0011]在其中一个实施例中，所述基于SLURM作业调度系统获取目标作业的作业信息之后，所述方法还包括：
[0012]将所述目标作业的作业信息存储至本地内存中；
[0013]所述从所述作业信息中提取统计所述目标作业所需的目标作业信息，包括：
[0014]从所述本地内存中读取所述作业信息；
[0015]对读取出的作业信息进行解析，以提取所述目标作业所需的目标作业信息。
[0016]上述实施例使用缓存技术来存储实时数据，且由于存储的均是原始的作业数据，若后期统计的预设参数发生变化，也不需要重新获取目标作业的作业信息或改变获取作业
信息的方式，只需要从作业信息中解析出不同的目标作业信息即可，所以上述实施例提供了一种灵活多变的统计方式。
[0017]在其中一个实施例中，所述目标作业信息包括：所述目标作业的实际运行时间和所述目标作业的运行核心数；所述预设参数为核时。
[0018]在其中一个实施例中，所述根据所述目标作业信息对所述目标作业的预设参数进行统计，包括：
[0019]获取预设的筛选时间；
[0020]根据所述筛选时间和所述目标作业的实际运行时间确定所述目标作业的统计运行时间；
[0021]根据所述目标作业的统计运行时间和所述目标作业的运行核心数，统计得到所述目标作业的核时。
[0022]在其中一个实施例中，所述根据所述筛选时间和所述目标作业的实际运行时间确定所述目标作业的统计运行时间，包括：
[0023]将所述筛选时间和所述实际运行时间之间的相交时间确定为所述目标作业的统计运行时间。
[0024]在其中一个实施例中，所述根据所述目标作业的统计运行时间和所述目标作业的运行核心数，统计得到所述目标作业的核时，包括：
[0025]将所述目标作业的统计运行时间和所述目标作业的运行核心数的乘积作为所述目标作业的核时。
[0026]上述实施例提供了一种作业的核时的统计方法，由于作业的核时可以用于评估计算集群中各业务节点设备进行作业时处理器或相关硬件性能的运行情况，因此当作业调度服务器对作业进行实时统计后即可根据统计结果完成对计算集群的相关硬件的运行性能评估，为用户或计算集群维护人员维护系统提供准确的参考数据。
[0027]在其中一个实施例中，所述获取SLURM作业调度系统中目标作业的作业信息，包括：
[0028]使用所述SLURM作业调度系统中的查询命令，查询得到所述目标作业的作业信息。
[0029]上述实施例提供了一种以主动查询的方式直接从各业务节点设备上实时获取目标作业的作业信息，为实时进行作业统计提供了有效的技术手段，且该方式只需要根据一个查询命令即可实现，该方法简单易与实现，且查询效率极高，更加能够满足作业统计的实时性。
[0030]第二方面，一种作业信息的统计装置，所述装置包括：
[0031]获取模块，用于获取SLURM作业调度系统中目标作业的作业信息；所述目标作业为所述SLURM作业调度系统中正在运行的作业；
[0032]提取模块，用于从所述作业信息中提取统计所述目标作业所需的目标作业信息；
[0033]统计模块，用于根据所述目标作业信息对所述目标作业的预设参数进行统计；所述预设参数用于评估所述目标作业所在集群的作业运行情况。
[0034]第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的作业信息的统计方法。
[0035]第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被
处理器执行时实现上述第一方面所述的作业信息的统计方法。
附图说明
[0036]图1为一个实施例中作业信息的统计方法的应用集群的示意图；
[0037]图2为一个实施例中作业信息的统计方法的流程示意图；
[0038]图3为一个实施例中作业信息的统计方法的流程示意图；
[0039]图4为图2实施例中S102的一种实现方式的流程示意图；
[0040]图5为图2实施例中S103的一种实现方式的流程示意图；
[0041]图6为一个实施例中应用场景的示意图；
[0042]图7为一个实施例中作业信息的统计方法的流程示意图；
[0043]图8为一个实施例中作业信息的统计装置的结构框图；
[0044]图9为一个实施例中作业信息的统计装置的结构框图；
[0045]图10为一个实施例中作业信息的统计装置的结构框图；
[0046]图11为一个实施例中计算机设备的内部结构图。
具体实施方式
[0047]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业信息的统计方法，其特征在于，所述方法包括：基于SLURM作业调度系统获取目标作业的作业信息；所述目标作业为计算集群中正在运行的作业；从所述作业信息中提取统计所述目标作业所需的目标作业信息；根据所述目标作业信息对所述目标作业的预设参数进行统计；所述预设参数用于评估所述计算集群的作业运行情况。2.根据权利要求1所述的方法，其特征在于，所述基于SLURM作业调度系统获取目标作业的作业信息之后，所述方法还包括：将所述目标作业的作业信息存储至本地内存中；所述从所述作业信息中提取统计所述目标作业所需的目标作业信息，包括：从所述本地内存中读取所述作业信息；对读取出的作业信息进行解析，以提取所述目标作业所需的目标作业信息。3.根据权利要求1或2所述的方法，其特征在于，所述目标作业信息包括：所述目标作业的实际运行时间和所述目标作业的运行核心数；所述预设参数为核时。4.根据权利要求1所述的方法，其特征在于，所述根据所述目标作业信息对所述目标作业的预设参数进行统计，包括：获取预设的筛选时间；根据所述筛选时间和所述目标作业的实际运行时间确定所述目标作业的统计运行时间；根据所述目标作业的统计运行时间和所述目标作业的运行核心数，统计得到所述目标作业的核时。5.根据权利要求4所述的方法，其特征在于，所述根据所述筛选时间和所述目标作业的实际运行时间确定所述目标作业的统计运行...

【专利技术属性】
技术研发人员：肖邦，郝文静，吕灼恒，王家尧，张博，周干，
申请(专利权)人：曙光信息产业股份有限公司，
类型：发明
国别省市：