基于Slurm的信息采集方法和装置、服务器、计算机可读存储介质制造方法及图纸

技术编号:26375530 阅读:69 留言:0更新日期:2020-11-19 23:44
本申请涉及一种基于Slurm的信息采集方法和装置、服务器、计算机可读存储介质,包括:通过Slurm作业调度系统采集作业运行信息和集群节点信息。通过预设插件和TDengine时序数据库之间的连接关系,调用预设插件将所采集到的作业运行信息和集群节点信息分别存储至TDengine时序数据库中。其中,TDengine时序数据库为一款高性能的数据库,其数据处理速度明显比其他通用数据库较快。另外,通过本方法只需要采用同一个预设插件就可以将作业运行信息和集群节点信息这两种信息分别存储至TDengine时序数据库中。降低了系统开发和维护的复杂度和运营成本,进而提高Slurm作业调度系统的信息采集性能。

【技术实现步骤摘要】
基于Slurm的信息采集方法和装置、服务器、计算机可读存储介质
本申请涉及计算机
,特别是涉及一种基于Slurm的信息采集方法和装置、服务器、计算机可读存储介质。
技术介绍
随着计算机技术的不断发展,超级计算集群(SuperComputingCluster,简称SCC)的相关技术也随之不断进行迭代更新。Slurm(全称为SimpleLinuxUtilityResourceManagement)是一种应用于超级计算机集群,且为开源的、具有高容错性和高度可扩展性的作业调度系统。Slurm在超级计算集群中应用广泛,可查询和归档Slurm作业调度系统在运行过程中所产生的多种信息。然而,在高性能计算和高通量计算的需求下,超级计算集群中所支持的节点数量和作业数量越来越多,因此,就对Slurm作业调度系统的信息采集性能提出了更高的要求。因此,如何提高Slurm作业调度系统的信息采集性能就是一个亟待解决的问题。
技术实现思路
本申请实施例提供一种基于Slurm的信息采集方法、装置、服务器、计算机可读存储介质,可以提高S本文档来自技高网...

【技术保护点】
1.一种基于Slurm的信息采集方法,其特征在于,包括:/n通过Slurm作业调度系统采集作业运行信息和集群节点信息;/n通过预设插件和TDengine时序数据库之间的连接关系,调用所述预设插件将所采集到的作业运行信息和集群节点信息分别存储至TDengine时序数据库中。/n

【技术特征摘要】
1.一种基于Slurm的信息采集方法,其特征在于,包括:
通过Slurm作业调度系统采集作业运行信息和集群节点信息;
通过预设插件和TDengine时序数据库之间的连接关系,调用所述预设插件将所采集到的作业运行信息和集群节点信息分别存储至TDengine时序数据库中。


2.根据权利要求1所述的方法,其特征在于,调用所述预设插件将所采集到的作业运行信息存储至TDengine时序数据库中,包括:
通过所述预设插件将所采集的作业运行信息加入全局链表;
调用预先创建的作业运行信息采集线程轮询所述全局链表,将所述全局链表中的作业运行信息写入TDengine数据库中的作业运行信息表。


3.根据权利要求2所述的方法,其特征在于,通过所述预设插件将所采集的作业运行信息加入全局链表,包括:
在每个作业的生命周期结束时,通过所述预设插件从所采集的所述作业对应的作业运行信息中提取目标作业运行信息;
将所述目标作业运行信息加入全局链表。


4.根据权利要求1-3任一项所述的方法,其特征在于,所述调用所述预设插件将所采集到的集群节点信息存储至TDengine时序数据库中,包括:
通过预先创建的集群节点信息采集线程,将所述集群节点信息按照预设周期写入TDengine数据库中的集群节点信息表。


5.根据权利要求4所述的方法,其特征在于,所述集群节点信息表包括能耗信息表、网络信息表及文件系统信息表;通过预先创建的集群节点信息采集线程,将所述集群节点信息按照预设周期写入TDengine数据库中的集群节点信息表,包括:
通过预先创建的能耗信息采集线程,按照预设的第一时间周期将所采集的能耗信息写入TDengine数据库中的能耗信息表;...

【专利技术属性】
技术研发人员:胡梦龙张涛吕灼恒张晋锋李斌原帅袁伟
申请(专利权)人:曙光信息产业北京有限公司无锡城市云计算中心有限公司曙光信息产业股份有限公司中科曙光国际信息产业有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1