一种基于Slurm作业管理的可视化调度系统技术方案

本发明专利技术提供一种基于Slurm作业管理的可视化调度系统，包括：作业获取模块和作业提交模块；作业获取模块用于供用户通过Web前端通过html的file标签获取本地要提交的作业；作业提交模块用于通过http协议提交作业到服务器中；基于Slurm作业管理实现可视化调度方式，为用户提供简单、易懂、可视化的作业调度方式，包括作业提交、作业查询、队列控制、用户信息管理等功能。Web前端通过Http协议将用户请求和数据传输到后台服务器，后台服务器通过过滤器拦截提取分析用户请求，根据用户请求将作业文件提交到作业调度系统，执行运行命令。实现了用户通过可视化方式方便地使用作业调度系统。

【技术实现步骤摘要】
一种基于Slurm作业管理的可视化调度系统
本专利技术涉及高性能集群作业调度领域，尤其涉及一种基于Slurm作业管理的可视化调度系统。
技术介绍
高性能计算集群是一组通过网络连接的高性能服务器(或者PC服务器)的松散耦合，这些服务器通过并行计算的方式来解决单台服务器无法满足的复杂计算问题，具有较高的性价比。作业调度系统主要负责接收用户提交的作业请求，并根据特定的调度规则以及用户对作业的要求选择合适的计算资源来完成用户作业。作业调度系统管理用户提交的作业，为各个作业合理地分配资源，从而确保充分利用集群系统的计算能力，并尽可能迅速地得到运算结果。SLURM是一个针对不同大小Linux集群的资源管理和调度软件。它主要提供三个方面的功能:首先，它为用户提供了一种以独占或者非独占的方式使用计算资源一定时间的机制，用以在相应的时间内为用户运行作业；其次，它提供了一套启动、执行及监控分配在计算节点上作业的框架，主要是方便用户实时的了解提交作业的运行情况；最后，它实现了对排队作业资源竞争的管理。目前Slurm作业管理是基于linux系统的命令行方式,该种操作需要操作人员对Linux系统和高性能计算机集群命令有一定的了解。对非计算机专业人员而说,使用高性能计算机集群非常不方便。
技术实现思路
为了克服上述现有技术中的不足，本专利技术提供一种基于Slurm作业管理的可视化调度系统，包括：作业获取模块和作业提交模块；作业获取模块用于供用户通过Web前端通过html的file标签获取本地要提交的作业；作业提交模块用于通过http协议提交作业到服务器中；提交的作业包括：作业名、节点数量、作业数量、内存大小及作业执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。优选地，作业获取模块还用于用户通过Web前端通过html的file标签获取本地要提交的作业脚本；作业提交模块还用于通过http协议将作业脚本提交到服务器中；作业脚本包括：作业脚本名、脚本节点数量、作业脚本数量、脚本内存大小及作业脚本执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。优选地，作业获取模块还用于用户通过Web前端通过html的file标签获取本地要提交的作业参数；作业提交模块还用于通过http协议将作业参数提交到服务器中，把执行命令参数写在网页上；作业参数包括：作业名、点数量、作业需要执行的命令、作业数量、作业所需内存大小及作业执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。优选地，还包括：作业查询模块；作业查询模块用于查询当前用户提交的作业执行情况，作业执行情况分为正在执行、排队、挂起、执行完毕、退出；用户根据查询到的作业情况对作业进行操作；用户要执行作业查询操作时，由后端php执行mysql查询语句，并将查询到的结果返回页面显示；用户根据结果，如有必要，做出对作业挂起、恢复、删除等操作。优选地，还包括：调度策略设置模块；调度策略设置模块用于设置作业调度策略，作业调度策略包括：先来先服务策略、分时调度策略、基于分区优先级的抢占策略、资源共享策略和资源独占策略；每种策略对应不同的作业调度场景；用户可在Web端根据作业场景设置不同的调度策略。从而提高集群资源使用率和作业执行效率。优选地，还包括：登录注册模块和登录处理模块；登录注册模块用于用户在前端输入登录信息提交，后端php对信息进行提取，并与数据库中存在的用户信息进行核对，核对成功则进入相应主界面，不成功则返回登录界面并反馈错误信息；还用于提供用户注册端口，用户通过注册功能注册时，在前端点击注册按钮，在弹出的界面中填写注册信息，注册信息包括：用户名、密码、邮箱和手机号；登录处理模块用于用户输入用户名和密码登录系统时，后端php注册程序会将用户输入的用户名和密码信息与数据库现有用户比对，如该用户不存在则将信息录入数据库，并返回注册成功信息，否则，提示该用户已存在，登录系统成功。优选地，还包括：权限处理模块；权限处理模块用于根据登录用户的权限，开发不同的作业查询操作权限；管理员用户查询所有用户提交的作业，并对作业有全部的操作权限；普通用户只能查询所述普通用户提交的作业，且无法查询其他用户的作业。从以上技术方案可以看出，本专利技术具有以下优点：本专利技术基于Slurm作业管理实现可视化调度方式，为用户提供简单、易懂、可视化的作业调度方式，包括作业提交、作业查询、队列控制、用户信息管理等功能。Web前端通过Http协议将用户请求和数据传输到后台服务器，后台服务器通过过滤器拦截提取分析用户请求，根据用户请求通过将作业文件提交到作业调度系统，执行运行命令。实现了用户通过可视化方式方便地使用作业调度系统。本专利技术基于Slurm作业管理为用户提供一种可视化的作业调度技术，减少用户学习成本，提供作业管理效率。附图说明为了更清楚地说明本专利技术的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为基于Slurm作业管理的可视化调度系统整体示意图；图2为基于Slurm作业管理的可视化调度系统实施例示意图；图3为基于Slurm作业管理的可视化调度系统实施例示意图。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将运用具体的实施例及附图，对本专利技术保护的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部的实施例。基于本专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利保护的范围。本专利技术提供一种基于Slurm作业管理的可视化调度系统，如图1所示，包括：作业获取模块1和作业提交模块2；作业获取模块1用于供用户通过Web前端通过html的file标签获取本地要提交的作业；作业提交模块2用于通过http协议提交作业到服务器3中；提交的作业包括：作业名、节点数量、作业数量、内存大小及作业执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。本专利技术包括一个实施例，具体包括：如图2和图3所示，作业获取模块还用于用户通过Web前端通过html的file标签获取本地要提交的作业脚本；作业提交模块还用于通过http协议将作业脚本提交到服务器3中；作业脚本包括：作业脚本名、脚本节点数量、作业脚本数量、脚本内存大小及作业脚本执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。本实施例中，系统还包括：作业查询模块4；作业查询模块用于查询当前用户提交的作业脚本执行情况，作业脚本执行情况分为正在执行脚本、排队脚本、挂起脚本、执行完毕脚本、退出脚本；用户根据查询到的作业脚本情况对作业脚本进行操作；用户要执行作业脚本查询操作时，由后端php执行mysql查询语句，并将查询到的结果返回页面显示；用户根据结果，如有必要，做出对作业挂起、恢复、删除等操作。系统还包括：调度策略设置模块5；调度策略设置模块用于设置作业脚本调度策略，作业脚本调度策略包括：先来先服务策略、分时调度策略、基于分区优先级的抢占策略、资源共享策略和资源独占策略；每种策略对应不同的作业调度场景；用户可在Web端根据作业本文档来自技高网...

【技术保护点】
1.一种基于Slurm作业管理的可视化调度系统，其特征在于，包括：作业获取模块和作业提交模块；作业获取模块用于供用户通过Web前端通过html的file标签获取本地要提交的作业；作业提交模块用于通过http协议提交作业到服务器中；提交的作业包括：作业名、节点数量、作业数量、内存大小及作业执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。

【技术特征摘要】
1.一种基于Slurm作业管理的可视化调度系统，其特征在于，包括：作业获取模块和作业提交模块；作业获取模块用于供用户通过Web前端通过html的file标签获取本地要提交的作业；作业提交模块用于通过http协议提交作业到服务器中；提交的作业包括：作业名、节点数量、作业数量、内存大小及作业执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。2.根据权利要求1所述的基于Slurm作业管理的可视化调度系统，其特征在于，作业获取模块还用于用户通过Web前端通过html的file标签获取本地要提交的作业脚本；作业提交模块还用于通过http协议将作业脚本提交到服务器中；作业脚本包括：作业脚本名、脚本节点数量、作业脚本数量、脚本内存大小及作业脚本执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。3.根据权利要求1所述的基于Slurm作业管理的可视化调度系统，其特征在于，作业获取模块还用于用户通过Web前端通过html的file标签获取本地要提交的作业参数；作业提交模块还用于通过http协议将作业参数提交到服务器中，把执行命令参数写在网页上；作业参数包括：作业名、点数量、作业需要执行的命令、作业数量、作业所需内存大小及作业执行需要的资源限定条件、输出文件位置、输出文件名、执行时间。4.根据权利要求1所述的基于Slurm作业管理的可视化调度系统，其特征在于，还包括：作业查询模块；作业查询模块用于查询当前用户提交的作业执行情况，作业执行情况分为正在执行、排队、挂起、执行完毕、退出；用户根据查询到的作业情况对作业进行操作；用户要执行作业查询操作时，由后端php执行...

【专利技术属性】
技术研发人员：曲德源，吴登勇，孙超，刘毅枫，
申请(专利权)人：山东超越数控电子股份有限公司，
类型：发明
国别省市：山东,37