一种面向高性能计算的随作业自动部署运行环境方法技术

本发明专利技术公开了一种面向高性能计算的随作业自动部署运行环境方法，包括：在高性能计算系统结点预置隔离运行环境；用户登录到登录结点的隔离运行环境；用户在登录结点进行对作业的开发调试以及对作业运行环境的配置，并向作业管理系统发出作业运行请求；作业管理系统为用户作业分配高性能计算系统结点的计算结点，并在作业加载的同时自动将用户的上层文件系统随作业同步部署到分配的计算结点上，然后相应的计算结点运行用户的作业；作业执行完毕，计算结点将结果反馈给用户的登录结点，然后计算结点清除掉自己的上层文件系统，结束作业进程并结束。本发明专利技术提高高性能计算的作业部署效率，减少用户的负担的同时减少用户的环境配置负担。负担。负担。

【技术实现步骤摘要】
一种面向高性能计算的随作业自动部署运行环境方法


[0001]本专利技术涉及计算机系统软件领域，尤其涉及一种面向高性能计算的随作业自动部署运行环境方法。

技术介绍

[0002]当前的高性能计算机系统将物理结点划分为登录结点和计算结点，用户在登录结点发出作业请求后，高性能计算系统通过作业管理系统来分配计算结点以响应这些请求，完成相应的任务。在这个过程中，当前主要存在以下几种模式。
[0003]一、传统的高性能计算作业执行方式
[0004]传统的高性能计算系统中，用户之间共享登录结点(如图1所示)。用户在登录到登录结点之后，在登录结点的环境之下进行自己的应用程序的开发调试，这时用户可能会配置若干原本系统环境下没有的库和依赖。当用户准备将作业在计算结点上执行时，传统用户一般通过两种方式来配置好计算结点上所需要的运行环境。第一种是用户直接将作业所需要的库和依赖拷贝到相应的计算结点上，然后在作业执行时指定这些相应的结点来运行。第二种是将作业所需要的库和依赖配置到全局共享文件系统中，在作业执行时通过参数指定好相关的库和依赖的路径即可。
[0005]这样的作业管理系统主要存在以下缺点：
[0006]1.用户的作业部署压力大，为了使得作业可以被正常执行，需要手动配置环境，在第一种方式下，使用的计算结点数量越多，手动配置的压力越大。
[0007]2.改变了高性能计算系统的原有环境。经过一个用户配置过的结点很可能会影响其他用户的使用，导致系统环境配置的混乱，并且这样的环境也不能保护用户的隐私。/>[0008]二、依赖容器的作业部署方式
[0009]一个作业的使用的库和依赖项可能会很复杂，为了使得作业的部署更加简单，容器技术被应用到高性能计算的作业部署中。例如docker,将运行环境封装到一个容器image中，利用这个image可以实现较为迅速的作业的移植和部署。在计算结点上，用户只需要将封装好的容器image部署好，就相当于配置好了作业所需要的完整系统环境。这种融入容器技术的高性能计算作业管理系统，相对于传统的方式有了一定的效率提升。
[0010]但是这种方式下依然存在着相应的缺点：
[0011]1.用户使用容器来封装自己的作业运行环境，容器的内容必须包含这个作业运行所需要的完整系统环境，而这些内容都必须由用户手动维护，给用户带来较大的负担。
[0012]2.用户封装完成作业的执行环境，生成容器image，还需要用户手动将这个容器image部署到计算结点或者全局共享文件系统上，并在通过作业管理系统运行作业时需要指定作业管理系统运行这个容器image，这些工作依然给用户带来了较大的负担。
[0013]3.传统的容器使用的隔离技术给作业的运行带来了较大的性能开销。

技术实现思路

[0014]本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种面向高性能计算的随作业自动部署运行环境方法，通过一种轻量级的运行环境来提高高性能计算的作业部署效率，减少用户的负担的同时引入近乎可以忽略的开销，减少用户的环境配置负担。
[0015]为解决上述技术问题，本专利技术提出的技术方案为：
[0016]一种面向高性能计算的随作业自动部署运行环境方法，包括以下步骤：
[0017]S1)在高性能计算系统结点预置隔离运行环境：基于分层文件系统实现用户的环境共享和自由定制以及运行环境的自动部署，结合进程隔离实现多用户互相独立的开发和运行环境；
[0018]S2)用户登录到登录结点的隔离运行环境：用户登录到高性能计算系统的登录结点，面向高性能的随作业自动部署的运行环境机制为用户提供一个隔离的轻量级的开发环境；
[0019]S3)用户在登录结点进行对作业的开发调试以及对作业运行环境的配置，并向作业管理系统发出作业运行请求；
[0020]S4)作业管理系统为用户作业分配高性能计算系统结点的计算结点，并在作业加载的同时自动将用户的上层文件系统随作业同步部署到分配的计算结点上，然后相应的计算结点运行用户的作业；
[0021]S5)作业执行完毕，计算结点将结果反馈给用户的登录结点，然后计算结点清除掉自己的上层文件系统，结束作业进程并结束。
[0022]进一步的，步骤S1)具体包括：将标准的系统环境作为层次化文件系统的底层，将用户自定义的作业运行所需要的依赖作为层次化文件系统的上层，在高性能计算系统的登录结点和计算结点预置底层文件系统，在登录结点上运行一个daemon进程监听用户登录请求，同时将随作业自动部署的运行环境机制融入到作业管理系统中。
[0023]进一步的，所述随作业自动部署的运行环境机制具体包括；作业管理系统在收到来自登录结点的用户作业运行请求时，首先为其分配计算结点，然后在计算结点上启动一个轻量级运行环境，把用户在登录结点的自定义环境自动同步到这些计算结点上来，作为作业的运行环境。
[0024]进一步的，步骤S2)具体包括以下步骤：
[0025]S21)用户向高性能计算系统的登录结点发出登录请求；
[0026]S22)登录结点的daemon进程持续监听，收到用户的登录请求后启动轻量级运行环境作为用户的登录空间，所述轻量级运行环境包括一个拥有一棵完整的进程树的隔离的进程，以及一个空的上层文件系统；
[0027]S23)用户登录到登录结点启动的所述轻量级运行环境中。
[0028]进一步的，步骤S3)具体包括以下步骤：
[0029]S31)用户按照实际需求直接使用底层文件系统的标准配置；
[0030]S32)用户在上层文件系统中针对自己独有的作业进行开发调试，同时针对独有的运行依赖项进行自主配置；
[0031]S33)用户的作业在登录结点开发调试完成之后，执行作业运行命令，向作业管理
系统发出作业运行请求。
[0032]进一步的，步骤S4)具体包括以下步骤：
[0033]S41)作业管理系统收到用户作业运行请求时，根据当前系统中计算结点的负载情况为作业分配相应的计算结点，并在计算结点上启动一个轻量级运行环境作为作业的执行空间，所述轻量级运行环境包括一个拥有一棵完整的进程树的隔离的进程，以及一个空的上层文件系统；
[0034]S42)将用户在登录结点的上层文件系统同步到所分配的计算结点上，所述登录结点的上层文件系统作为该计算结点的上层文件系统；
[0035]S43)所分配的计算结点根据上层文件中系统中用户的作业内容以及作业所需要的依赖项执行作业。
[0036]本专利技术还提出一种面向高性能计算的运行环境自动部署装置，包括计算机设备，所述计算机设备被编程或配置以执行上述的面向高性能计算的随作业自动部署运行环境方法。
[0037]本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质存储有被编程或配置以执行上述的面向高性能计算的随作业自动部署运行环境方法的计算机程序。
[0038]与现有技术相比，本专利技术的优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向高性能计算的随作业自动部署运行环境方法，其特征在于，包括以下步骤：S1)在高性能计算系统结点预置隔离运行环境：基于分层文件系统实现用户的环境共享和自由定制以及运行环境的自动部署，结合进程隔离实现多用户互相独立的开发和运行环境；S2)用户登录到登录结点的隔离运行环境：用户登录到高性能计算系统的登录结点，面向高性能的随作业自动部署的运行环境机制为用户提供一个隔离的轻量级的开发环境；S3)用户在登录结点进行对作业的开发调试以及对作业运行环境的配置，并向作业管理系统发出作业运行请求；S4)作业管理系统为用户作业分配高性能计算系统结点的计算结点，并在作业加载的同时自动将用户的上层文件系统随作业同步部署到分配的计算结点上，然后相应的计算结点运行用户的作业；S5)作业执行完毕，计算结点将结果反馈给用户的登录结点，然后计算结点清除掉自己的上层文件系统，结束作业进程并结束。2.根据权利要求1所述的面向高性能计算的随作业自动部署运行环境方法，其特征在于，步骤S1)具体包括：将标准的系统环境作为层次化文件系统的底层，将用户自定义的作业运行所需要的依赖作为层次化文件系统的上层，在高性能计算系统的登录结点和计算结点预置底层文件系统，在登录结点上运行一个daemon进程监听用户登录请求，同时将随作业自动部署的运行环境机制融入到作业管理系统中。3.根据权利要求2所述的面向高性能计算的随作业自动部署运行环境方法，其特征在于，所述随作业自动部署的运行环境机制具体包括；作业管理系统在收到来自登录结点的用户作业运行请求时，首先为其分配计算结点，然后在计算结点上启动一个轻量级运行环境，把用户在登录结点的自定义环境自动同步到这些计算结点上来，作为作业的运行环境。4.根据权利要求1所述的面向高性能计算的随作业自动部署运行环境方法，其特征在于，步骤S2)具体包括以下步骤：S21)...

【专利技术属性】
技术研发人员：卢凯，张文喆，王睿伯，迟万庆，董勇，张伟，邬会军，邵明天，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：