基于LDAP与SLURM的云用户管理方法及系统技术方案

本发明专利技术公布了一种基于LDAP与SLURM的云用户管理方法及系统，基于轻量级目录访问协议LDAP与Linux平台简单资源管理工具SLURM，使用服务质量QOS定制多种用户作业排队队列，实现高性能云用户管理；包括：用户统一认证配置、LDAP用户数据获取、用户信息同步、LDAP与SLURM用户统一管理、个性化定制管理；解决现有技术中远程LDAP服务器配置无法改变、高性能云平台用户需求复杂、用户量大管理困难等问题，便于高性能云平台的存储与计费统一；满足用户的个性化需求，为计算量大，计算频繁的用户提供优质服务；用户资源管理更加合理有效；有效减少作业的排队时间，提高资源的利用率和高性能云平台的作业吞吐量。

Cloud user management method and system based on LDAP and SLURM

The invention provides a cloud user management method and system based on LDAP and SLURM, based on the lightweight directory access protocol LDAP and the simple resource management tool SLURM of the Linux platform, using the quality of service QOS to customize a variety of user queue queues to achieve high performance cloud user management, including: user unified authentication configuration, LDAP use User data acquisition, user information synchronization, unified management of LDAP and SLURM users, personalized customization management, solve the problems of remote LDAP server configuration in existing technology, complex requirements of high performance cloud platform users, difficult user management and so on, so as to facilitate the storage and charging of high performance cloud platform and satisfy users. Individualized demand provides high quality services for users with large computation and frequent computing; user resource management is more reasonable and effective; it effectively reduces the queuing time of jobs, improves the utilization of resources and the throughput of high performance cloud platforms.

【技术实现步骤摘要】
基于LDAP与SLURM的云用户管理方法及系统
本专利技术涉及高性能计算与云计算技术，尤其涉及一种LDAP与SLURM结合的高性能计算云用户管理方法。
技术介绍
LDAP(LightweightDirectoryAccessProtocol)是一种轻量级目录访问协议。LDAP目录是用树形结构存储数据，能够有效明确的描述一个组织结构特性的相关信息。LDAP目录是一种与关系数据库不同的、特殊的数据库，严格意义上讲，LDAP不是数据库而是用来访问存储在信息目录中的信息的协议。LDAP的条目是LDAP处理的基本对象，是最基本的颗粒，或者成为数据库中的记录。高性能云平台用户量大，用户的快速安全认证是平台的基本保障。相比于传统数据库，LDAP主要优点就在能够快速响应用户的查找需求，保障用户登录的并发操作。LDAP还可以与SSSD(SystemSecurityServiceDaemon，系统安全服务守护进程)、NSLCD(localLDAPnameservicedaemon，本地LDAP名服务进程)以及NSS(NameServicesSwitch，名服务交换)等认证工具结合，将本地用户认证与集中认证同时结合在一起，这使得LDAP现在成为一个统一认证的解决方案的优势所在。SSL/TLS(SecureSocketsLayer/TransportLayerSecurity，安全套接字层/传输层安全协议)是基于PKI(PublicKeyInfrastrcture，公钥基础设施)机制的加密方式，包括证书认证、密钥交换、非对称加密、对称加密。SSL/TLS证书用来认证服务器和客户机双方的身份，并用于密钥交换时候的非对称加密。LDAP与SSL/TLS结合可以提高LDAP客户端与服务器之间数据通信的安全可靠性，保障了高性能云集群统一认证的安全性。SSSD是redhat中的一种守护进程，该进程可以用来访问多种验证服务等，并提供授权，主要优势有两点：第一，避免了本地每个客户端程序对认证服务器的大量连接，所有本地程序仅联系SSSD，由SSSD连接认证服务器或SSSD缓存，有效的降低了负载；第二，允许离线授权，SSSD可以缓存LDAP服务器的用户认证身份，这允许在认证服务器宕机时，继续成功授权用户访问必要的资源。SSSD可以与DLAP和TLS结合实现用户的统一认证。SLURM(SimpleLinuxUtilityforResourceManagement)，Linux平台简单实用资源管理工具)是一种可用于大型计算节点集群的高度可伸缩和容错的集群管理器和作业调度系统。SLURM维护着一个待处理的作业的队列并管理此作业的整体资源利用。它还以一种排他的方式管理可用的计算节点。最后，SLURM将作业分发给一组已分配的节点来执行作业并监视平行作业直至完成。SLURM中用户管理主要是管理账号、用户、分区与服务质量QOS(QualityofService)四者的组合关系：SLURM中账号对应LDAP中组(group)的概念，一个账号可以由多个用户共同使用，一个用户也可以同时拥有多个账号。SLURM中分区表示一组节点组成的逻辑组，通常会包含进入工作的队列，也可以配置各种约束条件，比如设置用户禁止访问分区，将用户加入分区的黑名单中。高性能云平台中，一般将所有配置相同的节点设为同一个分区，如果用户需要独享节点，则将独享的节点单独作为分区，该分区只能被独享的用户使用。用户和账号可以与分区建立关系，表示用户可以用该账号使用分区资源。一个用户和账号可以使用多个分区的资源，一个分区也可以被多个用户和账号访问。QOS是用来提高SLURM资源管理服务质量的工具，QOS可以描述作业的优先级，作业或分区的限制条件，可以用来个性化定制高性能云平台的用户服务。在学校等教育机构中，建立高性能云平台时，可能需要高性能云平台的用户密码等信息与学校的认证平台进行统一。此时，高性能云平台的校内用户信息需要从学校的统一认证平台获取，校外用户信息需要注册录入。学校的认证服务是学生和教职工日常认证登录各种学校网站平台的基础，不允许轻易修改配置文件。现有的高性能集群中用户的认证与资源管理并没有一个统一管理的方式，各种管理方式没有一种多样化的管理方案，用户认证与资源管理的分离会导致用户与资源管理难以维护统一。高性能计算中用户对资源的需求都非常大，而现有技术难以对资源进行合理管理，从而导致某些用户滥用资源，而其他用户一直排队等待资源的情况，造成资源无法合理利用，资源的利用率低下。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供一种将LDAP与SLURM结合的高性能云用户管理方法及云用户管理系统实现，其目的在于：解决现有技术中，现有远程LDAP服务器(类似学校等机构的统一用户认证服务器)配置无法改变，以及高性能云平台用户需求复杂，用户量大管理效率低等问题。本专利技术通过设置多种定制的QOS，定制用户排队队列，使得用户根据自己所需的资源选择队列排队，比如同时提交的作业，运行时间短、资源需求少的作业应在优先级高的队列中排队等候资源，运行时间长的，资源需求多的资源应在优先级较低的队列中排队，可有效减少作业的排队时间，提高资源的利用率。本专利技术中，用户管理方法通过使用QOS来定制多种用户作业排队队列，来提高高性能云平台的作业吞吐量，减少作业整体排队时间。本专利技术的核心包括LDAP用户数据获取、用户信息同步、LDAP与SLURM用户统一管理、个性化定制管理等过程。本专利技术提供的技术方案是：一种基于LDAP与SLURM的高性能云用户管理方法，使用QOS来定制多种用户作业排队队列，实现LDAP与SLURM结合的用户管理方法，包括用户统一认证配置、LDAP用户数据获取、用户信息同步、LDAP与SLURM用户统一管理、个性化定制管理；具体包括如下：A.用户统一认证配置：通过用户统一认证模块配置LDAP服务器与LDAP客户端，使得用户能在高性能云平台的所有节点统一认证登录，包括LDAP服务器配置过程和LDAP客户端配置过程。其中：LDAP服务器配置过程，包括：在高性能云平台的管理节点安装OpenLDAP服务器的安装包，并配置平台LDAP服务器，包括配置平台LDAP服务器的域名，平台LDAP结构，管理员的条目和密码，每个条目的属性等，完成数据同步与SSL/TLS数据认证加密的配置。LDAP客户端配置过程，包括：在高性能云集群的所有节点上安装OpenLDAP客户端，并配置平台LDAP客户端的服务器地址，配置SSSD服务。B.LDAP用户数据获取：在创建用户时获取用户的信息，当用户在远程LDAP服务器上存在(内部用户)时，从远程LDAP上获取用户信息，当用户在远程LDAP服务器上不存在(外部用户)时，录入用户申请时输入的信息。本专利技术具体实施时建立高性能云平台，当用户为内部用户时，从远程LDAP获取用户信息，当用户为外部用户时，录入用户申请时输入的信息。其具体实现步骤如下：步骤21：根据用户申请提交的资料，判断用户是否为内部用户。步骤22：若用户为内部用户，则从远程LDAP中获取用户信息，包括用户密码、姓名、所属院系、邮箱、电话等。步骤23：若用户为外部用户，则录入用户信息，包括用户密码、姓名、所属院系、邮箱、电话等。C.用户本文档来自技高网...

【技术保护点】
1.一种高性能云用户管理方法，基于轻量级目录访问协议LDAP与Linux平台简单资源管理工具SLURM，使用服务质量QOS定制多种用户作业排队队列，实现高性能云用户管理；包括：用户统一认证配置过程、LDAP用户数据获取过程、用户信息同步过程、LDAP与SLURM用户统一管理过程、个性化定制管理过程；具体包括如下：A.用户统一认证配置：配置LDAP服务器与LDAP客户端，使得用户在高性能云平台的所有节点统一认证登录；B.LDAP用户数据获取过程：在创建用户时获取用户的信息；当用户为内部用户时，用户信息存在于远程LDAP服务器上，从远程LDAP服务器上获取用户信息；当用户为外部用户时，在远程LDAP服务器上不存在用户信息，则录入用户申请时输入的信息；C.用户信息同步过程：同步远程LDAP服务器中的用户信息到高性能云平台中，并通过定期轮询维护远程LDAP服务器与高性能云平台数据的一致性；D.LDAP与SLURM用户统一管理过程：通过在LDAP与SLURM中创建、修改和删除用户、组、账号，实现多用户共享账号或组、欠费封锁账号功能，并实现LDAP中用户与组的关联关系与SLURM中用户和账号的关联关系保持一致，统一管理LDAP与SLURM用户；每个账号设有一个管理账号的账号负责人；LDAP与SLURM用户统一管理具体执行如下操作：D1，添加账号时，根据待添加账号名account_name和账号负责人username，运行./slurm–c account_name username；D2，删除账号时，根据待删除账号名account_name，运行./slurm–a account_name；当待删除账号之前申请过共享节点或独享节点时，则首先删除申请共享节点时创建的QOS，并删除申请独享节点时创建的独享分区，回收独享分区中的节点；删除账号包括从SLURM中删除账号和从LDAP中删除账号对应的组；D3，添加用户username到已有账号account_name中时，运行./slurm–g account_name username；若已有账号account_name为多个用户共享的共享账号，组内成员在提交SLURM作业时加上参数–Aaccount_name，使用平台所产生的费用从共享账号account_name中扣除；当共享账号余额小于0时封锁共享账号；当添加用户为外部用户时，首先手动录入用户信息，在平台LDAP服务器中创建该用户，将该用户加入LDAP中账号对应的用户组中；然后在SLURM中创建用户，并创建与SLURM账号的关联；当添加用户为内部用户时，则在LDAP中将该用户加入账号对应的用户组中，在SLURM中将用户添加到账号中，创建用户与账号的关联；若该账号之前申请过共享节点或者独享节点，则将新添的用户添加到共享节点的QOS中或独享节点的分区中；D4，从指定账号account_name中删除用户username时，运行：./slurm–k account_name username；当账号account_name是用户username的默认账号时，若该用户还有其他账号，则先将用户的默认账号修改为其他账号，再从account_name中删除用户；否则直接从account_name中删除用户；若账号account_name申请过共享节点或者独享节点，则同时将用户username从对应的分区和QOS中删除，从而阻止该用户使用共享节点或者独享节点的资源；D5，删除用户username时，运行：./slurm–v username；从LDAP和SLURM中删除该用户，并将用户从所有LDAP的相关的用户组中删除，删除所有SLURM中用户关联账号的关联关系；D6，封锁欠费账号account_name时，运行：./slurm–b account_name；在每次作业运行完并扣费完成后，判断扣费账号的余额，若账号余额小于0，则将账号加入到所有基本分区的DenyAccount中，使得该账号下所有用户不能再利用该账号提交作业和使用集群所有的资源；但用户仍能登录云平台执行查看操作；E.个性化定制管理过程：定制系统的QOS作业队列，使得用户按照自己作业所需资源选择排队队列，减少整体作业排队等候时间，提高资源利用率；并实现节点共享与节点独享个性化服务定制；通过上述步骤，实现基于LDAP与SLURM的高性能云用户的管理。...

【技术特征摘要】
1.一种高性能云用户管理方法，基于轻量级目录访问协议LDAP与Linux平台简单资源管理工具SLURM，使用服务质量QOS定制多种用户作业排队队列，实现高性能云用户管理；包括：用户统一认证配置过程、LDAP用户数据获取过程、用户信息同步过程、LDAP与SLURM用户统一管理过程、个性化定制管理过程；具体包括如下：A.用户统一认证配置：配置LDAP服务器与LDAP客户端，使得用户在高性能云平台的所有节点统一认证登录；B.LDAP用户数据获取过程：在创建用户时获取用户的信息；当用户为内部用户时，用户信息存在于远程LDAP服务器上，从远程LDAP服务器上获取用户信息；当用户为外部用户时，在远程LDAP服务器上不存在用户信息，则录入用户申请时输入的信息；C.用户信息同步过程：同步远程LDAP服务器中的用户信息到高性能云平台中，并通过定期轮询维护远程LDAP服务器与高性能云平台数据的一致性；D.LDAP与SLURM用户统一管理过程：通过在LDAP与SLURM中创建、修改和删除用户、组、账号，实现多用户共享账号或组、欠费封锁账号功能，并实现LDAP中用户与组的关联关系与SLURM中用户和账号的关联关系保持一致，统一管理LDAP与SLURM用户；每个账号设有一个管理账号的账号负责人；LDAP与SLURM用户统一管理具体执行如下操作：D1，添加账号时，根据待添加账号名account_name和账号负责人username，运行./slurm–caccount_nameusername；D2，删除账号时，根据待删除账号名account_name，运行./slurm–aaccount_name；当待删除账号之前申请过共享节点或独享节点时，则首先删除申请共享节点时创建的QOS，并删除申请独享节点时创建的独享分区，回收独享分区中的节点；删除账号包括从SLURM中删除账号和从LDAP中删除账号对应的组；D3，添加用户username到已有账号account_name中时，运行./slurm–gaccount_nameusername；若已有账号account_name为多个用户共享的共享账号，组内成员在提交SLURM作业时加上参数–Aaccount_name，使用平台所产生的费用从共享账号account_name中扣除；当共享账号余额小于0时封锁共享账号；当添加用户为外部用户时，首先手动录入用户信息，在平台LDAP服务器中创建该用户，将该用户加入LDAP中账号对应的用户组中；然后在SLURM中创建用户，并创建与SLURM账号的关联；当添加用户为内部用户时，则在LDAP中将该用户加入账号对应的用户组中，在SLURM中将用户添加到账号中，创建用户与账号的关联；若该账号之前申请过共享节点或者独享节点，则将新添的用户添加到共享节点的QOS中或独享节点的分区中；D4，从指定账号account_name中删除用户username时，运行：./slurm–kaccount_nameusername；当账号account_name是用户username的默认账号时，若该用户还有其他账号，则先将用户的默认账号修改为其他账号，再从account_name中删除用户；否则直接从account_name中删除用户；若账号account_name申请过共享节点或者独享节点，则同时将用户username从对应的分区和QOS中删除，从而阻止该用户使用共享节点或者独享节点的资源；D5，删除用户username时，运行：./slurm–vusername；从LDAP和SLURM中删除该用户，并将用户从所有LDAP的相关的用户组中删除，删除所有SLURM中用户关联账号的关联关系；D6，封锁欠费账号account_name时，运行：./slurm–baccount_name；在每次作业运行完并扣费完成后，判断扣费账号的余额，若账号余额小于0，则将账号加入到所有基本分区的DenyAccount中，使得该账号下所有用户不能再利用该账号提交作业和使用集群所有的资源；但用户仍能登录云平台执行查看操作；E.个性化定制管理过程：定制系统的QOS作业队列，使得用户按照自己作业所需资源选择排队队列，减少整体作业排队等候时间，提高资源利用率；并实现节点共享与节点独享个性化服务定制；通过上述步骤，实现基于LDAP与SLURM的高性能云用户的管理。2.如权利要求1所述云用户管理方法，其特征是，用户统一认证配置包括LDAP...

【专利技术属性】
技术研发人员：马银萍，樊春，李若淼，杨宏辉，马皓，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11