基于国产CPU和操作系统的分布式容器集群框架资源管理方法技术方案

本发明专利技术公开了基于国产CPU和操作系统的分布式容器集群框架资源管理方法，应用于安装国产CPU和操作系统的分布式容器集群框架，实现过程为：首先在每个工作节点上安装资源监控组件，该资源监控组件完成监控工作节点、容器的资源占用情况；集群主节点定时轮询并获取所有工作节点的信息，监控集群节点的变化；工作节点监听主节点的请求，当接收到主节点的资源查询后，按照格式封装资源信息，并将数据返回主节点；集群主节点获取到数据后进行数据解析和汇总，并导入到后端数据库中存储。该基于国产CPU和操作系统的分布式容器集群框架资源管理方法与现有技术相比，可有效提高容器集群的资源利用率、保证集群中服务的稳定运行，实用性强。

【技术实现步骤摘要】
基于国产CPU和操作系统的分布式容器集群框架资源管理方法
本专利技术涉及计算机
，具体地说是一种实用性强、基于国产CPU和操作系统的分布式容器集群框架资源管理方法。
技术介绍
随着国内企业信息化和政府电子政务的发展，大中型企业以及政府机构越来越依赖于信息系统展开其业务运作，软件应用在国产CPU和操作系统下由单一架构转变为微服务架构逐渐成为趋势，应用部署也将逐渐容器化、集群化。当容器集群中部署多套应用时，如果没有合理的资源管理机制，应用对资源的需求是不受限的，那么就很快会耗尽工作节点的所有资源，影响到工作节点上的其他应用。如何对资源进行合理的分配，是一个非常关键的问题。目前基于国产CPU和操作系统的分布式容器集群框架缺少集群动态多节点资源管理方法和有效的集群资源监控方法，创建新容器常常因为资源不足而失败，资源分配不均导致容器资源利用率低，集群中服务运行可靠性差。为提高集群的资源利用率、保证集群中服务的稳定运行，需要在优先度和公平性的前提下提高资源的利用率，对资源使用情况进行全面监控，并约束每个容器的资源使用量，对集群资源分配进行约束，依照分配策略进行统一资源管理和分配。
技术实现思路
本专利技术的技术任务是针对以上不足之处，提供一种实用性强、基于国产CPU和操作系统的分布式容器集群框架资源管理方法。本专利技术提供一种基于国产CPU和操作系统的分布式容器集群框架资源管理方法，应用于安装国产CPU和操作系统的分布式容器集群框架，该分布式容器集群框架配置有数据库、若干节点，所述若干节点中包括一个主节点、其余节点为工作节点，工作节点上配置容器，资源管理的过程为：首先在每个工作节点上安装资源监控组件，该资源监控组件完成监控工作节点、容器的资源占用情况；集群主节点定时轮询并获取所有工作节点的信息，监控集群节点的变化；工作节点监听主节点的请求，当接收到主节点的资源查询后，按照格式封装资源信息，并将数据返回主节点；集群主节点获取到数据后进行数据解析和汇总，并导入到后端数据库中存储，通过资源数据的可视化展示集群当前信息和历史信息。所述主节点与工作节点之间通过一交互服务器完成信息交互管理，相对应的，资源监控管理过程为：主节点向交互服务器发起查询时，通过该交互服务器获取所有工作节点的信息，测试与每个工作节点能否通信正常，当工作节点不正常时，交互服务器将删除此工作节点信息；主节点根据获取的工作节点IP地址和监控进程的端口信息，依次向每个工作节点发起资源查询请求，工作节点上的资源监控组件获取查询命令，依次查询该工作节点及其每个容器的资源占用情况，整理并汇总数据后返回主节点；主节点获取返回数据，解析各个资源项数据并存入后端存储数据库。资源监控组件收集工作节点及容器资源占用信息时，每个工作节点开机自启动资源监控组件监控本地服务进程，监听预设的端口，接收到资源查询请求后，处理主节点下发到本节点的任务，返回当前节点资源的使用情况，这里的使用情况指包括CPU、内存、文件系统和网络的资源的使用情况。所述资源监控组件包括容器监控工具、节点管理组件、集群监控性能分析工具，所述容器监控工具用于监控容器及节点的使用状况，节点管理组件定期从容器监控工具获取数据，集群监控性能分析工具收集工作节点上的容器监控工具收集的数据，按照资源类型来集合资源，这里的资源类型包括容器组、命名空间域，分别获取它们的CPU、内存、网络和磁盘的资源占用情况，集群监控性能分析工具组织汇总这些监控数据并封装为JSON格式数据并返回至主节点，主节点获取返回封装资源信息的JSON对象，解析各个资源项数据并存入到数据库中。所述主节点内配置资源调度组件来查询获取所有的工作节点信息，该资源调度组件遍历工作节点，并依次向工作节点发起资源实时查询请求，通过HTTP方式定期拉取数据；资源调度组件在获取各个工作节点返回的资源数据后，解析主机和容器各个维度的信息并存入数据库，当查询历史数据时，资源调度组件直接查询数据库数据，该资源调度组件通过资源调度器按照特定的调度算法和调度策略实现，且当需要创建新容器组时，资源调度组件将待调度的容器组按照特定的调度算法和调度策略，根据各节点的资源使用情况、容器组的资源请求量，绑定到集群中某个合适的工作节点上，并将绑定信息写入数据库中。在创建新容器组时，指定计算资源，即指定每个容器的容器所需的资源请求量和资源限制量，所述资源请求量是指最小资源需求量，资源限制量是指不能超过的资源上限量，容器组的资源请求就是容器组中容器资源请求之和，在调度容器组时，根据工作节点中的资源总量，以及该工作节点上已使用的计算资源，来判断该工作节点是否满足需求。当新容器组创建完成后，资源调度组件负责集群的资源调度，为新建的容器组分配工作节点，资源调度组件收集和分析当前集群中所有工作节点的资源负载情况，然后依此分发新建的容器组到集群中可用的节点：资源调度组件实时监测集群中未分发的容器组，实时监测集群中所有运行的容器组，资源调度组件根据这些容器组的资源状况安全地将未分发的容器组分发到指定的工作节点上；资源调度组件同时监测工作节点信息，由于会频繁查找工作节点，资源调度组件缓存一份最新的信息在本地；最后，资源调度组件在分发容器组到指定的工作节点后，会把容器组相关的信息组合写回交互服务组件。所述资源调度组件在进行资源部署时，首先从服务器获取集群信息，将未调度的容器组或待补足的容器组放入待调度队列，依次选择部署节点，根据资源调度算法，进行节点预选及初选，选择合适的部署节点；资源调度器将部署节点发送给交互服务器；交互服务器修改容器组的部署节点；部署节点上的节点管理组件负责创建容器组；资源调度组件中调度算法分为两个阶段工作节点预选和工作节点优选，最终通过选择得分最高的工作节点作为最合适的工作节点的调度策略进行分配资源。所述特定的调度算法为：1）工作节点预选：根据配置的预选策略过滤掉不满足策略的工作节点，剩下的工作节点集作为优选的输入，该预选策略包括：检查在此主机上是否存在卷冲突，如果这个主机已经挂载了卷，其它同样使用这个卷的容器组不能调度到这个主机上；检查主机的资源是否满足容器组的资源需求，根据实际已经分配的资源量做调度；检查容器组内每一个容器所需的端口号是否已被此工作节点上的其它容器占用，如果有所需的端口号不满足需求，那么容器组不能调度到这个主机上；检查工作节点主机名称是不是容器组指定的主机名；检查工作节点主机的标签是否满足容器组的标签选择属性需求；2）工作节点优选：根据配置的优选策略给预选后的工作节点集进行打分排名，得分最高的工作节点即作为最适合的节点，该容器组就绑定到这个工作节点，具体优选策略包括：如果新的容器组要分配给一个节点，这个节点的优先级就由节点空闲部分与总容量的比值决定，即通过（总容量-节点上容器组的容量总和-新容器组的容量）/总容量来决定；根据主机上是否已具备容器组运行的环境来打分，判断主机上是否已存在容器组运行所需的镜像，存在容器镜像，且镜像越大，则得分就越高。所述通过资源数据的可视化展示集群信息是指通过设计WEB应用，使浏览器访问该WEB应用后，可打开可视化的WEBUI管理前端界面，WEB后端定期查询后端存储数据库的数据，通过界面实时展示集群容器组的资源分配和实时资源占用情况。本发本文档来自技高网...

【技术保护点】
1.基于国产CPU和操作系统的分布式容器集群框架资源管理方法，其特征在于，应用于安装国产CPU和操作系统的分布式容器集群框架，该分布式容器集群框架配置有数据库、若干节点，所述若干节点中包括一个主节点、其余节点为工作节点，工作节点上配置容器，资源管理的过程为：首先在每个工作节点上安装资源监控组件，该资源监控组件完成监控工作节点、容器的资源占用情况；集群主节点定时轮询并获取所有工作节点的信息，监控集群节点的变化；工作节点监听主节点的请求，当接收到主节点的资源查询后，按照格式封装资源信息，并将数据返回主节点；集群主节点获取到数据后进行数据解析和汇总，并导入到后端数据库中存储，通过资源数据的可视化展示集群当前信息和历史信息。

【技术特征摘要】
1.基于国产CPU和操作系统的分布式容器集群框架资源管理方法，其特征在于，应用于安装国产CPU和操作系统的分布式容器集群框架，该分布式容器集群框架配置有数据库、若干节点，所述若干节点中包括一个主节点、其余节点为工作节点，工作节点上配置容器，资源管理的过程为：首先在每个工作节点上安装资源监控组件，该资源监控组件完成监控工作节点、容器的资源占用情况；集群主节点定时轮询并获取所有工作节点的信息，监控集群节点的变化；工作节点监听主节点的请求，当接收到主节点的资源查询后，按照格式封装资源信息，并将数据返回主节点；集群主节点获取到数据后进行数据解析和汇总，并导入到后端数据库中存储，通过资源数据的可视化展示集群当前信息和历史信息。2.根据权利要求1所述的基于国产CPU和操作系统的分布式容器集群框架资源管理方法，其特征在于，所述主节点与工作节点之间通过一交互服务器完成信息交互管理，相对应的，资源监控管理过程为：主节点向交互服务器发起查询时，通过该交互服务器获取所有工作节点的信息，测试与每个工作节点能否通信正常，当工作节点不正常时，交互服务器将删除此工作节点信息；主节点根据获取的工作节点IP地址和监控进程的端口信息，依次向每个工作节点发起资源查询请求，工作节点上的资源监控组件获取查询命令，依次查询该工作节点及其每个容器的资源占用情况，整理并汇总数据后返回主节点；主节点获取返回数据，解析各个资源项数据并存入后端存储数据库。3.根据权利要求1或2所述的基于国产CPU和操作系统的分布式容器集群框架资源管理方法，其特征在于，资源监控组件收集工作节点及容器资源占用信息时，每个工作节点开机自启动资源监控组件监控本地服务进程，监听预设的端口，接收到资源查询请求后，处理主节点下发到本节点的任务，返回当前节点资源的使用情况，这里的使用情况指包括CPU、内存、文件系统和网络的资源的使用情况。4.根据权利要求3所述的基于国产CPU和操作系统的分布式容器集群框架资源管理方法，其特征在于，所述资源监控组件包括容器监控工具、节点管理组件、集群监控性能分析工具，所述容器监控工具用于监控容器及节点的使用状况，节点管理组件定期从容器监控工具获取数据，集群监控性能分析工具收集工作节点上的容器监控工具收集的数据，按照资源类型来集合资源，这里的资源类型包括容器组、命名空间域，分别获取它们的CPU、内存、网络和磁盘的资源占用情况，集群监控性能分析工具组织汇总这些监控数据并封装为JSON格式数据并返回至主节点，主节点获取返回封装资源信息的JSON对象，解析各个资源项数据并存入到数据库中。5.根据权利要求3所述的基于国产CPU和操作系统的分布式容器集群框架资源管理方法，其特征在于，所述主节点内配置资源调度组件来查询获取所有的工作节点信息，该资源调度组件遍历工作节点，并依次向工作节点发起资源实时查询请求，通过HTTP方式定期拉取数据；资源调度组件在获取各个工作节点返回的资源数据后，解析主机和容器各个维度的信息并存入数据库，当查询历史数据时，资源调度组件直接查询数据库数据，该资源调度组件通过资源调度器按照特定的调度算法和调度策略实现，且当需要创建新容器组时，资源调度组件将待调度的容器组按照特定的调度算法和调度策略，根据各节点的资源使用情况、容器组的资源请求量，绑定到集群中某个合适的工作节点上，并将绑定信息写入数据库中。6.根据权利要求5所述的基于国产CPU和操作系统的分布式容器集群框架...

【专利技术属性】
技术研发人员：朱宪，孙元田，李超，
申请(专利权)人：山东汇贸电子口岸有限公司，
类型：发明
国别省市：山东,37