分布式存储容器调度方法、装置、电子设备及可读介质制造方法及图纸

本公开实施例提供一种分布式存储容器调度方法、装置、电子设备及计算机可读介质，该方法包括：建立容器存储规格的性能基线表，根据性能基线表为每个容器主机建立容器存储规格索引表；接收存储容器部署请求，确定候选容器存储规格和性能饱和度区间，通过容器存储规格索引表选择与候选容器存储规格和性能饱和度区间匹配的目标容器主机；根据候选容器存储规格的存储容器资源配置参数，将存储容器部署在所述目标容器主机上；根据存储容器性能负载变化在所述性能饱和度区间内动态调整存储容器资源分配。本公开实施例提供的技术方案能够实现存储容器在大规模异构容器环境中快速部署和精细调度，在保障存储性能的同时提升存储容器资源利用率。器资源利用率。器资源利用率。

【技术实现步骤摘要】
分布式存储容器调度方法、装置、电子设备及可读介质


[0001]本公开涉及云计算容器领域与分布式存储领域，尤其涉及一种分布式存储容器调度方法、装置、电子设备及计算机可读介质。

技术介绍

[0002]传统基于物理机的分布式存储需要独立的软硬件配置，分布式存储系统的部署升级时间较长，资源利用率较低,同时由于计算资源与存储资源往往部署在不同的机架上，存储I/O路径较长，I/O性能较差。
[0003]分布式容器存储是指将分布式存储的相关软件组件以容器的方式部署在容器集群中(如Kubernetes)，并以容器的方式进行调度、运行和升级，让存储容器和业务容器能够共享相同的物理服务器和物理网络，提升了物理资源利用率。然而与业务容器(或应用容器)不同的是，存储容器是有状态的，不仅绑定了主机上的存储设备，还在这些存储设备上保存了大量的数据，由于存储容器跨主机节点迁移数据的代价很大，存储容器无法像无状态的业务容器那样可以随时跨容器主机迁移调度。同时，分布式存储本身也涉及多种存储软件类型(如块存储、文件存储和对象存储)和多种存储硬件类型(如HDD、SSD、NVMe等)，不同的存储软件和不同的存储硬件组合的存储I/O性能差异巨大，对CPU、内存、网络等非存储资源的需求也有显著差异，很难按照标准规格为存储容器预留资源，如果存储容器的资源规格设得过高则容易造成资源浪费，而资源规格设得过低则可能无法充分发挥容器的I/O性能。
[0004]因此，需要一种新的分布式存储容器调度方法、装置、电子设备及计算机可读介质。
[0005]在所述
技术介绍
部分公开的上述信息仅用于加强对本公开的背景的理解。

技术实现思路

[0006]有鉴于此，本公开实施例提供一种分布式存储容器调度方法、装置、电子设备及计算机可读介质，能够实现存储容器在大规模异构容器环境中快速部署和精细调度，在保障存储性能的同时提升存储容器资源利用率。
[0007]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0008]根据本公开实施例的第一方面，提出一种分布式存储容器调度方法，该方法包括：建立容器存储规格的性能基线表，根据性能基线表为每个容器主机建立容器存储规格索引表；接收存储容器部署请求，确定候选容器存储规格和性能饱和度区间，通过所述容器存储规格索引表选择与候选容器存储规格和性能饱和度区间匹配的目标容器主机；根据候选容器存储规格的存储容器资源配置参数，将存储容器部署在所述目标容器主机上；根据存储容器性能负载变化在所述性能饱和度区间内动态调整存储容器资源分配。
[0009]在本公开的一种示例性实施例中，建立容器存储规格的性能基线表，根据性能基
线表为每个容器主机建立容器存储规格索引表包括：对多种存储软硬件组合的容器存储规格进行容器化性能基准测试，建立多种存储软硬件组合的容器存储规格的性能基线表；采集容器集群中容器主机的可分配容器存储资源，根据所述性能基线表为容器主机建立容器存储规格索引表。
[0010]在本公开的一种示例性实施例中，对多种存储软硬件组合的容器存储规格进行容器化性能基准测试，建立多种存储软硬件组合的容器存储规格的性能基线表包括：在测试服务器上添加待测试的存储硬件设备，采集存储设备信息；在测试服务器上为每种存储软件类型分别部署一个待测试的存储容器，将待测试的存储硬件设备挂载到待测试的存储容器中；测试待测试的存储容器的最大I/O性能和多种性能饱和度的资源需求，建立容器存储规格的性能基线表。
[0011]在本公开的一种示例性实施例中，采集容器集群中容器主机的可分配容器存储资源，根据所述性能基线表为容器主机建立容器存储规格索引表包括：采集容器集群中容器主机的可分配容器存储资源；从所述性能基线表中获得与容器主机的可分配容器存储资源相匹配的容器存储规格与饱和度；为容器主机建立容器存储规格索引表，索引名为容器存储规格与饱和度的组合，索引值为按照资源充足度排序的容器主机列表。
[0012]在本公开的一种示例性实施例中，接收存储容器部署请求，确定候选容器存储规格和性能饱和度区间，通过所述容器存储规格索引表选择与候选容器存储规格和性能饱和度区间匹配的目标容器主机包括：从存储容器部署请求中提取存储软件需求、存储容量需求和存储性能需求；从性能基线表中查找与存储软件需求、存储容量需求和存储性能需求匹配的候选容器存储规格，以及每种候选容器存储规格的最小饱和度和最大饱和度；根据候选容器存储规格在容器存储规格索引表中查询，在查询结果中选择资源需求最小的容器存储规格的索引值中，可分配资源的充足度最高的容器主机作为目标容器主机。
[0013]在本公开的一种示例性实施例中，根据候选容器存储规格的存储容器资源配置参数，将存储容器部署在所述目标容器主机上包括：根据候选容器存储规格设置所述存储容器的配置参数，将容器镜像设为与候选容器存储规格的存储软件类型匹配的存储容器镜像，将容器资源配置下限设为候选容器存储规格的最小性能饱和度的资源需求，将容器资源配置上限设为候选容器存储规格的最大性能饱和度的资源需求；将所述存储容器部署在所述目标容器主机中，加载存储容器镜像，绑定所需物理资源。
[0014]在本公开的一种示例性实施例中，将所述存储容器部署在所述目标容器主机中，加载存储容器镜像，绑定所需物理资源包括：调度目标容器主机的容器引擎，根据存储容器的配置参数从容器镜像仓库中下载对应的存储容器镜像；通过容器引擎在目标容器主机上按存储容器的配置参数中的资源下限为存储容器分配资源，分配的资源包括CPU资源、内存资源和网络资源；启动存储容器，挂载目标存储设备，加载存储服务软件，初始化目标存储设备，绑定存储服务端口。
[0015]在本公开的一种示例性实施例中，根据存储容器性能负载变化在所述性能饱和度区间内动态调整存储容器资源分配包括：根据存储容器当前的性能负载确定需要调整的目标饱和度区间和需要调整的资源量；若存储容器需要增加资源量，则通过目标容器主机的容器引擎申请增量资源。
[0016]在本公开的一种示例性实施例中，根据存储容器当前的性能负载确定需要调整的
目标饱和度区间和需要调整的资源量包括：若存储容器当前的性能负载大于或等于当前性能饱和度区间的上限，则向上增加一档饱和度资源，直到达到所述存储容器的最大饱和度为止；若存储容器当前的性能负载小于当前性能饱和度区间的下限，则向下减少一档饱和度资源，直到达到所述存储容器的最小饱和度为止。
[0017]在本公开的一种示例性实施例中，若存储容器需要增加资源量，则通过目标容器主机的容器引擎申请增量资源包括：容器引擎从目标容器主机的空闲资源池中为存储容器分配增量资源，若空闲资源池的资源小于容器引擎申请增量资源，则：从目标容器主机中具有优先级低于第一预设优先级的业务容器中回收资源分配给存储容器；以及若回收后空闲资源池的资源仍小于容器引擎申请增量资源，则从目标容器主机中具有优先级低于第二预设优先级的存储容器中回收资源分配给所述存储容器，其中，目标容器主机中具有优先本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储容器调度方法，其特征在于，包括：建立容器存储规格的性能基线表，根据性能基线表为每个容器主机建立容器存储规格索引表；接收存储容器部署请求，确定候选容器存储规格和性能饱和度区间，通过所述容器存储规格索引表选择与候选容器存储规格和性能饱和度区间匹配的目标容器主机；根据候选容器存储规格的存储容器资源配置参数，将存储容器部署在所述目标容器主机上；根据存储容器性能负载变化在所述性能饱和度区间内动态调整存储容器资源分配。2.如权利要求1所述的方法，其特征在于，建立容器存储规格的性能基线表，根据性能基线表为每个容器主机建立容器存储规格索引表包括：对多种存储软硬件组合的容器存储规格进行容器化性能基准测试，建立多种存储软硬件组合的容器存储规格的性能基线表；采集容器集群中容器主机的可分配容器存储资源，根据所述性能基线表为容器主机建立容器存储规格索引表。3.如权利要求2所述的方法，其特征在于，对多种存储软硬件组合的容器存储规格进行容器化性能基准测试，建立多种存储软硬件组合的容器存储规格的性能基线表包括：在测试服务器上添加待测试的存储硬件设备，采集存储设备信息；在测试服务器上为每种存储软件类型分别部署一个待测试的存储容器，将待测试的存储硬件设备挂载到待测试的存储容器中；测试待测试的存储容器的最大I/O性能和多种性能饱和度的资源需求，建立容器存储规格的性能基线表。4.如权利要求3所述的方法，其特征在于，采集容器集群中容器主机的可分配容器存储资源，根据所述性能基线表为容器主机建立容器存储规格索引表包括：采集容器集群中容器主机的可分配容器存储资源；从所述性能基线表中获得与容器主机的可分配容器存储资源相匹配的容器存储规格与饱和度；为容器主机建立容器存储规格索引表，索引名为容器存储规格与饱和度的组合，索引值为按照资源充足度排序的容器主机列表。5.如权利要求4所述的方法，其特征在于，接收存储容器部署请求，确定候选容器存储规格和性能饱和度区间，通过所述容器存储规格索引表选择与候选容器存储规格和性能饱和度区间匹配的目标容器主机包括：从存储容器部署请求中提取存储软件需求、存储容量需求和存储性能需求；从性能基线表中查找与存储软件需求、存储容量需求和存储性能需求匹配的候选容器存储规格，以及每种候选容器存储规格的最小饱和度和最大饱和度；根据候选容器存储规格在容器存储规格索引表中查询，在查询结果中选择资源需求最小的容器存储规格的索引值中，可分配资源的充足度最高的容器主机作为目标容器主机。6.如权利要求5所述的方法，其特征在于，根据候选容器存储规格的存储容器资源配置参数，将存储容器部署在所述目标容器主机上包括：根据候选容器存储规格设置所述存储容器的配置参数，将容器镜像设为与候选容器存
储规格的存储软件类型匹配的存储容器镜像，将容器资源配置下限设为候选容器存储规格的最小性能饱和度的资源需求，将容器资源配置上限设为候选容器存储规格的最大性能饱和度的资源需求；将所述存储容器部署在所述目标容器主机中，加载存储容器镜像，绑定所需物理资源。7.如权利要求6所述的方法，其特征在于，将所述存储容器部署在所述目标容器主机中，加载存储容器镜像，绑定所需物理资源包括：调度目标...

【专利技术属性】
技术研发人员：何震苇，黄云飞，严丽云，黄丹池，林园致，杨新章，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：