镜像数据清理方法、装置及电子设备、人工智能平台制造方法及图纸

本发明专利技术公开了一种镜像数据清理方法、装置及电子设备、人工智能平台。方法包括：获取目标存储设备中各镜像数据的属性参数；根据属性参数得到各镜像数据的清理优先级；按照清理优先级清理目标存储设备中的镜像数据。该方法，可以实现存储空间释放。以实现存储空间释放。以实现存储空间释放。

【技术实现步骤摘要】
镜像数据清理方法、装置及电子设备、人工智能平台


[0001]本专利技术涉及人工智能平台的数据清理
，尤其涉及一种镜像数据清理方法、装置及电子设备、人工智能平台。

技术介绍

[0002]Kuberentes是一款开源容器编排系统，它可以更加简单地管理运行在容器中的应用程序。由于Kubernetes具有高可扩展性和高可用性，因此它已成为构建和管理容器化应用程序的首选解决方案之一。人工智能平台通常涉及处理大量数据如镜像数据，并需要在大规模分布式系统中运行各种作业。Kubernetes能够轻松地管理这种复杂性，因此很多人工智能平台是基于Kubernetes。
[0003]但是，相关技术中的Kubernetes所部署在的设备的存储空间有限，需要及时释放存储空间，以提高系统的稳定性。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种镜像数据清理方法，以实现存储空间释放。
[0005]本专利技术的第二个目的在于提出一种电子设备。
[0006]本专利技术的第三个目的在于提出一种镜像数据清理装置。
[0007]本专利技术的第四个目的在于提出一种人工智能平台。
[0008]为达到上述目的，本专利技术第一方面实施例提出了一种镜像数据清理方法，所述方法包括：获取目标存储设备中各镜像数据的属性参数；根据所述属性参数得到各所述镜像数据的清理优先级；按照所述清理优先级清理所述目标存储设备中的镜像数据。
>[0009]为达到上述目的，本专利技术第二方面实施例提出了一种电子设备，包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时，实现上述的镜像数据清理方法。
[0010]为达到上述目的，本专利技术第三方面实施例提出了一种镜像数据清理装置，包括：获取模块，用于获取目标存储设备中各镜像数据的属性参数；计算模块，用于根据所述属性参数得到各所述镜像数据的清理优先级；清理模块，用于按照所述清理优先级清理所述目标存储设备中的镜像数据。
[0011]为达到上述目的，本专利技术第四方面实施例提出了一种人工智能平台，包括上述的镜像数据清理装置。
[0012]本专利技术实施例的镜像数据清理方法、装置及电子设备、人工智能平台，设置首先获取目标存储设备中各镜像数据的属性参数，根据属性参数得到各镜像数据的清理优先级，从而根据清理优先级进行清理，实现了对存储设备中镜像数据的清理，释放了目标存储设备的存储空间。而且，通过目标存储设备中各镜像数据的属性参数得到清理优先级，可以实现将能够保障用户使用体验的镜像数据以低优先级进行清理，实现兼顾释放存储空间和保
障镜像数据使用效果。
[0013]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0014]图1是本专利技术一个或多个实施例的镜像数据清理方法的流程图；图2是本专利技术一个或多个实施例的镜像数据清理方法的流程图；图3是本专利技术一个或多个实施例的镜像数据清理方法的流程图；图4是本专利技术一个示例的镜像数据清理方法的流程图；图5是本专利技术另一个示例的镜像数据清理方法的流程图；图6是本专利技术实施例的镜像数据清理装置的结构框图；图7是本专利技术实施例的人工智能平台的结构框图。
具体实施方式
[0015]下面参考附图描述本专利技术实施例的镜像数据清理方法、装置及电子设备、人工智能平台，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。参考附图描述的实施例是示例性的，不能理解为对本专利技术的限制。
[0016]图1是本专利技术一个或多个实施例的镜像数据清理方法的流程图。
[0017]Kubernetes集群中有两种节点，分别是Master节点和Node节点。Master节点是整个Kubernetes集群的大脑，它负责对整个集群的管理和控制，包括提供外部访问的API（Application Programming Interface，应用程序编程接口）、管理所有资源对象的自动化控制中心、以及负责为容器实例分配资源的调度器。而Node节点则是集群中的计算节点，负责运行用户的应用程序容器实例。而容器实例是基于镜像运行起来的。
[0018]当用户向Kubernetes集群发出容器创建请求时，会在容器创建请求中指定容器运行所需要的镜像名称和版本号。当容器被调度到某个Node节点时，该节点会首先检查本地是否已经包含该容器镜像，如果没有，则会从指定的镜像仓库中查找并下载该镜像到该Node节点中，并存储在该Node节点上的本地磁盘里，然后使用该镜像启动用户要创建的对应的容器实例。
[0019]Node节点的磁盘空间也是有限的，为了实时监控到磁盘的空间占用率，需要用到cAdvisor这个开源工具，该工具可以获取节点上所有容器和节点的资源利用情况，包括CPU（Central Processing Unit，中央处理器）、内存、磁盘和网络等方面的数据。当需要检测Node节点磁盘空间的使用情况时，cAdvisor会收集相关的指标，如磁盘使用量、磁盘空间可用量等，并将这些指标发送到集群中的Master节点。这样用户就可以获取到所有Node节点的磁盘占用率。
[0020]以上是一个基于Kuberentes集群的人工智能平台创建一个容器实例的简单介绍。通过以上描述可以发现，Node节点本地磁盘空间是有限的，随着AI（Artificial Intelligence，人工智能）平台的用户不断的发起创建容器实例请求，调度到各个Node节点的容器不断增加，节点本地存储空间一定会因为下载的容器镜像增加而减少。当节点存储空间占用率达到一定比例时，可能会影响节点上其他应用程序和服务的正常运行，甚至会
导致节点失去响应。当节点的本地存储空间占用率达到75%时，可能会开始影响节点上的性能。当存储空间占用率接近90%时，数据读写操作的性能将大幅下降，导致应用程序的响应时间延迟或失败。当存储空间占用率达到100%时，节点将会因为硬件资源不够而失去响应或宕机。因而，提出一种镜像数据清理方法。
[0021]如图1所示，镜像数据清理方法，包括：S11，获取目标存储设备中各镜像数据的属性参数。
[0022]S12，根据属性参数得到各镜像数据的清理优先级。
[0023]S13，按照清理优先级清理目标存储设备中的镜像数据。
[0024]由此，设置首先获取目标存储设备中各镜像数据的属性参数，根据属性参数得到各镜像数据的清理优先级，从而根据清理优先级进行清理，实现了对存储设备中镜像数据的清理，释放了目标存储设备的存储空间。而且，通过目标存储设备中各镜像数据的属性参数得到清理优先级，可以实现将能够保障用户使用体验的镜像数据以低优先级进行清理，实现兼顾释放存储空间和保障镜像数据使用体验。
[0025]在本专利技术一个或多个实施例中，参见图2，根据属性参数得到各镜像数据的清理优先级，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种镜像数据清理方法，其特征在于，所述方法包括：获取目标存储设备中各镜像数据的属性参数；根据所述属性参数得到各所述镜像数据的清理优先级；按照所述清理优先级清理所述目标存储设备中的镜像数据。2.根据权利要求1所述的镜像数据清理方法，其特征在于，所述根据所述属性参数得到各所述镜像数据的清理优先级，包括：针对每个所述镜像数据，将该镜像数据的属性参数进行归一化处理；根据归一化后的属性参数计算得到对应镜像数据的加权和；根据所述加权和得到对应镜像数据的清理优先级，其中，所述加权和越大，对应的缓存镜像的清理优先级越低。3.根据权利要求2所述的镜像数据清理方法，其特征在于，所述属性参数包括缓存时间、镜像大小、镜像版本更新频率和引用次数，根据下式计算得到所述加权和：S=t
×
s1
‑
m
×
s2
‑
n
×
s3
‑
o
×
s4，其中，S为所述加权和，t为归一化后的缓存时间，m为归一化后的镜像大小，n为归一化后的镜像版本更新频率，o为归一化后的引用次数，s1为第一预设权重，s2为第二预设权重，s3为第三预设权重，s4为第四预设权重，s1+s2+s3+s4=100%。4.根据权利要求2所述的镜像数据清理方法，其特征在于，所述按照所述清理优先级清理所述目标存储设备中的镜像数据之前，所述方法还包括：获取所述目标存储设备的空间占用率和当前清理间隔，其中，所述当前清理间隔为当前时刻与上一次清理所述目标存储设备中的镜像数据的时刻之间的差值；根据...

【专利技术属性】
技术研发人员：肖玉，朱建，常峰，王景祥，胡德凯，刘海峰，
申请(专利权)人：合肥中科类脑智能技术有限公司，
类型：发明
国别省市：