本发明专利技术公开了一种节点镜像优化方法、装置、电子设备及存储介质，用于解决现有的节点镜像搭建方法无法复用，导致总占用空间过大；且拉取大型训练镜像时时间占用率过高的技术问题。本发明专利技术包括：获取各节点的节点镜像，并提取所述节点镜像对应的镜像搭建脚本；获取所有节点的镜像搭建脚本中的重复镜像搭建语句；采用所述重复镜像搭建语句搭建统一基础镜像；采用所述统一基础镜像优化所述节点镜像。用所述统一基础镜像优化所述节点镜像。用所述统一基础镜像优化所述节点镜像。
【技术实现步骤摘要】
一种节点镜像优化方法、装置、电子设备及存储介质
[0001]本专利技术涉及镜像处理
，尤其涉及一种节点镜像优化方法、装置、电子设备及存储介质。
技术介绍
[0002]在现如今的大规模集群训练中，各个节点在接受容器创建请求时都会拉取不同镜像来创建容器。
[0003]大型训练镜像往往空间占用会超过20G，拉取和解压时间很长，过长的等待时间会耽误工程师效率。
[0004]此外，由于大型训练镜像往往是来自工程师自己创建，无法复用，镜像的总占用空间会很大。大型的训练镜像往往很快就会使得节点空间到达警戒值，从而不得不进行节点镜像清理。而原本缓存的镜像被清理掉，导致下次需要进行容器创建时，又需要重复从镜像层第一层开始拉取整个大型训练镜像，导致时间占用率过高。
技术实现思路
[0005]本专利技术提供了一种节点镜像优化方法、装置、电子设备及存储介质，用于解决现有的节点镜像搭建方法无法复用，导致总占用空间过大；且拉取大型训练镜像时时间占用率过高的技术问题。
[0006]本专利技术提供了一种节点镜像优化方法，包括：
[0007]获取各节点的节点镜像，并提取所述节点镜像对应的镜像搭建脚本；
[0008]获取所有节点的镜像搭建脚本中的重复镜像搭建语句；
[0009]采用所述重复镜像搭建语句搭建统一基础镜像；
[0010]采用所述统一基础镜像优化所述节点镜像。
[0011]可选地，所述获取所有节点的镜像搭建脚本中的重复镜像搭建语句的步骤，包括：
[0012]创建字典映射；
[0013]在所述镜像搭建脚本中获取未更新镜像搭建脚本；
[0014]在所述未更新镜像搭建脚本中确定当前镜像搭建脚本；
[0015]获取所述当前镜像搭建脚本的第一镜像搭建语句；
[0016]采用所述第一镜像搭建语句更新所述字典映射，得到更新字典映射；
[0017]判断是否存在未更新镜像搭建脚本；
[0018]若是，返回在所述未更新镜像搭建脚本中确定当前镜像搭建脚本的步骤；
[0019]若否，根据所述更新字典映射获取所有所述节点的镜像搭建脚本中的重复镜像搭建语句。
[0020]可选地，所述采用所述第一镜像搭建语句更新所述字典映射，得到更新字典映射的步骤，包括：
[0021]在所有所述第一镜像搭建语句中确定未匹配镜像搭建语句；
[0022]在所述未匹配镜像搭建语句中确定当前镜像搭建语句；
[0023]在所述字典映射中匹配所述当前镜像搭建语句的映射关系；
[0024]若匹配失败，则以所述当前镜像搭建语句为键，以1为值构建映射关系，并将所述映射关系添加进所述字典映射中，得到更新字典映射；
[0025]若匹配成功，则将所述字典映射中所述映射关系的值加1，得到更新字典映射；
[0026]判断是否存在未匹配镜像搭建语句；
[0027]若是，返回在所述未匹配镜像搭建语句中确定当前镜像搭建语句的步骤；
[0028]若否，输出所述更新字典映射。
[0029]可选地，所述根据所述更新字典映射获取所有所述节点的镜像搭建脚本中的重复镜像搭建语句的步骤，包括：
[0030]从所述更新字典映射中提取映射关系的值大于1的第一镜像搭建语句，作为重复镜像搭建语句。
[0031]可选地，所述采用所述统一基础镜像优化所述节点镜像的步骤，包括：
[0032]从所有所述镜像搭建脚本中获取待优化镜像搭建脚本；
[0033]在所述待优化镜像搭建脚本中确定当前待优化镜像搭建脚本；
[0034]获取所述当前待优化镜像搭建脚本的第二镜像搭建语句；
[0035]采用所述第二镜像搭建语句和所述统一基础镜像生成不可复用镜像语句列表；
[0036]采用所述不可复用镜像语句列表和所述统一基础镜像生成所述当前待优化镜像搭建脚本的优化镜像搭建脚本，并采用所述优化镜像搭建脚本生成优化节点镜像；
[0037]判断是否存在待优化镜像搭建脚本；
[0038]若是，返回在所述待优化镜像搭建脚本中确定当前待优化镜像搭建脚本的步骤；
[0039]若否，输出所有节点的优化节点镜像。
[0040]可选地，所述采用所述第二镜像搭建语句和所述统一基础镜像生成不可复用镜像语句列表的步骤，包括：
[0041]遍历所述第二镜像搭建语句，依次判断每个所述第二镜像搭建语句是否处于所述统一基础镜像中；
[0042]若是，获取所述第二镜像搭建语句在所述当前待优化镜像搭建脚本中的的第一镜像层号，并将所述第二镜像搭建语句及对应的所述第一镜像层号添加进预设集合中；
[0043]获取每个所述第二镜像搭建语句在所述统一基础镜像中的第二镜像层号；
[0044]从所述第二镜像搭建语句中获取第一镜像层号与第二镜像层号相同的目标镜像搭建语句；
[0045]判断所述目标镜像搭建语句中是否存在第一镜像层号为1的初始镜像搭建语句；
[0046]若是，以所述第一镜像层号为基础，在所述目标镜像搭建语句中获取包含所述初始镜像搭建语句的连续镜像搭建语句，并统计所述连续镜像语句的条数T；
[0047]将不在所述连续镜像搭建语句中的所述第二镜像搭建语句保存在不可复用镜像语句列表中。
[0048]可选地，所述采用所述不可复用镜像语句列表和所述统一基础镜像生成所述当前待优化镜像搭建脚本的优化镜像搭建脚本的步骤，包括：
[0049]从所述统一基础镜像中获取前T条重复镜像搭建语句；
[0050]采用所述前T条重复镜像搭建语句和所述不可复用镜像语句列表对应的第二镜像搭建语句，生成所述待优化镜像搭建脚本的优化镜像搭建脚本。
[0051]本专利技术还提供了一种节点镜像优化装置，包括：
[0052]镜像搭建脚本提取模块，用于获取各节点的节点镜像，并提取所述节点镜像对应的镜像搭建脚本；
[0053]重复镜像搭建语句获取模块，用于获取所有节点的镜像搭建脚本中的重复镜像搭建语句；
[0054]统一基础镜像搭建模块，用于采用所述重复镜像搭建语句搭建统一基础镜像；
[0055]优化模块，用于采用所述统一基础镜像优化所述节点镜像。
[0056]本专利技术还提供了一种电子设备，所述设备包括处理器以及存储器：
[0057]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0058]所述处理器用于根据所述程序代码中的指令执行如上任一项所述的节点镜像优化方法。
[0059]本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的节点镜像优化方法。
[0060]从以上技术方案可以看出，本专利技术具有以下优点：本专利技术公开了一种节点镜像优化方法，包括：获取各节点的节点镜像，并提取节点镜像对应的镜像搭建脚本；获取所有节点的镜像搭建脚本中的重复镜像搭建语句；采用重复镜像本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种节点镜像优化方法，其特征在于，包括：获取各节点的节点镜像，并提取所述节点镜像对应的镜像搭建脚本；获取所有节点的镜像搭建脚本中的重复镜像搭建语句；采用所述重复镜像搭建语句搭建统一基础镜像；采用所述统一基础镜像优化所述节点镜像。2.根据权利要求1所述的方法，其特征在于，所述获取所有节点的镜像搭建脚本中的重复镜像搭建语句的步骤，包括：创建字典映射；在所述镜像搭建脚本中获取未更新镜像搭建脚本；在所述未更新镜像搭建脚本中确定当前镜像搭建脚本；获取所述当前镜像搭建脚本的第一镜像搭建语句；采用所述第一镜像搭建语句更新所述字典映射，得到更新字典映射；判断是否存在未更新镜像搭建脚本；若是，返回在所述未更新镜像搭建脚本中确定当前镜像搭建脚本的步骤；若否，根据所述更新字典映射获取所有所述节点的镜像搭建脚本中的重复镜像搭建语句。3.根据权利要求2所述的方法，其特征在于，所述采用所述第一镜像搭建语句更新所述字典映射，得到更新字典映射的步骤，包括：在所有所述第一镜像搭建语句中确定未匹配镜像搭建语句；在所述未匹配镜像搭建语句中确定当前镜像搭建语句；在所述字典映射中匹配所述当前镜像搭建语句的映射关系；若匹配失败，则以所述当前镜像搭建语句为键，以1为值构建映射关系，并将所述映射关系添加进所述字典映射中，得到更新字典映射；若匹配成功，则将所述字典映射中所述映射关系的值加1，得到更新字典映射；判断是否存在未匹配镜像搭建语句；若是，返回在所述未匹配镜像搭建语句中确定当前镜像搭建语句的步骤；若否，输出所述更新字典映射。4.根据权利要求2所述的方法，其特征在于，所述根据所述更新字典映射获取所有所述节点的镜像搭建脚本中的重复镜像搭建语句的步骤，包括：从所述更新字典映射中提取映射关系的值大于1的第一镜像搭建语句，作为重复镜像搭建语句。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述采用所述统一基础镜像优化所述节点镜像的步骤，包括：从所有所述镜像搭建脚本中获取待优化镜像搭建脚本；在所述待优化镜像搭建脚本中确定当前待优化镜像搭建脚本；获取所述当前待优化镜像搭建脚本的第二镜像搭建语句；采用所述第二镜像搭建语句和所述统一基础镜像生成不可复用镜像语句列表；采用所述不可复用镜像语句列表和所述统一基础镜像生成所述当前待优化镜像搭建脚本的优化镜像搭建脚本，并采用所述优化镜像搭建脚本生成优化节点镜像；...
【专利技术属性】
技术研发人员：杨逸飞，陈飞，周润坡，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。