基于容器的服务部署方法、装置和服务器制造方法及图纸

技术编号:35993068 阅读:41 留言:0更新日期:2022-12-17 23:08
本申请提供一种基于容器的服务部署方法、装置和服务器,涉及数据存储领域。该方法包括:服务器使用训练数据进行训练,得到模型文件。服务器将该模型文件上传到模型仓库中进行存储。服务器根据模型文件,确定其对应的模型服务代码。服务器根据模型服务代码,构建镜像文件。服务器将该镜像文件存储到镜像仓库中。服务器根据待部署服务,从镜像仓库中拉取该待部署服务对应的镜像文件,从第三方的模型仓库中下载该待部署服务对应的模型文件到目标服务器。服务器运行该镜像文件,并在该镜像文件中加载模型文件,实现该待部署服务的部署。本申请的方法,通过将模型服务代码和模型文件分开,极大的缩小了镜像文件的体积,提高了容器存储空间的利用率。存储空间的利用率。存储空间的利用率。

【技术实现步骤摘要】
基于容器的服务部署方法、装置和服务器


[0001]本申请涉及数据存储领域,尤其涉及一种基于容器的服务部署方法、装置和服务器。

技术介绍

[0002]随着人工智能(Artificial Intelligence,AI)技术的不断发展,AI服务在各个领域的应用越来越广泛。基于容器的AI服务部署方法可以通过对资源的限制和隔离,把AI服务直接移植到目标服务器上,实现该AI服务在目标服务器上的部署。
[0003]现有技术中,模型训练和模型服务发布是AI服务部署的重要一环。在模型训练和模型服务发布使用场景中,服务器可以根据不同版本的训练数据,在模型训练阶段得到不同版本的模型文件。不同版本的模型文件需要对应不同版本的模型服务。并且,在基于容器发布新的模型服务时,服务器需要根据不同版本的模型文件构建不同镜像文件,从而实现不同版本的模型服务的发布。
[0004]然而,在上述过程中,每一版本的模型文件和模型服务均需要对应生成一个镜像文件,这些镜像文件占用了大量的存储空间,容易导致存储空间利用率低的问题。

技术实现思路

[0005]本申请提供一种基于容器的服务部署方法、装置和服务器,用以解决现有技术中镜像文件占用了大量的存储空间,容易导致存储空间利用率低的问题。
[0006]第一方面,本申请提供一种基于容器的服务部署方法,包括:
[0007]对训练数据进行多次处理和训练,得到多个模型文件,并将模型文件上传到模型仓库中进行存储;
[0008]根据每一模型文件确定其对应的模型服务代码,并将根据模型服务代码构建的镜像文件存储到镜像仓库中;
[0009]根据待部署服务,提取待部署服务对应的模型文件和镜像文件,以完成待部署服务的部署。
[0010]可选地,模型服务代码中至少包括待部署服务的服务运行指令和模型文件在目标服务器中的目标存储地址。
[0011]可选地,根据待部署服务,提取待部署服务对应的模型文件和镜像文件,具体包括:
[0012]根据待部署服务的部署编排文档中模型初始化镜像的存储地址,从镜像仓库中拉取模型初始化镜像到目标服务器;
[0013]运行模型初始化镜像,以使模型初始化镜像根据部署编排文档中的模型地址,从模型仓库中将模型文件下载到目标服务器;
[0014]使用模型初始化镜像对模型文件中的数据模型进行初始化处理,以使数据模型被待部署服务对应的镜像文件中的模型服务镜像使用;
[0015]根据部署编排文档中的镜像地址,从镜像仓库中拉取镜像文件到目标服务器;
[0016]运行镜像文件中的模型服务镜像,以完成待部署服务在目标服务器的部署。
[0017]可选地,方法,还包括:
[0018]根据部署编排文档中的共享存储空间,在共享存储空间中为容器配置一个用于数据缓存和数据临时存储的空存储卷。
[0019]可选地,对训练数据进行多次处理和训练,得到多个模型文件,并将模型文件上传到模型仓库中进行存储,具体包括:
[0020]对训练数据进行数据处理,得到处理后的训练数据,并使用处理后的训练数据训练得到的数据模型;
[0021]根据数据模型和第一预设规则,生成模型版本信息,模型版本信息用于唯一标识数据模型;
[0022]将数据模型和模型版本信息存储到模型文件中;
[0023]将模型文件存储到模型仓库中,并将模型文件在模型仓库中的模型地址添加到模型文件中;
[0024]循环上述步骤直至数据模型的模型效果满足预设要求。
[0025]可选地,将根据模型服务代码构建的镜像文件存储到镜像仓库中,具体包括:
[0026]根据模型服务代码,构建模型服务镜像;
[0027]根据模型服务镜像和第二预设规则,生成镜像版本信息,镜像版本信息用于唯一标识模型服务镜像;
[0028]将模型服务镜像和镜像版本信息存储到镜像文件中;
[0029]将镜像文件存储到镜像仓库中,并将镜像文件在镜像仓库中的镜像地址添加到镜像文件中。
[0030]第二方面,本申请提供一种基于容器的服务部署装置,包括:
[0031]处理模块,用于对训练数据进行多次处理和训练,得到多个模型文件,并将模型文件上传到模型仓库中进行存储;根据每一模型文件确定其对应的模型服务代码,并将根据模型服务代码构建的镜像文件存储到镜像仓库中;
[0032]部署模块,用于根据待部署服务,提取待部署服务对应的模型文件和镜像文件,以完成待部署服务的部署。
[0033]可选地,模型服务代码中至少包括待部署服务的服务运行指令和模型文件在目标服务器中的目标存储地址。
[0034]可选地,部署模块,具体用于:
[0035]根据待部署服务的部署编排文档中模型初始化镜像的存储地址,从镜像仓库中拉取模型初始化镜像到目标服务器;
[0036]运行模型初始化镜像,以使模型初始化镜像根据部署编排文档中的模型地址,从模型仓库中将模型文件下载到目标服务器;
[0037]使用模型初始化镜像对模型文件中的数据模型进行初始化处理,以使数据模型被待部署服务对应的镜像文件中的模型服务镜像使用;
[0038]根据部署编排文档中的镜像地址,从镜像仓库中拉取镜像文件到目标服务器;
[0039]运行镜像文件中的模型服务镜像,以完成待部署服务在目标服务器的部署。
[0040]可选地,部署模块,还用于:
[0041]根据部署编排文档中的共享存储空间,在共享存储空间中为容器配置一个用于数据缓存和数据临时存储的空存储卷。
[0042]可选地,处理模块,具体用于:
[0043]对训练数据进行数据处理,得到处理后的训练数据,并使用处理后的训练数据训练得到的数据模型;
[0044]根据数据模型和第一预设规则,生成模型版本信息,模型版本信息用于唯一标识数据模型;
[0045]将数据模型和模型版本信息存储到模型文件中;
[0046]将模型文件存储到模型仓库中,并将模型文件在模型仓库中的模型地址添加到模型文件中;
[0047]循环上述步骤直至数据模型的模型效果满足预设要求。
[0048]可选地,处理模块,具体用于:
[0049]根据模型服务代码,构建模型服务镜像;
[0050]根据模型服务镜像和第二预设规则,生成镜像版本信息,镜像版本信息用于唯一标识模型服务镜像;
[0051]将模型服务镜像和镜像版本信息存储到镜像文件中;
[0052]将镜像文件存储到镜像仓库中,并将镜像文件在镜像仓库中的镜像地址添加到镜像文件中。
[0053]第三方面,本申请提供一种服务器,包括:存储器和处理器;存储器用于存储计算机程序;处理器用于根据存储器存储的计算机程序执行第一方面及第一方面任一种可能的设计中的基于容器的服务部署方法。
[0054]第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,当服务器的至本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于容器的服务部署方法,其特征在于,所述方法包括:对训练数据进行多次处理和训练,得到多个模型文件,并将所述模型文件上传到模型仓库中进行存储;根据每一所述模型文件确定其对应的模型服务代码,并将根据所述模型服务代码构建的镜像文件存储到镜像仓库中;根据待部署服务,提取所述待部署服务对应的所述模型文件和所述镜像文件,以完成所述待部署服务的部署。2.根据权利要求1所述的方法,其特征在于,所述模型服务代码中至少包括所述待部署服务的服务运行指令和所述模型文件在所述目标服务器中的目标存储地址。3.根据权利要求1所述的方法,其特征在于,所述根据待部署服务,提取所述待部署服务对应的所述模型文件和所述镜像文件,具体包括:根据所述待部署服务的部署编排文档中模型初始化镜像的存储地址,从镜像仓库中拉取所述模型初始化镜像到目标服务器;运行所述模型初始化镜像,以使所述模型初始化镜像根据所述部署编排文档中的模型地址,从模型仓库中将所述模型文件下载到所述目标服务器;使用所述模型初始化镜像对所述模型文件中的数据模型进行初始化处理,以使所述数据模型被所述待部署服务对应的镜像文件中的模型服务镜像使用;根据所述部署编排文档中的镜像地址,从镜像仓库中拉取所述镜像文件到所述目标服务器;运行所述镜像文件中的模型服务镜像,以完成所述待部署服务在所述目标服务器的部署。4.根据权利要求3所述的方法,其特征在于,所述方法,还包括:根据所述部署编排文档中的共享存储空间,在所述共享存储空间中为所述容器配置一个用于数据缓存和数据临时存储的空存储卷。5.根据权利要求1

4中任一项所述的方法,其特征在于,所述对训练数据进行多次处理和训练,得到多个模型文件,并将所述模型文件上传到模型仓库中进行存储,具体包括:对训练数据进行数据处理,得到处理后的所述训练数据,并使用所述处理后的所述训练数据训练得到的数据模型;根据所述数据模型和第一预设规则,生...

【专利技术属性】
技术研发人员:张伟张友权唐汇张晨
申请(专利权)人:建信金融科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1