模型部署方法、装置、系统、电子设备和存储介质制造方法及图纸

本发明专利技术公开了一种模型部署方法、装置、系统、电子设备和存储介质，包括：在待部署的模型存储到云端后获取模型的元数据，元数据包括模型的提供方选择的路由信息；根据路由信息确定目标模型服务器；根据元数据为目标模型服务器生成模型配置文件并发送到目标模型服务器，目标模型服务器根据模型配置文件从云端加载模型；将路由信息发送到推荐业务集群中的节点，推荐业务集群中的节点根据路由信息向目标模型服务器发送业务请求，本实施例无需人工介入修改配置文件，实现自动化部署、更新模型，提高了模型部署效率，且可以为不同业务类型的模型配置不同路由信息，以将相同业务类型的模型部署在相同的服务器，优化了服务器资源，提高模型的预测效率。型的预测效率。型的预测效率。

【技术实现步骤摘要】
模型部署方法、装置、系统、电子设备和存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种模型部署方法、装置、系统、电子设备和存储介质。

技术介绍

[0002]Tersonflow模型由于具有更高的准确性和可拓展性，被广泛应用于处理大规模的数据集和复杂的推荐场景，因此，如何部署使用TensorFlow模型以提升TensorFlow模型的使用效率尤为重要。
[0003]目前，主要是通过部署TensorFlow Server，然而，现有的TensorFlow Server服务需要在配置文件中人工指定需要加载的模型，业务端与TensorFlow Server服务相对固定，当模型改版或发布新模型时需要修改配置文件重启后才生效，并且业务端需要相应修改，降低了模型部署效率。

技术实现思路

[0004]本专利技术提供了一种模型部署方法、装置、系统、电子设备和存储介质，以解决现有模型部署需要人工修改配置文件和业务端设置，导致模型部署效率低的问题。
[0005]第一方面，本专利技术提供了一种模型部署方法，包括：
[0006]在待部署的模型存储到云端后，获取所述模型的元数据，所述元数据包括所述模型的提供方选择的路由信息；
[0007]根据所述路由信息确定目标模型服务器；
[0008]根据所述元数据为所述目标模型服务器生成模型配置文件，并发送到所述目标模型服务器，所述目标模型服务器用于根据所述模型配置文件从所述云端加载所述模型；
[0009]将所述路由信息发送到推荐业务集群中的节点，所述推荐业务集群中的节点用于根据所述路由信息向所述目标模型服务器发送业务请求。
[0010]第二方面，本专利技术提供了一种模型部署装置，包括：
[0011]元数据获取模块，用于在待部署的模型存储到云端后，获取所述模型的元数据，所述元数据包括路由信息；
[0012]目标模型服务器确定模块，用于根据所述路由信息确定目标模型服务器；
[0013]模型配置文件生成和发送模块，用于根据所述元数据为所述目标模型服务器生成模型配置文件，并发送到所述目标模型服务器，所述目标模型服务器用于根据所述模型配置文件从所述云端加载所述模型；
[0014]业务集群通知模块，用于将所述路由信息发送到推荐业务集群中的节点，所述推荐业务集群中的节点用于根据所述路由信息向所述目标模型服务器发送业务请求。
[0015]第三方面，本专利技术提供了一种模型部署系统，包括机器学习平台、设置多个模型服务器的模型服务集群以及设置多个节点的推荐业务集群；
[0016]所述机器学习平台用于在待部署的模型存储到云端后，获取所述模型的元数据，
所述元数据包括路由信息；根据所述路由信息确定目标模型服务器；根据所述元数据为所述目标模型服务器生成模型配置文件，并发送到所述目标模型服务器；将所述路由信息发送到推荐业务集群中的节点；
[0017]所述模型服务器用于根据所述模型配置文件从所述云端加载所述模型；
[0018]所述推荐业务集群中的节点用于根据所述路由信息向所述目标模型服务器发送业务请求。
[0019]第四方面，本专利技术提供了一种电子设备，所述电子设备包括：
[0020]至少一个处理器；以及
[0021]与所述至少一个处理器通信连接的存储器；其中，
[0022]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术第一方面所述的模型部署方法。
[0023]第五方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术第一方面所述的模型部署方法。
[0024]本专利技术提供的方案，在新模型发布或模型改版时，模型提供方选择路由信息后能够根据路由信息自动确定目标模型服务器，并为目标模型服务器生成配置文件，以使得目标模型服务器根据配置文件加载模型，以及推荐业务集群中的节点根据路由信息向目标模型服务器发送业务请求，即选择路由信息后自动在目标模型服务器部署模型，以及通知推荐业务集群向目标模型服务器发送业务请求，无需人工介入修改配置文件，并且模型配置文件自动推送到目标模型服务器，实现自动化部署、更新模型，提高了模型部署效率，无需在重新加载配置文件后通过重启的方式使得模型生效，另外，根据路由信息确定目标模型服务器，可以为不同业务类型的模型预先配置不同路由信息，由此对模型服务器分类，从而能够将相同业务类型的模型部署在相同的服务器，不同业务类型的模型部署在不同的服务器，优化了服务器资源，减少预测耗时，提高模型的预测效率。
[0025]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0026]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]图1是本专利技术实施例一提供的一种模型部署方法的流程图；
[0028]图2A是本专利技术实施例二提供的一种模型部署方法的流程图；
[0029]图2B是本专利技术实施例中选择路由信息的交互界面的示意图；
[0030]图2C是本专利技术实施例中模型部署的示意图；
[0031]图3是本专利技术实施例三提供的一种模型部署装置的结构示意图；
[0032]图4是本专利技术实施例四提供的一种模型部署系统的结构示意图；
[0033]图5是本专利技术实施例五提供的电子设备的结构示意图。
具体实施方式
[0034]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0035]实施例一
[0036]图1为本专利技术实施例一提供的一种模型部署方法的流程图，本实施例可适用于模型部署的情况，该方法可以由模型部署装置来执行，该模型部署装置可以采用硬件和/或软件的形式实现，该模型部署装置可配置于电子设备中。如图1所示，该模型部署方法包括：
[0037]S101、在待部署的模型存储到云端后，获取模型的元数据，元数据包括模型的提供方选择的路由信息。
[0038]本实施例可适用于模型部署系统进行模型部署，模型部署系统包括机器学习平台、模型服务集群以及业务推荐集群，其中，机器学习平台用于训练模型、存储模型以及推送模型，模型服务集群用于加载模型，业务推荐集群用于向模型服务集群发送业务请求，以使得模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型部署方法，其特征在于，包括：在待部署的模型存储到云端后，获取所述模型的元数据，所述元数据包括所述模型的提供方选择的路由信息；根据所述路由信息确定目标模型服务器；根据所述元数据为所述目标模型服务器生成模型配置文件，并发送到所述目标模型服务器，所述目标模型服务器用于根据所述模型配置文件从所述云端加载所述模型；将所述路由信息发送到推荐业务集群中的节点，所述推荐业务集群中的节点用于根据所述路由信息向所述目标模型服务器发送业务请求。2.根据权利要求1所述的模型部署方法，其特征在于，在获取所述模型的元数据之前，还包括：在检测到模型训练事件时，训练模型；对所述模型进行校验，并在校验通过后将所述模型的模型文件和模型特征描述文件存储到云端。3.根据权利要求1所述的模型部署方法，其特征在于，所述在待部署的模型存储到云端后，获取所述模型的元数据，包括：在待部署的模型存储到云端后，当接收到模型部署通知时，从所述模型部署通知中确定出所述模型的元数据。4.根据权利要求1所述的模型部署方法，其特征在于，在根据所述路由信息确定目标模型服务器之前，还包括：对所述元数据进行解析得到所述模型的类型；确定所述模型的类型是否为指定类型；若是，执行根据所述路由信息确定目标模型服务器的步骤。5.根据权利要求1
‑
4任一项所述的模型部署方法，其特征在于，所述根据所述元数据为所述目标模型服务器生成模型配置文件，并发送到所述目标模型服务器，包括：从所述元数据中确定所述模型的版本信息，以及确定所述模型在所述云端的存储路径；采用所述版本信息和所述存储路径生成所述目标模型服务器的模型配置文件；将所述模型配置文件发送到所述目标模型服务器，所述目标模型服务器用于根据所述模型配置文件确定是否存在新模型或者更新的模型，若是根据所述存储路径从所述云端加载模型。6.根据权利要求1
‑
4任一项所述的模型部署方法，其特征在于，在将所述路由信息发送到推荐业务集群中的节点之前，还包括：向所述目标模型服务器发送加载进度请求，所述目标模型服务器用于在接收到所述加载进度请求时返回所述模型的加载进度；在接收到所述目标模型服务器返回的加载进度时，确定所述目标模型服务器是否已加载完所述模型；若是，执行将所述路由信息发送到推荐业务集群中的节点的步骤；若否，统计向所述目标模型服务器发送加载进度请求的次数；判断所述次数是否大于或等于预设次数；
...

【专利技术属性】
技术研发人员：黎智鑫，梁钧，
申请(专利权)人：广州趣研网络科技有限公司，
类型：发明
国别省市：