多类型模型的管理调度方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术提供了一种多类型模型的管理调度方法、装置、设备及可读存储介质，涉及人工智能技术领域，包括在控制平台添加模型，配置模型的基础信息和模型参数；分别创建对应的服务，并定义服务的运行参数和环境；将模型容器的内部端口映射至宿主机的端口，供外部请求访问；根据实时模型的基础信息将其与对应的模型容器进行关联；创建并启动模型容器服务；调用Kubernetes的接口创建并启动对应Job批处理任务模型服务；启动、停止或修改对应的实时模型服务；控制平台实时监测实时模型服务的运行状态和Job批处理任务模型服务的处理状态，本发明专利技术用于解决现有调度方式对导致大量资源浪费，不能灵活提供多种类型模型服务的技术问题。

【技术实现步骤摘要】

本专利技术涉及人工智能，具体而言，涉及多类型模型的管理调度方法、装置、设备及可读存储介质。

技术介绍

1、当前技术在模型调度方面主要通过容器化技术，如kubernetes实现模型的实时服务调度，在这种调度方式下，需要针对每个模型接口分别启动一个对应的pod专门为此模型提供服务接口。上述调度方式不考虑模型之间技术和业务领域的相近性，把每个模型作为完全独立的个体，将数据进行完全隔离，造成参数的重复配置和模型资源的浪费等问题。随着a i模型对算力需求的增加，在技术或业务相近的模型数量多而使用率不高时，现有调度方式会导致资源的大量浪费，并因数据隔离而影响模型性能。

技术实现思路

1、本专利技术的目的在于提供一种多类型模型的管理调度方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本专利技术采取的技术方案如下：

2、第一方面，本申请提供了一种多类型模型的管理调度方法，包括：

3、在控制平台添加模型，配置模型的基础信息和模型参数，所述模型包括模型容器、job批处理任务模型以及实时模本文档来自技高网...

【技术保护点】

1.一种多类型模型的管理调度方法，其特征在于，包括：

2.根据权利要求1所述的多类型模型的管理调度方法，其特征在于,在控制平台添加模型，配置模型的基础信息和模型参数，包括：

3.根据权利要求1所述的多类型模型的管理调度方法，其特征在于，根据模型容器的基础信息，通过调用Kubernetes的接口，创建并启动模型容器服务,包括：

4.根据权利要求1所述的多类型模型的管理调度方法，其特征在于,调用模型容器的接口，启动、停止或修改对应的实时模型服务，包括：

5.一种多类型模型的管理调度装置，其特征在于，包括：

6.根据权利要求5所述的多...

【技术特征摘要】

1.一种多类型模型的管理调度方法，其特征在于，包括：

2.根据权利要求1所述的多类型模型的管理调度方法，其特征在于,在控制平台添加模型，配置模型的基础信息和模型参数，包括：

3.根据权利要求1所述的多类型模型的管理调度方法，其特征在于，根据模型容器的基础信息，通过调用kubernetes的接口，创建并启动模型容器服务,包括：

4.根据权利要求1所述的多类型模型的管理调度方法，其特征在于,调用模型容器的接口，启动、停止或修改对应的实时模型服务，包括：

5.一种多类型模型的管理调度装置，其特征在于，...

【专利技术属性】
技术研发人员：朱金华，王超，李鹏飞，左健豪，潘明远，党泽荣，周俊宇，耿驰，谢涛，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：