一种深度学习开发平台资源的分配方法及设备组成比例

本申请实施例提供了一种深度学习开发平台资源的分配方法，属于人工智能的技术领域，解决了现有方案中深度学习开发平台的推理服务不支持MLU资源的问题。所述方法包括：获取镜像数据，其中，所述镜像数据包括预设模型运行环境、预设模型和具有服务启动命令的WEB服务框架；根据所述镜像数据判断所述镜像数据的数据类型；基于所述数据类型创建推理服务容器；将系统MLU资源分配至所述推理服务容器中，得到所述镜像数据的推理服务。

【技术实现步骤摘要】
一种深度学习开发平台资源的分配方法及设备
本申请实施例涉及人工智能
，尤其是涉及一种深度学习开发平台资源的分配方法及相关设备。
技术介绍
近年来，寒武纪MLU加速卡受到越来越多的关注，也有越来越多的人工智能项目采用MLU进行深度学习项目的加速计算。AIStation推理平台可使用户方便快捷地一键部署推理应用，在创建推理服务时，目前支持使用CPU、内存、GPU、FPGA资源的申请。因此，为满足使用MLU加速卡开发应用的用户的需求，将MLU计算资源加入推理平台，会更方便用户的使用。寒武纪为使kubernates发现MLU，利用扩展资源ExtendedResource，即自定义资源的扩展方式，把MLU设备抽象成资源，将MLU的总数量上报给API服务器APIServer。具体实现过程为，通过kubernates设备插件框架，设计其设备插件，然后将这个设备插件以DaemonSet的方式启动为服务，当该设备插件部署成功后会生成一个对应的套接字,与kubelet进行通信，该设备插件负责对应的监控、设备序号维护、创建容器时对应的设备文件挂载、环境变量设置等等操作。而寒武纪的设备插件服务，仅仅做到使kubernates可发现MLU资源，并在kubernates中使用MLU资源，不能满足用户想要使用MLU资源的同时部署、管理其推理服务的需求，需要用户自行设置服务，智能程度较低，无法基于用户想要使用MLU资源对用户服务进行推理。
技术实现思路
本申请实施例的目的在于提供一种深度学习开发平台资源的分配方法，解决了现有技术中无法基于用户想要使用MLU资源对用户服务进行推理，智能生成推理服务的技术问题。第一方面，本申请实施例提供了一种深度学习开发平台资源的分配方法，包括：获取镜像数据，其中，上述镜像数据包括预设模型运行环境、预设模型和具有服务启动命令的WEB服务框架；根据上述设模型运行环境、预设模型和具有服务启动命令的WEB服务框架判断上述镜像数据的数据类型；基于上述数据类型创建推理服务容器；将对应上述推理服务容器的系统MLU资源分配至上述推理服务容器中，得到上述镜像数据的服务资源的分配方案。可选的，在上述获取镜像数据的步骤之前，还包括：获取申请信息，其中，上述申请信息为客户端申请MLU资源的请求指令信息；解析上述申请信息，得到上述客户端申请的MLU资源的数量信息和上述客户端申请的MLU资源的基础信息；基于上述客户端申请的MLU资源的数量信息和上述客户端申请的MLU资源的基础信息判断上述申请信息是否合理。可选的，上述基于上述客户端申请的MLU资源的数量信息和上述客户端申请MLU资源的基础信息判断上述申请信息是否合理的步骤，包括：根据上述客户端申请的MLU资源的基础信息与系统MLU资源判断上述客户端申请的MLU资源在系统中是否存在；若上述客户端申请的MLU资源在系统中不存在，则上述申请信息不合理。若上述客户端申请的MLU资源在系统中存在，则根据上述客户端申请的MLU资源的数量信息与系统MLU资源判断上述系统MLU资源是否满足上述客户端申请的MLU资源；若上述系统MLU资源能够满足上述客户端申请的MLU资源，则上述申请信息合理；若上述系统MLU资源不能满足上述客户端申请的MLU资源，则上述申请信息不合理。可选的，上述基于上述数据类型创建推理服务容器的步骤，包括：调用开源容器集群管理系统创建对应上述数据类型的推理容器；将上述推理服务容器存储至存在上述推理服务MLU资源的节点。可选的，在上述开源容器集群管理系统上，采用MLU资源插件管理上述系统MLU资源。可选的，上述镜像数据为将上述预设模型运行环境、上述预设模型和上述具有服务启动命令的WEB服务框架压缩处理的数据。可选的，在上述获取镜像数据的步骤之前，还包括：调用上述WEB服务框架定义上述深度学习开发平台接口，得到上述WEB服务。第二方面，本申请实施例提供了一种深度学习开发平台资源的分配装置，包括：获取模块，用于获取镜像数据，其中，上述镜像数据包括预设模型运行环境、预设模型和具有服务启动命令的WEB服务框架；判断模块，用于根据上述设模型运行环境、预设模型和具有服务启动命令的WEB服务框架判断上述镜像数据的数据类型；创建模块，用于基于上述数据类型创建推理服务容器；分配模块，用于将对应上述推理服务容器的系统MLU资源分配至上述推理服务容器中，得到上述镜像数据的服务资源的分配方案。第三方面，本申请实施例提供了一种电子设备，包括：储存器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，其特征在于，上述处理器用于执行存储器中存储的计算机程序时实现如上述的深度学习开发平台资源的分配方法的步骤。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现如上述的深度学习开发平台资源的分配方法的步骤。本申请实施例提供的一种深度学习开发平台资源的分配方法，通过获取镜像数据，其中，上述镜像数据包括预设模型运行环境、预设模型和具有服务启动命令的WEB服务框架；根据上述设模型运行环境、预设模型和具有服务启动命令的WEB服务框架判断上述镜像数据的数据类型；基于上述数据类型创建推理服务容器；将对应上述推理服务容器的系统MLU资源分配至上述推理服务容器中，得到上述镜像数据的服务资源的分配方案。解决了现有技术中无法基于用户想要使用MLU资源对用户服务进行推理，智能生成推理服务的技术问题。附图说明为了更清楚地说明本申请实施例具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请实施例的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种深度学习开发平台资源的分配方法流程图；图2为本申请实施例提供的一种深度学习开发平台资源的分配系统的运行流程图；图3为本申请实施例提供的一种深度学习开发平台资源的分配装置的结构示意图图4为本申请实施例提供的一种电子设备示意图；图5为本申请实施例提供的一种计算机可读存储介质示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、装置、系统、产品或设备没有限定于已列出的步骤本文档来自技高网...

【技术保护点】
1.一种深度学习开发平台资源的分配方法，其特征在于，包括：/n获取镜像数据，其中，所述镜像数据包括预设模型运行环境、预设模型和具有服务启动命令的WEB服务框架；/n根据所述预设模型运行环境、预设模型和具有服务启动命令的WEB服务框架判断所述镜像数据的数据类型；/n基于所述数据类型创建推理服务容器；/n将对应所述推理服务容器的系统MLU资源分配至所述推理服务容器中，得到所述镜像数据的服务资源的分配方案。/n

【技术特征摘要】
1.一种深度学习开发平台资源的分配方法，其特征在于，包括：
获取镜像数据，其中，所述镜像数据包括预设模型运行环境、预设模型和具有服务启动命令的WEB服务框架；
根据所述预设模型运行环境、预设模型和具有服务启动命令的WEB服务框架判断所述镜像数据的数据类型；
基于所述数据类型创建推理服务容器；
将对应所述推理服务容器的系统MLU资源分配至所述推理服务容器中，得到所述镜像数据的服务资源的分配方案。


2.根据权利要求1所述的深度学习开发平台资源的分配方法，其特征在于，在所述获取镜像数据的步骤之前，还包括：
获取申请信息，其中，所述申请信息为客户端申请MLU资源的请求指令信息；
解析所述申请信息，得到所述客户端申请的MLU资源的数量信息和所述客户端申请的MLU资源的基础信息；
基于所述客户端申请的MLU资源的数量信息和所述客户端申请的MLU资源的基础信息判断所述申请信息是否合理。


3.根据权利要求2所述的深度学习开发平台资源的分配方法，其特征在于，所述基于所述客户端申请的MLU资源的数量信息和所述客户端申请MLU资源的基础信息判断所述申请信息是否合理的步骤，还包括：
根据所述客户端申请的MLU资源的基础信息与系统MLU资源判断所述客户端申请的MLU资源在系统中是否存在；
若所述客户端申请的MLU资源在系统中不存在，则所述申请信息不合理；
若所述客户端申请的MLU资源在系统中存在，则根据所述客户端申请的MLU资源的数量信息与系统MLU资源判断所述系统MLU资源是否满足所述客户端申请的MLU资源；
若所述系统MLU资源能够满足所述客户端申请的MLU资源，则所述申请信息合理；
若所述系统MLU资源不能满足所述客户端申请的MLU资源，则所述申请信息不合理。


4.根据权利要求1所述的深度学习开发平台资源的分配方法，其特征在于，所述基于...

【专利技术属性】
技术研发人员：王萌，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32