基于容器的多实例GPU设备实现人工智能计算的方法技术

本发明专利技术特别涉及一种基于容器的多实例GPU设备实现人工智能计算的方法，包括如下步骤：S100、用户提出创建计算容器的需求并发送给调度中心；S200、调度中心根据用户提出的计算容器的需求，分别向GPU实例化模块和计算实例模块发出申请；S300、GPU实例化模块从GPU实例类型库实时获取可用的GPU实例类型或创建用户发出的GPU实例类型；S400、计算实例模块根据用户发出的人工智能计算请求从人工智能容器镜像库拿到相应的镜像后，创建相应的计算实例。按此方案切割得到的每个GPU实例都有各自的处理器和内存系统，保证各个使用者工作的时延和吞吐量是可预期的，并且通过灵活的资源分配方法，避免出现资源闲置的情况，提高了GPU的使用率。率。率。

【技术实现步骤摘要】
基于容器的多实例GPU设备实现人工智能计算的方法


[0001]本专利技术涉及计算机
，特别涉及一种基于容器的多实例GPU设备实现人工智能计算的方法。

技术介绍

[0002]人工智能技术正在快速实现从理论概念到实际应用场景落地的转变，然而其高学习、使用门槛，对资源的高要求以及复杂的开发、训练、推理环境及优化、安全、便捷的使用、维护需求，使大量用户望而却步。随着人工智能的发展，特别是神经元网络算法的深入发展与应用，大量的神经网络训练需求由此而生。进行神经网络训练需要利用到大规模的计算能力，特别是GPU计算能力。由于GPU设备较为昂贵，神经网络训练又是阶段性的工作，因此，提供基于大规模GPU，分布式计算的神经网络训练平台，可以作为人工智能计算的基础平台。
[0003]在现有技术中，我们所知道的有两种通用的技术方案，GPU直通和GPU虚拟化。GPU直通是基于容器技术直通物理显卡来实现人工智能计算，一台服务器设备插入多张物理显卡，然后将每个物理显卡设备分给需要计算的容器使用；GPU虚拟化是将一个物理GPU设备虚拟切割成多个虚拟的GPU设备，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于容器的多实例GPU设备实现人工智能计算的方法，其特征在于：包括如下步骤：S100、用户提出创建计算容器的需求并发送给调度中心；S200、调度中心根据用户提出的计算容器的需求，分别向GPU实例化模块和计算实例模块发出申请；S300、GPU实例化模块从GPU实例类型库实时获取可用的GPU实例类型或创建用户发出的GPU实例类型；S400、计算实例模块根据用户发出的人工智能计算请求从人工智能容器镜像库拿到相应的镜像后，创建相应的计算实例。2.如权利要求1所述的基于容器的多实例GPU设备实现人工智能计算的方法，其特征在于：所述的步骤S300中，GPU实例化模块判断GPU实例类型库中是否含有用户发出的GPU实例类型，若有，则直接将该GPU实例类型分配给该用户，若没有，则GPU实例化模块将一个物理显卡切割成指定个数的GPU实例并将其中一个GPU实例分配给该用户。3.如权利要求1或2所述的基于容器的多实例GPU设备实现人工智能计算的方法，其特征在于：所述的步骤S400中，通过如下步骤创建相应的计算实例：S410、将每个GPU实例分别绑定至多个计算实例；S420、将每个计算实例对应一个计算容器，计算容器中安装有基础操作系统、基础环境和GPU驱动程序；S430、每个计算容器对不同的人工智能算法框架、模板和数据集进行计算。4.如权利要求2所述的基于容器的多实例GPU设备实现人工智能计算的方法，其特征在于：所述的GPU实例为1个，该GPU实例包括8份显存资源、7份处理器资源。5.如权利要求2所述的基于容器的多实例GPU设备实现人工智能计算的方法，其特征在于：所述的GPU实例为2个，其中第一GPU实例包括4份显存资源、4份处理器资源，第二GPU实例包括4份显存资源、3份处理器资源。6.如权利要求2所述的基于容器的多实例GPU设备实现人...

【专利技术属性】
技术研发人员：田辉，薛帅，郭玉刚，张志翔，
申请(专利权)人：合肥高维数据技术有限公司，
类型：发明
国别省市：