一种CUDA资源获取方法、装置、设备、介质及产品制造方法及图纸

本发明专利技术公开了一种CUDA资源获取方法、装置、设备、介质及产品。该方法包括：接收中间设备发送的资源请求，其中，所述资源请求为客户端发送至中间件的资源请求，所述资源请求携带目标服务端地址；通过vCUDA接口拦截资源请求，将资源请求发送至VCUDA库；通过VCUDA库对所述资源请求进行解析，得到资源请求类型；根据资源请求类型和资源请求确定目标CUDA；将资源请求发送至目标CUDA，以获取CUDA资源，通过本发明专利技术的技术方案，能够解决在GPU驱动之上进行虚拟化，通过软件全虚拟化的方式提供虚拟化CUDA支持，导致增加了处理的复杂性和时间成本，开销较大，并且调度能力通常受限于虚拟化软件的问题。

【技术实现步骤摘要】

本专利技术实施例涉及计算机，尤其涉及一种cuda资源获取方法、装置、设备、介质及产品。

技术介绍

1、深度学习模型的训练需要强大的算力支持。算力是对数据的处理能力，已成为深度学习模型发展的关键。传统算力面临挑战，cpu无法满足大数据并行场景，gpu(graphicsprocessing unit，图形处理器)由于强大的并行处理能力逐渐变为算力的主要支撑者。

2、cuda(compute unified device architecture，运算平台)是一种通用并行计算架构，该架构使gpu能够解决复杂的计算问题。

3、对于计算能力强大的gpu，一些小型ai推理任务如果独占该gpu资源，就会造成资源浪费，这就需要将gpu虚拟切片划分，然后多个任务共同使用同一个gpu资源，以充分利用gpu算力资源。

4、通过上述方式实现gpu资源的调度，是在gpu驱动之上进行虚拟化，通过软件全虚拟化的方式提供虚拟化cuda支持，该额外的软件层需要处理虚拟机和物理硬件之间的交互，增加了处理的复杂性和时间成本，开销较大，并且调度能力通常受限于虚本文档来自技高网...

【技术保护点】

1.一种CUDA资源获取方法，其特征在于，由目标服务端执行，所述目标服务端包括：本地服务端或远程服务端，所述CUDA资源获取方法包括：

2.根据权利要求1所述的方法，其特征在于，根据资源请求类型和资源请求确定目标CUDA，包括：

3.根据权利要求1所述的方法，其特征在于，将资源请求发送至目标CUDA，以获取CUDA资源，包括：

4.根据权利要求1所述的方法，其特征在于，目标服务端为远程服务端；

5.根据权利要求1所述的方法，其特征在于，通过VCUDA库对所述资源请求进行解析，得到资源请求类型，包括：

6.根据权利要求1所述的方法...

【技术特征摘要】

1.一种cuda资源获取方法，其特征在于，由目标服务端执行，所述目标服务端包括：本地服务端或远程服务端，所述cuda资源获取方法包括：

2.根据权利要求1所述的方法，其特征在于，根据资源请求类型和资源请求确定目标cuda，包括：

3.根据权利要求1所述的方法，其特征在于，将资源请求发送至目标cuda，以获取cuda资源，包括：

4.根据权利要求1所述的方法，其特征在于，目标服务端为远程服务端；

5.根据权利要求1所述的方法，其特征在于，通过vcuda库对所述资源请求进行解析，得到资源请求类型，包括：

6.根据权利要求1所述的方法，其特征在于，将资源请求发送至目标cuda，以获取cuda资源，包括：

7.一种cuda资源获取方法，其特征在于，由中间设备执行，所述cuda资源获取方法包括：...

【专利技术属性】
技术研发人员：修杰，汪铸杰，李荣华，陈光，李曙光，周航，王宁，卢丽婧，陈红丽，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：