显存的分配方法、装置、电子设备及可读存储介质制造方法及图纸

本公开提供了一种显存的分配方法、装置、电子设备及可读存储介质，涉及计算机领域，尤其涉及芯片技术领域。具体实现方案为：响应于检测到目标进程的显存分配请求，从共享内存中获取显存占用信息；基于显存占用信息为目标进程分配显存资源。基于本方案，能够根据显存占用信息对显存资源进行合理分配，避免造成不同进程之间的相互影响。进程之间的相互影响。进程之间的相互影响。

【技术实现步骤摘要】
显存的分配方法、装置、电子设备及可读存储介质


[0001]本公开涉及计算机
，尤其涉及芯片
，具体而言，本公开涉及一种显存的分配方法、装置、电子设备及可读存储介质。

技术介绍

[0002]图形处理器(Graphic Processing Unit，GPU)，是专门为处理图形任务而产生的芯片。GPU因其具有强大的计算能力，常被用于深度学习模型的开发调试以及部署使用。
[0003]为了提升GPU的利用率，一个GPU上可以运行多个进程，但如果不能对多个进程所使用的显存资源进行合理分配，就可能会造成不同进程之间的相互影响，因此，如何对显存资源进行合理分配成为了一个重要问题。

技术实现思路

[0004]本公开为了解决上述缺陷中的至少一项，提供了一种显存的分配方法、装置、电子设备及可读存储介质。
[0005]根据本公开的第一方面，提供了一种显存的分配方法，该方法包括：
[0006]响应于检测到目标进程的显存分配请求，从共享内存中获取显存占用信息；
[0007]基于显存占用信息为目标进程分配显存资源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种显存的分配方法，包括：响应于检测到目标进程的显存分配请求，从共享内存中获取所述显存占用信息；基于所述显存占用信息为所述目标进程分配显存资源。2.根据权利要求1所述的方法，其中，所述共享内存被设置有读锁，所述共享内存中获取所述显存占用信息，包括：确定所述共享内存的读锁是否处于解锁状态；响应于所述共享内存的读锁处于解锁状态，从共享内存中获取所述显存占用信息。3.根据权利要求1或2所述的方法，在所述基于所述显存占用信息为所述目标进程分配显存资源之后，所述方法还包括：将所述目标进程的显存占用信息写入所述共享内存。4.根据权利要求3所述的方法，所述共享内存被设置有写锁，所述将所述目标进程的显存占用信息写入所述共享内存，包括：确定所述共享内存的写锁是否处于解锁状态；响应于所述共享内存的写锁处于解锁状态，从将所述目标进程的显存占用信息写入所述共享内存。5.根据权利要求1
‑
4中任一项所述的方法，还包括：创建虚拟显存资源；所述基于所述显存占用信息为所述目标进程分配显存资源，包括：基于所述显存占用信息为所述目标进程分配虚拟显存资源。6.根据权利要求5所述的方法，所述创建虚拟显存资源，包括：基于物理内存资源以及物理显存资源，创建虚拟显存资源。7.根据权利要求1
‑
6中任一项所述的方法，所述基于所述显存占用信息为所述目标进程分配显存资源，包括：基于所述显存占用信息确定当前的显存使用量；响应于所述显存使用量不大于预设阈值，基于所述显存占用信息为所述目标进程分配显存资源。8.根据权利要求1
‑
7中任一项所述的方法，检测目标进程的显存分配请求，包括：响应于检测到目标进程通过调用统一计算设备架构CUDA驱动发起的显存分配请求，劫持所述显存分配请求。9.根据权利要求1
‑
7中任一项所述的方法，还包括：响应于接收到对目标显存占用信息的查询请求，从所述共享内存中查询所述目标显存占用信息。10.一种模型的部署方法，包括：确定目标进程的显存资源，所述目标进程用于部署目标模型，所述显存资源是基于权利要求1
‑
9中任一项所述的方法确定的；基于所述显存资源部署所述目标模型。11.根据权利要...

【专利技术属性】
技术研发人员：李子恒，吴志全，于佃海，杨嘉义，陈凯，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：