一种GPU资源调度方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种GPU资源调度方法方法、装置、设备及存储介质，涉及计算机资源动态调度领域，包括：获取业务侧发送的初始图片检测任务并根据所述初始图片检测任务确定待执行任务和待使用模型；从所述待执行任务和所述待使用模型中确定出当前待执行任务和当前目标模型，并基于所述当前目标模型获取各GPU服务器的当前状态信息；根据所述当前状态信息并利用预设服务器筛选逻辑从所述各GPU服务器中筛选出目标服务器，以便所述目标服务器利用所述当前目标模型执行所述当前待执行任务。这样一来，可以避免GPU服务器与模型绑定，从而可以动态调度GPU服务器资源，提高了GPU服务器资源的利用率，实现了对GPU服务器资源的高效利用。实现了对GPU服务器资源的高效利用。实现了对GPU服务器资源的高效利用。

【技术实现步骤摘要】
一种GPU资源调度方法、装置、设备及存储介质


[0001]本专利技术涉及计算机资源动态调度领域，特别涉及一种GPU资源调度方法、装置、设备及存储介质。

技术介绍

[0002]GPU （Graphic Process Unit，图形处理器），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上图像运算工作的微处理器，与CPU（Central Processing Unit，中央处理器）类似，只不过GPU是专为执行复杂的数学和几何计算而设计的，而这些计算是图形渲染所必需的。GPU 加速计算是指同时利用GPU和 CPU，加快科学、分析、工程、消费和企业应用程序的运行速度。如今基于GPU加速的应用越来越多，相对比于传统WEB服务的集群架构，GPU计算资源集群架构并不多。
[0003]目前的现有技术中，来自业务的神经网络计算任务会与已有的计算资源绑定，并且一般与模型绑定，一台GPU计算服务器往往运行单一模型，且无法动态调度任务，这样在高峰时刻会造成计算任务的计算缓慢问题，而在低峰时刻会本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种GPU资源调度方法，其特征在于，应用于资源调度侧，包括：获取业务侧发送的初始图片检测任务并根据所述初始图片检测任务确定待执行任务和待使用模型；从所述待执行任务和所述待使用模型中确定出当前待执行任务和当前目标模型，并基于所述当前目标模型获取各GPU服务器的当前状态信息；根据所述当前状态信息并利用预设服务器筛选逻辑从所述各GPU服务器中筛选出目标服务器，以便所述目标服务器利用所述当前目标模型执行所述当前待执行任务。2.根据权利要求1所述的GPU资源调度方法，其特征在于，所述根据所述初始图片检测任务确定待执行任务和待使用模型，包括：根据所述初始图片检测任务生成抓拍指令和任务记录，并基于所述任务记录确定相应的待使用模型；将所述抓拍指令发送至预设抓拍设备，并获取所述预设抓拍设备进行抓拍后得到的待检测图片；基于所述待检测图片确定相应的待执行任务。3.根据权利要求2所述的GPU资源调度方法，其特征在于，所述资源调度侧中设有第一处理节点和第二处理节点；其中，所述第一处理节点用于执行所述根据所述初始图片检测任务生成抓拍指令和任务记录的步骤；所述第二处理节点用于执行所述获取所述预设抓拍设备进行抓拍后得到的待检测图片的步骤。4.根据权利要求1所述的GPU资源调度方法，其特征在于，所述从所述待执行任务和所述待使用模型中确定出当前待执行任务和当前目标模型，包括：将所述待执行任务发送至任务队列的队尾进行保存，并基于先进先出顺序依次从所述任务队列中确定出当前待执行任务；将与所述当前待执行任务对应的待使用模型确定为当前目标模型。5.根据权利要求1所述的GPU资源调度方法，其特征在于，所述从所述待执行任务和所述待使用模型中确定出当前待执行任务和当前目标模型之后，还包括：根据所述当前目标模型获取当前目标模型信息；所述当前目标模型信息包括与所述当前目标模型对应的预估显存占用量、模型运行GPU占用率、模型首次装载耗时和模型处理任务耗时；相应的，所述根据所述...

【专利技术属性】
技术研发人员：郭运起，李健，张瑞，
申请(专利权)人：苏州万店掌网络科技有限公司，
类型：发明
国别省市：