动态部署GPU资源的方法、装置和计算机设备制造方法及图纸

本申请涉及大数据领域，揭示了动态部署GPU资源的方法，包括：获取待匹配系统中指定模型对应的历史业务数据；根据各历史日期、各历史日期分别对应的工作日状态及位于各历史日期前一天的业务请求量，预测指定模型对应的指定日期的响应时间；根据指定日期的响应时间，计算指定模型对应指定日期的响应效率；获取指定模型在历史业务数据对应的统计终止日的监控数据；根据指定模型对应指定日期的响应效率，及统计终止日的监控数据，计算指定模型对应指定日期的业务效果评分；根据指定模型对应的业务效果评分，通过容器集群控制服务容器的数量，动态匹配指定模型对应指定日期的GPU资源占比。根据动态调整GPU资源的部署状态，合理分配GPU资源。分配GPU资源。分配GPU资源。

【技术实现步骤摘要】
动态部署GPU资源的方法、装置和计算机设备


[0001]本申请涉及大数据领域，特别是涉及到动态部署GPU资源的方法、装置和计算机设备。

技术介绍

[0002]随着互联网业务的快速增长，业务访问量和数据流量也随之迅速增加，对系统计算资源的需求也相应增大，而GPU显卡作为应用计算的关键性资源，其资源的部署方式直接影响业务的进展状态。目前AI工程化尚处于初级阶段的情况下，对AI应用计算中的GPU资源的部署一般依赖人工进行调整，GPU资源部署固化，应用访问流量增大则需要手动扩充部署，流量减少再次变小时则容易存在过剩的GPU资源浪费，造成了不能根据应用访问流量的动态变化实时调整GPU资源部署方案，不能及时释放过剩计算资源，无法满足业务匹配需求。

技术实现思路

[0003]本申请的主要目的为提供动态部署GPU资源的方法，旨在解决不能根据应用访问流量的动态变化实时调整GPU资源的技术问题。
[0004]本申请提出一种动态部署GPU资源的方法，包括：
[0005]获取待匹配系统中指定模型对应的历史业务数据，其中，所述历史业务数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态部署GPU资源的方法，其特征在于，包括：获取待匹配系统中指定模型对应的历史业务数据，其中，所述历史业务数据包括所述历史业务数据对应的统计终止日、各历史日期、各所述历史日期分别对应的工作日状态以及位于各所述历史日期前一天的业务请求量，所述待匹配系统中包括共用GPU资源的多个模型，所述指定模型为所述待匹配系统中所有模型中的任一个；根据各所述历史日期、各所述历史日期分别对应的工作日状态以及位于各所述历史日期前一天的业务请求量，预测所述指定模型对应的指定日期的响应时间，其中，所述指定日期为相邻于所述历史业务数据对应的统计终止日，且位于所述历史业务数据对应的统计终止日的时序之后的日期；根据所述指定日期的响应时间，计算所述指定模型对应所述指定日期的响应效率；获取所述指定模型在所述历史业务数据对应的统计终止日的监控数据；根据所述指定模型对应所述指定日期的响应效率，以及所述统计终止日的监控数据，计算所述指定模型对应所述指定日期的业务效果评分；根据所述指定模型对应的业务效果评分，通过容器集群控制服务容器的数量，动态匹配所述指定模型对应所述指定日期的GPU资源占比。2.根据权利要求1所述的动态部署GPU资源的方法，其特征在于，所述根据所述指定日期的响应时间，计算所述指定模型对应所述指定日期的响应效率的步骤，包括：获取所述指定模型对应的响应时间阈值；根据所述指定日期的响应时间以及所述响应时间阈值，通过第一计算公式计算所述指定模型对应所述指定日期的响应效率，其中，所述第一计算公式为P＝(Tm
‑
T)/Tm，P表示响应效率，P属于(0,1]，Tm表示所述响应时间阈值，Tm属于(0,1]，T表示所述指定日期的响应时间，T属于(0,1]。3.根据权利要求1所述的动态部署GPU资源的方法，其特征在于，所述监控数据包括显卡使用率、GPU使用率和温度占比，所述根据所述指定模型对应所述指定日期的响应效率，以及所述统计终止日的监控数据，计算所述指定模型对应所述指定日期的业务效果评分的步骤，包括：根据所述显卡使用率、GPU使用率和温度占比，通过第二计算公式计算GPU负载状态量，其中，所述第二计算公式为F＝(a*Wa+b*Wb+c*Wc)/(Wa+Wb+Wc),F表示GPU负载状态量，a表示显卡使用率，a属于(0,1]，b表示GPU使用率,b属于(0,1]，c表示温度占比,c属于(0,1]，Wa表示显卡使用率对应的权重，Wb表示GPU使用率对应的权重，Wc表示温度占比对应的权重,Wa、Wb和Wc为非零实数；获取所述指定模型对应的预设优先级；根据所述GPU负载状态量、所述预设优先级以及所述响应效率，通过第三计算公式计算所述指定模型对应的业务效果评分，其中，所述第二计算公式为Y＝(P*Wp+U*Wu)/F，Y表示业务效果评分，U表示优先级，U属于(0,1],Wp表示所述响应效率对应的权重，Wu表示预设优先级对应的权重,Wp和Wu为非零实数。4.根据权利要求1所述的动态部署GPU资源的方法，其特征在于，所述根据所述指定模型对应的业务效果评分，通过容器集群控制服务容器的数量，动态匹配所述指定模型对应所述指定日期的GPU资源占比的步骤，包括：
获取预设的扩容阈值和缩容阈值，其中，所述扩容阈值小于所述缩容阈值，所述扩容阈值和所述缩容阈值为非零实数；比较所述业务效果评分分别与所述扩容阈值和缩容阈值的数值关系；根据所述数值关系，通过容器集群控制服务容器的数量，动态调整所述指定模型对应的GPU资源占比。5.根据权利要求4所述的动态部署GPU资源的方法，其特征在于，所述根据...

【专利技术属性】
技术研发人员：孙浩鑫，王晟宇，赖众程，李会璟，李骁，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：