大数据量和高并发场景下提升GPU显卡计算效率的系统技术方案

本发明专利技术公开了大数据量和高并发场景下提升GPU显卡计算效率的系统，包括：客户端、CPU服务器、3台用于RPC服务的服务器和GPU显卡，客户端用于发送并发数据请求，CPU服务器用来接收数据处理请求和将请求轮询转发给后续的处理端，GPU显卡具有模型计算服务。本申请通过不增加额外的高性能硬件资源，利用相对廉价的CPU服务器，并且客户端每次只需发送相对少量的请求数据，就可以使GPU显卡达到满负载的运算状态，从而提升数据处理效率，且不容易发生溢出和超时等风险。和超时等风险。和超时等风险。

【技术实现步骤摘要】
大数据量和高并发场景下提升GPU显卡计算效率的系统


[0001]本专利技术涉及GPU显卡计算效率
，尤其涉及大数据量和高并发场景下提升GPU显卡计算效率的系统。

技术介绍

[0002]深度学习模型训练完成后，一般需要在GPU显卡上部署推理服务，用来为客户端发来的数据请求给出基于深度学习模型的计算结果。例如，训练完文本的舆情分类模型后，需要在GPU显卡上部署推理服务，以便对客户端发来的文本舆情分类的请求，快速的给出计算结果。
[0003]为了在大数据量和高并发请求的场景下，提高GPU显卡的利用率，以便提升推理服务的数据处理速度，目前业内常用的策略有：
[0004]1.客户端增加每次请求发送的数据条数(batch size)，或者通过多线程和多进程的方式提升请求并发度，来将计算压力全部施加给GPU显卡端。但由于性能和带宽等的限制，大多采用CPU服务器的客户端一般也难以大幅的增加请求的并发度，这会导致GPU端显卡的利用率不容易达到饱和运行状态，浪费了GPU的计算能力，也不容易整体提升数据的处理效率；而如果增加每次请求发送的数据量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.大数据量和高并发场景下提升GPU显卡计算效率的系统，包括：客户端、CPU服务器、3台用于RPC服务的服务器和GPU显卡，其特征在于，所述客户端用于发送并发数据请求，所述CPU服务器用来接收数据处理请求和将请求轮询转发给后续的处理端，所述GPU显卡具有模型计算服务。2.根据权利要求1所述的大数据量和高并发场景下提升GPU显卡计算效率的系统，其特征在于，所述CPU服务器部署开源的haproxy请求转发服务，用来接收客户端发来的请求，并通过轮询的方式转发给RPC服务。3.根据权利要求2所述的大数据量和高并发场景下提升GPU显卡计算效率的系统，其特征在于，3台用于RPC服务的所述服务器均采用开源的thrift服务充当RPC服务，进一...

【专利技术属性】
技术研发人员：唐亮，曹特磊，赵伟，
申请(专利权)人：时趣互动北京科技有限公司，
类型：发明
国别省市：