【技术实现步骤摘要】
一种数据处理方法和系统
[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法和系统。
技术介绍
[0002]深度学习的底层大多采用C++开发，但为方便模型在工程过程中的使用，深度学习框架为不同的开发语言提供了对应的工具包。目前主要采用两种方式：1、通过深度学习框架提供的工具包，直接调用持久化的模型文件；2、通过TF
‑
Serving或其他在线服务部署模型。
[0003]但这两种部署方式具有缺点，如：受语言及开发人员水平的限制，使用GPU批处理时较为复杂，服务可用度较低；无法充分利用GPU算力的优势导致部署费用昂贵，以及不能合理使用GPU资源，也无法集群化部署服务等。
技术实现思路
[0004]有鉴于此，本专利技术实施例提供一种数据处理方法和系统，至少能够解决现有技术中GPU微服务并发性能较低的现象。
[0005]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据处理方法，包括：
[0006]接收客户端的数据处理请求，将请求数据放入负载均衡的内...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收客户端的数据处理请求，将请求数据放入负载均衡的内存队列中，从内存队列中取出与服务器部署数量等量的请求数据集；确定所述请求数据集中每个请求数据所需的资源量，按照资源量从大到小的顺序进行排序，得到请求数据序列；计算每台服务器当前的资源使用率，按照资源使用率从小到大的顺序进行排序，得到服务器序列；对请求数据序列和服务器序列进行匹配，以将需求资源量最大的请求数据分配给当前资源使用率最小的服务器进行处理，之后将接收自服务器的处理结果返回给客户端。2.根据权利要求1所述的方法，其特征在于，所述计算每台服务器当前的资源使用率，包括：调用监控服务器程序的接口，以获取每个服务器当前的资源使用情况，进而计算每台服务器的资源使用率；其中，资源使用情况至少包括GPU、CPU和内存的使用情况。3.根据权利要求1所述的方法，其特征在于，还包括：若所述当前资源使用率最小的服务器的可用资源量，小于最大资源需求量，则触发服务器执行丢包操作，以将需求资源量最大的请求数据丢弃。4.根据权利要求3所述的方法，其特征在于，还包括：若任一服务器在预设时间段内丢包的数量大于或等于预设数值，则触发报警提醒，以对所述任一服务器添加资源量、和/或对请求数据进行限流操作。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，与客户端之间采用TCP长连接方式进行交互通讯。6.一种数据处理系统，其特征在于，包括客户端服务模块、负载均衡服务模块和服务器部署模块；所述客户端服务模块，用于提供微服务接口供客户端调用，接收客户端的数据处理请求，将请求数据放入负载均衡服务模块的内存队列中；以及将所述负载均衡服务模...
【专利技术属性】
技术研发人员：赵天云，陈蒙，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。