【技术实现步骤摘要】
本申请涉及计算机，特别是涉及一种数据请求处理方法、系统和可读存储介质。
技术介绍
1、目前，随着线上服务需求的快速增长，单一的服务器已经不能满足庞大的用户需求。因此，相关技术在部署任务处理模型时，会将同一种模型部署在不同的服务器中，并通过一个服务器调度各个用于推理的推理服务器。
2、在相关技术中，用于调度的服务器会通过加权轮询或者确定最小连接数等方式确定空闲的推理服务器并调度数据请求，以充分利用各个推理服务器的处理资源。
3、但是，不论是加权轮询方式、确定最小连接数方式或者其它方式，都不可避免的存在负载均衡的设置不合理的情况，这会导致出现某台推理服务器接收了过多请求的同时，仍有大量空闲的推理服务器，进而导致处理资源的浪费以及数据请求的堆积所引起的响应过慢问题。因此，如何有效避免上述情况，提高服务器处理资源的利用率是目前亟需解决的问题。
技术实现思路
1、有鉴于此，本申请实施例提供一种数据请求处理方法、系统和可读存储介质，以提高服务器中的处理资源的利用率。
2、第一方面，提供了一种数据请求处理方法，所述方法应用于推理服务器，所述方法包括：
3、接收负载均衡服务器下发的数据请求，所述数据请求至少包括请求调度服务器重新发送所述数据请求的次数。
4、响应于当前空闲处理资源不足，且请求调度服务器重新发送所述数据请求的次数未达到预定次数阈值，拒绝接收所述数据请求，并向所述负载均衡服务器发送服务器繁忙提示，以使得请求调度服务器重新发送所
5、在一些实施例中，所述方法还包括：
6、响应于当前空闲处理资源不足，且所述请求调度服务器重新发送所述数据请求的次数达到预定次数阈值，接收所述数据请求，并将所述数据请求存储至预先设置的处理队列中。
7、第二方面，提供了一种数据请求处理方法，所述方法应用于负载均衡服务器，所述方法包括：
8、接收请求调度服务器下发的数据请求，所述数据请求至少包括请求调度服务器重新发送所述数据请求的次数。
9、向所述负载均衡服务器下的各推理服务器分发所述数据请求。
10、响应于接收到所述推理服务器返回的服务器繁忙提示，向所述请求调度服务器发送所述服务器繁忙提示，以使得所述请求调度服务器重新发送所述数据请求，其中，所述推理服务器响应于当前空闲处理资源不足，且请求调度服务器重新发送所述数据请求的次数未达到预定次数阈值，拒绝接收所述数据请求并发出所述服务器繁忙提示。
11、在一些实施例中，所述方法还包括：
12、接收请求调度服务器重新下发的数据请求。
13、通过加权轮询或者确定最小连接数的方式，确定本轮下发数据请求的目标推理服务器。
14、向各所述目标推理服务器分发所述数据请求。
15、在一些实施例中，所述数据请求还包括已拒绝所述数据请求的推理服务器所对应的筛选标识。
16、所述通过加权轮询或者确定最小连接数的方式，确定本轮下发数据请求的目标推理服务器包括：
17、根据所述筛选标识，对各所述推理服务器进行筛选。
18、通过加权轮询或者确定最小连接数的方式，在筛选后的各所述推理服务器中确定本轮下发数据请求的目标推理服务器。
19、第三方面，提供了一种数据请求处理方法，所述方法应用于请求调度服务器，所述方法包括：
20、向负载均衡服务器下发外部发送的数据请求，以使得所述负载均衡服务器向所述负载均衡服务器下的各推理服务器分发所述数据请求，所述数据请求至少包括请求调度服务器重新发送所述数据请求的次数。
21、响应于接收到所述负载均衡服务器返回的服务器繁忙提示，重新发送所述数据请求，其中，所述推理服务器响应于当前空闲处理资源不足，且请求调度服务器重新发送所述数据请求的次数未达到预定次数阈值，拒绝接收所述数据请求并发出所述服务器繁忙提示。
22、在一些实施例中，所述重新发送所述数据请求包括：
23、通过加权轮询或者确定最小连接数的方式，确定本轮下发数据请求的目标负载均衡服务器。
24、向各所述目标负载均衡服务器分发所述数据请求。
25、在一些实施例中，所述数据请求还包括已拒绝所述数据请求的推理服务器所对应的筛选标识。
26、所述通过加权轮询或者确定最小连接数的方式，确定本轮下发数据请求的目标负载均衡服务器包括：
27、根据所述筛选标识，对各所述推理服务器进行筛选。
28、通过加权轮询或者确定最小连接数的方式，在筛选后的各所述推理服务器所对应的负载均衡服务器中，确定本轮下发数据请求的目标负载均衡服务器。
29、第四方面，提供了一种数据请求处理系统，所述系统包括请求调度服务器、至少一个负载均衡服务器和至少一个推理服务器。
30、其中，所述请求调度服务器、各所述负载均衡服务器和各所述推理服务器通过网络进行数据传输。
31、所述推理服务器被配置为执行如上述第一方面所述的数据请求处理方法。
32、所述负载均衡服务器被配置为执行如上述第二方面所述的数据请求处理方法。
33、所述请求调度服务器被配置为执行如上述第三方面所述的数据请求处理方法。
34、第五方面，提供了一种数据请求处理装置，所述装置应用于推理服务器，所述装置包括：
35、第一接收模块，被配置为执行接收负载均衡服务器下发的数据请求，所述数据请求至少包括请求调度服务器重新发送所述数据请求的次数。
36、请求拒绝模块，被配置为执行响应于当前空闲处理资源不足，且请求调度服务器重新发送所述数据请求的次数未达到预定次数阈值，拒绝接收所述数据请求，并向所述负载均衡服务器发送服务器繁忙提示，以使得请求调度服务器重新发送所述数据请求。
37、在一些实施例中，所述装置还包括：
38、请求接收模块，被配置为执行响应于当前空闲处理资源不足，且所述请求调度服务器重新发送所述数据请求的次数达到预定次数阈值，接收所述数据请求，并将所述数据请求存储至预先设置的处理队列中。
39、第六方面，提供了一种数据请求处理装置，所述装置应用于负载均衡服务器，所述装置包括：
40、第二接收模块，被配置为执行接收请求调度服务器下发的数据请求，所述数据请求至少包括请求调度服务器重新发送所述数据请求的次数。
41、第一分发模块，被配置为执行向所述负载均衡服务器下的各推理服务器分发所述数据请求。
42、服务器繁忙提示发送模块，被配置为执行响应于接收到所述推理服务器返回的服务器繁忙提示，向所述请求调度服务器发送所述服务器繁忙提示，以使得所述请求调度服务器重新发送所述数据请求，其中，所述推理服务器响应于当前空闲处理资源不足，且请求调度服务器重新发送所述数据请求的次数未达到预定次数阈值，拒绝接收所述数据请求并发出所述服务本文档来自技高网...
【技术保护点】
1.一种数据请求处理方法，其特征在于，所述方法应用于推理服务器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.一种数据请求处理方法，其特征在于，所述方法应用于负载均衡服务器，所述方法包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述数据请求还包括已拒绝所述数据请求的推理服务器所对应的筛选标识；
6.一种数据请求处理方法，其特征在于，所述方法应用于请求调度服务器，所述方法包括：
7.根据权利要求6所述的方法，其特征在于，所述重新发送所述数据请求包括：
8.根据权利要求7所述的方法，其特征在于，所述数据请求还包括已拒绝所述数据请求的推理服务器所对应的筛选标识；
9.一种数据请求处理系统，其特征在于，所述系统包括请求调度服务器、至少一个负载均衡服务器和至少一个推理服务器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时
...【技术特征摘要】
1.一种数据请求处理方法，其特征在于，所述方法应用于推理服务器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.一种数据请求处理方法，其特征在于，所述方法应用于负载均衡服务器，所述方法包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述数据请求还包括已拒绝所述数据请求的推理服务器所对应的筛选标识；
6.一种数据请求处理方法，其特征在于，所述方法应用于请求调度服务...
【专利技术属性】
技术研发人员：林雨琦，马群立，李志飞，
申请(专利权)人：上海墨百意信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。