一种获取目标模型的数据处理系统技术方案

技术编号:39177528 阅读:22 留言:0更新日期:2023-10-27 08:25
本申请涉及请求数据处理技术领域,特别是涉及一种获取目标模型的数据处理系统,所述系统包括:网关节点ID、预设模型ID集、处理器和存储有计算机程序的存储器,计算机程序被处理器执行时,实现以下步骤:当目标请求出现请求故障时,获取所述目标请求对应的目标请求次数和关键目标请求的当前重试次数,若目标请求次数小于当前重试次数,获取目标重试间隔,根据目标重试间隔,向网关节点发送关键目标请求,以调用所述关键目标请求对应的目标模型,若未调用到目标模型,调整重试间隔后继续发送所述关键目标请求。可知,本发明专利技术根据对重试次数和重试间隔的调整,实现对目标请求的合理调度,同时实现对系统资源的合理利用。时实现对系统资源的合理利用。时实现对系统资源的合理利用。

【技术实现步骤摘要】
一种获取目标模型的数据处理系统


[0001]本专利技术涉及请求数据处理
,特别是涉及一种获取目标模型的数据处理系统。

技术介绍

[0002]目前,在用于数据识别、数据查询、图像识别、图像处理等领域的分布式集群中,通常设置有多个供用户调用的模型,以根据用户端发送的业务请求,提供对应的模型供用户使用并实现文本或图像的处理,但是,在实际操作过程中,偶尔会出现请求故障的情况,在现有技术中还存在以下问题:一方面,在出现请求故障时,通常会反馈至用户端,在用户端进行对应的处理或修复措施后,再次发送该请求,这种情况不能实现对请求的合理调度,同时还会影响对目标模型的调用进程。
[0003]另一方面,在某个模型的利用率较大时,若后续发送的调用该模型的请求较多时,会出现模型的副本数量不够调用的情况,调用该模型的若干个请求需要进行排队等待,影响业务的处理效率。

技术实现思路

[0004]针对上述技术问题,本专利技术采用的技术方案为:一种获取目标模型的数据处理系统,所述系统包括:网关节点ID、预设模型ID集A={A1,A2,
……<本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种获取目标模型的数据处理系统,其特征在于,所述系统包括:网关节点ID、预设模型ID集A={A1,A2,
……
,A
i

……
,A
m
}、A对应的预设模型的副本ID集A0={A
01
,A
02

……
,A
0i

……
,A
0m
}、处理器和存储有计算机程序的存储器,其中,A
i
为第i种预设模型ID,A
0i
为A
i
对应的预设模型的副本ID集,i=1,2
……
m,m为预设模型ID的数量,当所述计算机程序被处理器执行时,实现以下步骤:S100,当目标请求出现请求故障时,获取所述目标请求对应的目标请求次数H0,其中,H0符合如下条件:H0=INT(H
max
×
R0),其中,INT()为取整函数,H
max
为预设的最大重试次数,R0为所述目标请求对应的目标模型的最新的总利用率,所述目标模型为A中的任一A
i
对应的预设模型;S200,获取关键目标请求的当前重试次数H;其中,H为关键目标请求已被发送的次数;S300,若H<H0,获取所述关键目标请求对应的目标重试间隔G;S400,根据G,向所述网关节点ID对应的网关节点发送关键目标请求,以调用所述关键目标请求对应的目标模型;S500,当未调用到所述关键目标请求对应的目标模型时,重新执行S200

S500,直至调用到所述关键目标请求对应的目标模型或直至H=H0时,结束循环。2.根据权利要求1所述的获取目标模型的数据处理系统,其特征在于,所述请求故障为所述目标请求发生错误或者所述目标请求失败的情况。3.根据权利要求1所述的获取目标模型的数据处理系统,其特征在于,R0符合如下条件:R0=σ
×
(R
01
×
0.4+R
02
×
0.3+R
03
×
0.3),其中,R
01
为目标模型对应的CPU利用率,R
02
为目标模型对应的内存使用率,R
03
为目标模型对应的显存利用率,σ为所述目标模型对应的副本数量。4.根据权利要求3所述的获取目标模型的数据处理系统,其特征在于,通过如下步骤获取σ:S101,从A0中获取所述目标模型对应的目标模型副本ID集A
0i
={A
0i1
,A
02

……
,A
0iu

……
,A
0i...

【专利技术属性】
技术研发人员:于伟赵洲洋靳雯王全修石江枫王林
申请(专利权)人:日照睿安信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1