【技术实现步骤摘要】
本公开涉及计算机,具体涉及服务调用方法、装置、计算机设备及存储介质。
技术介绍
1、目标应用是一种基于人工智能(artificial intelligence,ai)的自然语言处理模型,具备语义理解和生成能力,可以进行实时的对话和交互。
2、相关技术中,以自然语言处理模型是大语言模型(large language model,llm)为例,目标应用的运行依赖于llm服务端提供的服务。由于llm服务端在使用周期内的交互量是有限的,并且,不同目标应用在不同时段内发送的服务调用请求数量不同,因此,当多个目标应用在同一使用周期内并发发送多个服务调用请求时,会因服务端过载而影响目标应用的性能。
技术实现思路
1、有鉴于此,本公开提供了一种服务调用方法、装置、计算机设备及存储介质,以解决因服务端过载而影响目标应用的性能的问题。
2、第一方面,本公开提供了一种服务调用方法,包括:
3、响应接收到目标应用发送的服务调用请求,确定目标应用在当前使用周期内的累计交互量,服务
...【技术保护点】
1.一种服务调用方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述确定所述目标应用在当前使用周期内的累计交互量,包括:
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述获取所述服务调用请求的目标等待时长,包括:
5.根据权利要求4所述的方法,其特征在于,所述发送次数与所述目标等待时长之间的对应关系为正相关。
6.根据权利要求1所述的方法,其特征在于,所述触发等待计时,包括:
7.根据权利要求1所述的方法,其特征
...【技术特征摘要】
1.一种服务调用方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述确定所述目标应用在当前使用周期内的累计交互量,包括:
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述获取所述服务调用请求的目标等待时长,包括:
5.根据权利要求4所述的方法,其特征在于,所述发送次数与所述目标等待时长之间的对应关系为正相关。
6.根据权利要求1所述的方法,其特征在于,所述触发等待计时,包括:
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
8.根...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。