【技术实现步骤摘要】
本申请涉及请求管理，特别是涉及一种接口请求的调度方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、大型语言模型（large language model，简称llm）是一种基于海量文本数据训练的深度学习模型。目前，常用的大型语言模型如开放人工智能模型openai、微软模型、人工智能模型claude、千帆模型等，为保障在高并发场景下的稳定运行，通常会配置有与应用程序接口（application programming interface,以下简称api）相关的流量限制策略。
2、也即，当用户通过api账户请求调度上述任一种大型语言模型时，其发送的api请求频率和api请求数量是受阈值限制的。一旦检测到出现请求超限的情况时，则会导致该api账户发送的模型调度请求被拒绝。
3、然而，随着自然语言处理技术的进一步发展，出现了组合性使用多个大型语言模型的应用程序。用户可以通过在应用程序中注册多个api账户以保障自身的api请求被模型接收。但如何有效地分配每个api账户的请求，以保证应用程序服务的稳定性和效率，成为一个亟待解决的问题。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够提高各api账户请求资源利用率的接口请求的调度方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本申请提供了一种接口请求的调度方法，包括：
3、接收待处理的应用程序接口请求；
4、检测各个应用程序接口
5、根据所述请求频率和所述剩余请求配额生成与每个所述应用程序接口账户对应的请求分发权重，并基于所述请求分发权重从各个所述应用程序接口账户中确定出目标接口账户；
6、将所述应用程序接口请求分配至所述目标接口账户，以通过所述目标接口账户请求调用对应的大型语言模型。
7、在其中一个实施例中，所述根据所述请求频率和所述剩余请求配额生成与每个所述应用程序接口账户对应的请求分发权重，并基于所述请求分发权重从各个所述应用程序接口账户中确定出目标接口账户，包括：
8、确定所述请求频率与预设频率阈值之间的频率比较结果，以及所述剩余请求配额与所述应用程序接口请求的请求数量之间的数量比较结果，所述预设频率阈值是根据各个所述应用程序接口账户对应的大型语言模型的请求频率限制确定的；
9、基于所述频率比较结果和所述数量比较结果，生成所述请求分发权重；
10、根据所述请求分发权重对各个所述应用程序接口账户进行排序，确定各个所述应用程序接口账户的请求分发优先级；
11、响应于所述请求分发优先级满足预设的请求分配策略，将所述请求分发优先级对应的应用程序接口账户确定为所述目标接口账户。
12、在其中一个实施例中，在所述将所述应用程序接口请求分配至所述目标接口账户之前，还包括：
13、确定所述请求频率与所述预设频率阈值之间的差值；
14、响应于所述差值小于预设阈值，移除当前的目标接口账户；
15、对所述请求分配策略进行调整，并基于新的请求分配策略从剩余的应用程序接口账户中重新确定出新的目标接口账户。
16、在其中一个实施例中，所述方法还包括：
17、轮询调度与各个所述应用程序接口账户对应的大型语言模型，确定每个所述大型语言模型的请求频率限制、并发量和请求上限值；
18、基于预设的模型调度规则，利用所述请求频率限制、所述并发量和所述请求上限值生成与每个所述大型语言模型对应的请求接收概率；
19、根据所述请求接收概率，更新各个所述应用程序接口账户的请求分发权重。
20、在其中一个实施例中，在所述根据所述请求接收概率，更新各个所述应用程序接口账户的请求分发权重之前，还包括：
21、获取调度调整参数，所述调度调整参数是基于当前的业务场景和请求模式确定的；
22、根据所述调度调整参数对所述模型调度规则进行更新，并采用更新后的模型调度规则重新生成与每个所述大型语言模型对应的请求接收概率。
23、在其中一个实施例中，所述方法还包括：
24、接收所述大型语言模型返回的与所述应用程序接口请求对应的处理结果；
25、根据所述处理结果确定所述目标接口账户的调度成功率和资源利用率；
26、利用所述调度成功率和所述资源利用率生成接口请求调度报告。
27、第二方面，本申请还提供了一种接口请求的调度装置，包括：
28、请求接收模块，用于接收待处理的应用程序接口请求；
29、账户检测模块，用于检测各个应用程序接口账户的请求频率和剩余请求配额；
30、账户确定模块，用于根据所述请求频率和所述剩余请求配额生成与每个所述应用程序接口账户对应的请求分发权重，并基于所述请求分发权重从各个所述应用程序接口账户中确定出目标接口账户；
31、请求分配模块，用于将所述应用程序接口请求分配至所述目标接口账户，以通过所述目标接口账户请求调用对应的大型语言模型。
32、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项实施例所述的接口请求的调度方法。
33、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一项实施例所述的接口请求的调度方法。
34、第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面任一项实施例所述的接口请求的调度方法。
35、上述接口请求的调度方法、装置、计算机设备、存储介质和计算机程序产品，通过接收待处理的应用程序接口请求；检测各个应用程序接口账户的请求频率和剩余请求配额；根据请求频率和剩余请求配额生成与每个应用程序接口账户对应的请求分发权重，并基于请求分发权重从各个应用程序接口账户中确定出目标接口账户；将应用程序接口请求分配至目标接口账户，以通过目标接口账户请求调用对应的大型语言模型，不仅能够有效管理多个应用程序接口账户的请求频率限制，提高应用程序整体的稳定性和响应能力，还能够提高应用程序接口账户请求资源的利用效率，减少因请求超限而浪费的应用程序接口请求配额。
本文档来自技高网...【技术保护点】
1.一种接口请求的调度方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述请求频率和所述剩余请求配额生成与每个所述应用程序接口账户对应的请求分发权重，并基于所述请求分发权重从各个所述应用程序接口账户中确定出目标接口账户，包括：
3.根据权利要求2所述的方法，其特征在于，在所述将所述应用程序接口请求分配至所述目标接口账户之前，还包括：
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，在所述根据所述请求接收概率，更新各个所述应用程序接口账户的请求分发权重之前，还包括：
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
7.一种接口请求的调度装置，其特征在于，所述装置包括：
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种接口请求的调度方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述请求频率和所述剩余请求配额生成与每个所述应用程序接口账户对应的请求分发权重，并基于所述请求分发权重从各个所述应用程序接口账户中确定出目标接口账户，包括：
3.根据权利要求2所述的方法，其特征在于，在所述将所述应用程序接口请求分配至所述目标接口账户之前，还包括：
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，在所述根据所述请求接收概率，更新各个所述应用程序接口账户的请求分发权重之前，还包括：...
【专利技术属性】
技术研发人员：雷浪声，叶子鑫，
申请(专利权)人：深圳威科未来科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。