【技术实现步骤摘要】
本专利技术实施例涉及自然语言处理，尤其涉及一种多源语言模型的管理方法、装置、计算机设备及存储介质。
技术介绍
1、目前，多个领先的技术公司如openai、微软、claude、百度、阿里云等都开发了大型语言模型，它们在处理自然语言任务方面表现出色。然而，这些模型通常通过api来提供服务，并且每个api都有其请求频率的限制。对于需要利用这些资源的企业或开发者来说，管理多个api密钥、账户信息以及它们的请求限制变得复杂且低效，同时多个api账户与密钥的管理分散且容易出错。
技术实现思路
1、本专利技术实施例提供一种多源语言模型的管理方法、装置、计算机设备及存储介质，以实现不同来源模型api账户的统一管理，并实现智能的api请求调度，从而降低管理成本和错误率，优化模型资源的使用效率。
2、第一方面，本专利技术实施例提供了一种多源语言模型的管理方法，该方法包括：
3、接收用户的调用请求；
4、基于所述调用请求获取当前各个语言模型的调用数据；
5、基于所述调用数据选择目标语言模型的目标api账户；
6、读取所述目标api账户的密钥信息，并根据所述密钥信息对所述目标语言模型进行api调用。
7、可选的，所述基于所述调用数据选择目标语言模型的目标api账户，包括：
8、根据各个所述语言模型的每个api账户的请求频率限制和/或调用成本，确定所述目标语言模型的所述目标api账户。
9、可选的，所述基于所述调
10、在所述根据各个所述语言模型的每个api账户的请求频率限制和/或调用成本，确定所述目标语言模型的所述目标api账户之后，检查所述目标语言模型的并发请求是否达到并发限制；
11、若是，则根据所述目标语言模型以外的其他语言模型的并发处理能力和/或当前负载重新确定所述目标语言模型的所述目标api账户。
12、可选的，所述基于所述调用数据选择目标语言模型的目标api账户，还包括：
13、在所述根据所述目标语言模型以外的其他语言模型的并发处理能力和/或当前负载重新确定所述目标语言模型的所述目标api账户之后，检查重新确定的所述目标语言模型的并发请求是否达到并发限制，若是，则再次根据所述目标语言模型以外的其他语言模型的并发处理能力和/或当前负载重新确定所述目标语言模型的所述目标api账户；
14、若所有语言模型的并发请求均达到并发限制，则提示用户等待重试。
15、可选的，所述调用数据包括历史的响应时间和/或请求失败率；
16、相应的，所述根据所述目标语言模型以外的其他语言模型的并发处理能力和/或当前负载重新确定所述目标语言模型的所述目标api账户，包括：
17、根据所述响应时间和/或所述请求失败率从各个所述语言模型中确定待选语言模型，并从所述待选语言模型中重新确定所述目标语言模型的所述目标api账户。
18、可选的，所述调用数据包括历史的响应时间和/或请求成功率；
19、相应的，所述根据各个所述语言模型的每个api账户的请求频率限制和/或调用成本，确定所述目标语言模型的所述目标api账户，包括：
20、根据所述响应时间和/或所述请求成功率，结合所述调用成本确定所述目标语言模型的所述目标api账户。
21、可选的，在所述读取所述目标api账户的密钥信息，并根据所述密钥信息对所述目标语言模型进行api调用之后，还包括：
22、根据调用结果更新所述调用数据。
23、第二方面，本专利技术实施例还提供了一种多源语言模型的管理装置，该装置包括：
24、调用请求接收模块，用于接收用户的调用请求；
25、调用数据获取模块，用于基于所述调用请求获取当前各个语言模型的调用数据；
26、目标账户选择模块，用于基于所述调用数据选择目标语言模型的目标api账户；
27、目标模型调用模块，用于读取所述目标api账户的密钥信息，并根据所述密钥信息对所述目标语言模型进行api调用。
28、第三方面，本专利技术实施例还提供了一种计算机设备，该计算机设备包括：
29、一个或多个处理器；
30、存储器，用于存储一个或多个程序；
31、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术任意实施例所提供的多源语言模型的管理方法。
32、第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术任意实施例所提供的多源语言模型的管理方法。
33、本专利技术实施例提供了一种多源语言模型的管理方法，在接收到用户的调用请求时，基于该调用请求获取当前各个语言模型的调用数据，然后基于得到的调用数据选择目标语言模型的目标api账户，再读取目标api账户的密钥信息，并根据该密钥信息对目标语言模型进行api调用。本专利技术实施例所提供的多源语言模型的管理方法，通过自动根据当前各个语言模型的调用数据选择模型及api账户，并自动获取相应的密钥信息进行调用，实现了不同来源模型api账户的统一管理以及智能的api请求调度，简化了api请求的管理流程，降低了管理成本和错误率，优化了模型资源的使用效率，从而开发者或企业可以更高效的管理和调用多个大型语言模型的api，并获得更好的服务质量。
本文档来自技高网...【技术保护点】
1.一种多源语言模型的管理方法，其特征在于，包括：
2.根据权利要求1所述的多源语言模型的管理方法，其特征在于，所述基于所述调用数据选择目标语言模型的目标API账户，包括：
3.根据权利要求2所述的多源语言模型的管理方法，其特征在于，所述基于所述调用数据选择目标语言模型的目标API账户，还包括：
4.根据权利要求3所述的多源语言模型的管理方法，其特征在于，所述基于所述调用数据选择目标语言模型的目标API账户，还包括：
5.根据权利要求3所述的多源语言模型的管理方法，其特征在于，所述调用数据包括历史的响应时间和/或请求失败率；
6.根据权利要求2所述的多源语言模型的管理方法，其特征在于，所述调用数据包括历史的响应时间和/或请求成功率；
7.根据权利要求1所述的多源语言模型的管理方法，其特征在于，在所述读取所述目标API账户的密钥信息，并根据所述密钥信息对所述目标语言模型进行API调用之后，还包括：
8.一种多源语言模型的管理装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的多源语言模型的管理方法。
...【技术特征摘要】
1.一种多源语言模型的管理方法，其特征在于，包括：
2.根据权利要求1所述的多源语言模型的管理方法，其特征在于，所述基于所述调用数据选择目标语言模型的目标api账户，包括：
3.根据权利要求2所述的多源语言模型的管理方法，其特征在于，所述基于所述调用数据选择目标语言模型的目标api账户，还包括：
4.根据权利要求3所述的多源语言模型的管理方法，其特征在于，所述基于所述调用数据选择目标语言模型的目标api账户，还包括：
5.根据权利要求3所述的多源语言模型的管理方法，其特征在于，所述调用数据包括历史的响应时间和/或请求失败...
【专利技术属性】
技术研发人员：雷浪声，叶子鑫，
申请(专利权)人：深圳威科未来科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。