大模型部署方法及其装置制造方法及图纸

本发明专利技术提供了一种大模型部署方法及其装置。该方法包括：接收在第N次问答交互时用户输入的待解答问题；基于第一大模型集中每个大模型回答问题的预估准确度，从第一大模型集中筛选K个大模型，得到第二大模型集；在确定缓存中不存在待解答问题，或缓存中存在待解答问题且与待解答问题对应的答案不满足用户需求时，基于调用第二大模型集中大模型各自回答问题时所需消耗的预估资源，对第二大模型集中每个大模型进行排序，得到第三大模型集；按照排序从第三大模型集中依次确定目标大模型，直至目标答案满足用户的需求或第三大模型集中K个大模型输出的目标答案均不满足用户的需求时，停止从第三大模型集中确定目标大模型，完成第N次问答交互。

【技术实现步骤摘要】

本专利技术涉及人工智能，具体涉及机器学习、在线学习和大语言模型，更具体地，涉及大模型部署方法及其装置。

技术介绍

1、大语言模型（也即大模型）在近年来取得许多进展，许多不同类型的大模型有较好的体现。然而，这种进步也带来了资源消耗增加和训练推理过程中延迟增加的代价，这为大语言模型的实际部署带来挑战。对于不同的用户提问，如何选择一个合适的大模型进行回答是一个需要考虑的问题。

2、在实现本专利技术构思的过程中，专利技术人发现目前在问答场景中，缺乏一种比较通用的大模型部署策略，既能基于用户输入的问题快速反馈符合用户需求的答案，还能使问答交互过程中消耗较少的资源。

技术实现思路

1、有鉴于此，本专利技术提供了一种大模型部署方法及其装置。

2、本专利技术的一个方面提供了一种大模型部署方法，包括：接收在第n次问答交互时用户输入的待解答问题；基于第一大模型集中每个大模型回答问题的预估准确度，从第一大模型集中筛选k个大模型，得到第二大模型集，其中，第一大模型集是在第n-1次问答交互中确定的，预估准确度是本文档来自技高网...

【技术保护点】

1.一种大模型部署方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述排序包括升序排序，K≥2；

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述前N-1次问答交互中调用所述大模型回答问题时的消耗和所述大模型被调用的次数，确定调用所述大模型回答问题时所需消耗的所述预估资源，包括：

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特...

【技术特征摘要】

1.一种大模型部署方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述排序包括升序排序，k≥2；

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述前n-1次问答交互中调用所述大模型回答问题时的消耗和所述大模型被调用的次数，确定调用所述大模型回答问题时所需消耗的所述预估资源，包括：

5.根据权利要求3所述的方法，其特征在于，所述方法还...

【专利技术属性】
技术研发人员：连德富，陈恩红，杨翰韬，谢洪，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：