【技术实现步骤摘要】
本公开涉及人工智能，尤其涉及一种基于工具增强的大语言模型的多模态处理方法及装置。
技术介绍
1、在当今信息时代，大语言模型（large language models，llms）在自然语言处理和人工智能领域扮演着重要角色。然而，传统的llms存在着一定的局限性，例如无法直接调用外部工具执行特定的多模态任务。为了解决这一问题，工具增强的大语言模型（tool-augmented llms）的技术应运而生，它可以赋予llms调用工具的能力。
2、虽然这项技术取得了一定的进展，但仍然存在一些局限性。比如，工具调用不够准确，现有大型语言模型在处理复杂的多模态任务时，常常会因为用户请求的模糊性、工具选择以及工具调度的低效率而遇到困难，并且面对复杂的多模态任务，现有大型语言模型在任务拆解、任务规划以及工具调度方面仍存在挑战。
技术实现思路
1、有鉴于此，本公开提出了一种基于工具增强的大语言模型的多模态处理方法及装置，能够根据对多模态任务拆解得到的任务拆解结果，从预设的工具图中搜索评估得到最优...
【技术保护点】
1.一种基于工具增强的大语言模型的多模态处理方法，其特征在于，所述方法利用基于工具增强的大语言模型进行多模态任务的处理，所述处理包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述任务拆解结果还包括所述多个子任务之间的关联关系；所述根据所述任务拆解结果，基于深度优先搜索或者宽度优先搜索的方式，在预设的工具图中进行搜索得到所有可行方案，并对所有可行方案进行评估得到目标方案，包括：
3.根据权利要求1所述的方法，其特征在于，所述任务拆解结果还包括所述多个子任务之间的关联关系；所述根据所述任务拆解结果，基于深度优先搜索或者宽度优先搜索的方式...
【技术特征摘要】
1.一种基于工具增强的大语言模型的多模态处理方法，其特征在于，所述方法利用基于工具增强的大语言模型进行多模态任务的处理，所述处理包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述任务拆解结果还包括所述多个子任务之间的关联关系；所述根据所述任务拆解结果，基于深度优先搜索或者宽度优先搜索的方式，在预设的工具图中进行搜索得到所有可行方案，并对所有可行方案进行评估得到目标方案，包括：
3.根据权利要求1所述的方法，其特征在于，所述任务拆解结果还包括所述多个子任务之间的关联关系；所述根据所述任务拆解结果，基于深度优先搜索或者宽度优先搜索的方式，在预设的工具图中进行搜索得到所有可行方案，包括：
4.根据权利要求1所述的方法，其特征在于，所述任务拆解结果还包括所述多个子任务之间的关联关系；所述根据所述任务拆解结果，基于深度优先搜索或者宽度优先搜索的方式，在预设的工具图中进行搜索得到所有可行方案，包括：
5.根据权利要求1所述的方法，其特征在于，所述任务拆解结果还包括各所述子任务的任...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。