基于背景信息融合的大模型推理优化方法、装置、设备及介质制造方法及图纸

本申请公开了基于背景信息融合的大模型推理优化方法、装置、设备及介质，涉及人工智能领域，包括：确定与待处理任务相关的背景信息；背景信息包括待处理任务相关的用户交互记录信息、任务环境信息和领域知识信息；将背景信息和大模型的输入数据进行融合，得到目标信息；输入数据为用户端基于待处理任务向大模型输入的数据；基于目标信息、背景信息以及待处理任务的任务需求确定目标推理路径，以利用大模型和目标推理路径执行待处理任务并得到相应的推理结果；当待处理任务执行完毕后，确定与推理结果对应的反馈信息，并基于反馈信息调整大模型的参数，以优化大模型的推理过程。因此，本申请能够提升大模型的推理效率与精度。

【技术实现步骤摘要】

本专利技术涉及人工智能领域，特别涉及基于背景信息融合的大模型推理优化方法、装置、设备及介质。

技术介绍

1、随着深度学习和人工智能技术的蓬勃发展，大模型已广泛应用于自然语言处理、计算机视觉等诸多领域。

2、当前，这些模型因参数规模庞大，在推理时需大量计算资源以实现高精度推理，且存在显著不足。其一，现有推理方法普遍缺乏对上下文和背景信息的利用。多数模型仅依据输入数据进行推理，无法充分调用用户交互记录、环境信息、领域知识等背景内容。这使得模型在处理复杂任务时能力受限，难以理解任务所处环境，无法精准完成复杂推理。其二，传统大模型推理路径固定，无论任务复杂程度和计算资源使用情况如何，都依赖全模型参与的计算路径。这种方式在处理简单任务时会造成过度计算，浪费资源；面对复杂任务时，又难以保证精确推理。

3、因此，如何提升大模型在不同任务场景下的推理效率与精度是当前亟待解决的技术问题。

技术实现思路

1、有鉴于此，本专利技术的目的在于提供基于背景信息融合的大模型推理优化方法、装置、设备及介质，能够提升本文档来自技高网...

【技术保护点】

1.一种基于背景信息融合的大模型推理优化方法，其特征在于，包括：

2.根据权利要求1所述的基于背景信息融合的大模型推理优化方法，其特征在于，所述确定与所述待处理任务相关的背景信息，包括：

3.根据权利要求1所述的基于背景信息融合的大模型推理优化方法，其特征在于，所述将所述背景信息和所述大模型的输入数据进行融合，得到目标信息，包括：

4.根据权利要求3所述的基于背景信息融合的大模型推理优化方法，其特征在于，所述基于所述目标信息、所述背景信息以及所述待处理任务的任务需求确定目标推理路径，包括：

5.根据权利要求1所述的基于背景信息融合的大模型推...

【技术特征摘要】

1.一种基于背景信息融合的大模型推理优化方法，其特征在于，包括：

2.根据权利要求1所述的基于背景信息融合的大模型推理优化方法，其特征在于，所述确定与所述待处理任务相关的背景信息，包括：

3.根据权利要求1所述的基于背景信息融合的大模型推理优化方法，其特征在于，所述将所述背景信息和所述大模型的输入数据进行融合，得到目标信息，包括：

4.根据权利要求3所述的基于背景信息融合的大模型推理优化方法，其特征在于，所述基于所述目标信息、所述背景信息以及所述待处理任务的任务需求确定目标推理路径，包括：

5.根据权利要求1所述的基于背景信息融合的大模型推理优化方法，其特征在于，所述利用所述大模...

【专利技术属性】
技术研发人员：段强，张吉臣，李雪，周祥龙，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：