一种多模态元数据检索增强生成方法及系统技术方案

本发明专利技术涉及人工智能技术领域，特别是涉及一种多模态元数据检索增强生成方法及系统，本发明专利技术通过确定查询内容的数据模态，基于确定的数据模态对各模态的数据进行特征提取，并将提取的特征转换为特征向量，各模态的特征向量进行融合，生成多模态特征向量，并从查询内容的各模态数据中提取各模态数据的关键元数据，将关键元数据转换为关键元数据向量与多模态特征向量相连接，构建增强向量，通过增强向量进行检索，有助于提升知识覆盖范围和信息利用效率，提高生成内容的准确性、相关性和可信度。

【技术实现步骤摘要】

本专利技术涉及人工智能，特别是涉及一种多模态元数据检索增强生成方法及系统。

技术介绍

1、在当今人工智能和自然语言处理（nlp）领域，检索增强生成（rag）系统已成为提高大型语言模型（llm）性能的关键技术。rag系统通过结合外部知识库的检索能力和llm的生成能力，能够提供更准确、更可靠的回答。这种方法不仅提高了系统的知识覆盖范围，还有效缓解了llm固有的幻觉问题。

2、然而，传统的rag系统在处理复杂的多模态、多跳查询时仍然面临着诸多挑战。首先，现有rag系统往往难以有效整合来自不同模态（如文本、图像、音频等）的信息，导致在处理需要跨模态推理的查询时表现不佳。其次，对于需要多步推理的复杂查询，传统rag系统常常难以准确捕捉和利用中间推理结果，从而影响最终答案的质量。此外，在事实性和可解释性方面，现有rag系统也存在明显不足，难以保证生成内容的准确性，同时缺乏对推理过程的清晰解释。

技术实现思路

1、为了解决上述
技术介绍
中存在的技术问题，本专利技术提供了一种多模态元数据检索增强生成方法及系统，有助本文档来自技高网...

【技术保护点】

1.一种多模态元数据检索增强生成方法，其特征在于，包括：

2.根据权利要求1所述的多模态元数据检索增强生成方法，其特征在于，所述步骤二包括：

3.根据权利要求1所述的多模态元数据检索增强生成方法，其特征在于，所述步骤五包括：

4.根据权利要求1所述的多模态元数据检索增强生成方法，其特征在于，所述步骤六包括：

5.一种多模态元数据检索增强生成系统，其特征在于，包括：

6.一种计算机可读存储介质，其特征在于，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行权利要求1至4中任一项所述的多模态元数据...

【技术特征摘要】

1.一种多模态元数据检索增强生成方法，其特征在于，包括：

2.根据权利要求1所述的多模态元数据检索增强生成方法，其特征在于，所述步骤二包括：

3.根据权利要求1所述的多模态元数据检索增强生成方法，其特征在于，所述步骤五包括：

4.根据权利要求1所述的多模态元数据检索增强...

【专利技术属性】
技术研发人员：张其来，段强，姜凯，张思嘉，黄登蓉，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：