多模态检索模型的训练方法、多模态检索方法及装置制造方法及图纸

本申请公开了一种多模态检索模型的训练方法、多模态检索方法及装置，涉及多模态检索技术领域，包括构建向量数据库；基于向量数据库，构建难负样本训练集；难负样本训练集包括：多个查询文本和多个查询文本对应的难负样本文档图片；将难负样本训练集输入初始多模态检索模型进行训练，获取目标多模态检索模型。由于向量数据库存储多篇文档的多向量表示，通过向量数据库可以找到与查询向量相似但不相关的负样本（即难负样本），通过向量数据库挖掘这些样本，构建难负样本训练集，可以使得模型学习到更加细微的区分特征，从而提高模型区分正负样本的能力，在检索过程中，提升检索的精确度。

【技术实现步骤摘要】

本申请涉及多模态检索，尤其涉多模态检索模型的训练方法、多模态检索方法及装置。

技术介绍

1、文档检索用于将用户查询与给定语料库中的相关文档进行相似性匹配，它既可以作为搜索引擎中的排序系统，也可以作为更复杂的信息提取或检索增强生成应用的一部分。

2、相关技术中，针对多模态检索任务，采用基于vlm的多模态检索模型（vlm2vec，training vision-language models for massive multimodal embedding tasks）来提取文档的文本内容，但 vlm2vec 在处理 pdf 时，依赖于外部工具（如 ocr 或 pdf 解析库）来提取文本内容。这些工具在处理复杂排版、扫描件或低质量文档时，可能会出现文本提取不准确的问题，导致检索结果的偏差。

3、因此，如何提高文档的多模态检索精度是当前亟需解决的问题。

技术实现思路

1、本申请提供了一种多模态检索模型的训练方法、多模态检索方法及装置，以至少解决相关技术中如何提高文档的多模态检索精度的问题。<本文档来自技高网...

【技术保护点】

1.一种多模态检索模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的多模态检索模型的训练方法，其特征在于，

3.根据权利要求1所述的多模态检索模型的训练方法，其特征在于，

4.根据权利要求1所述的多模态检索模型的训练方法，其特征在于，

5.根据权利要求4所述的多模态检索模型的训练方法，其特征在于，

6.根据权利要求1所述的多模态检索模型的训练方法，其特征在于，

7.根据权利要求2所述的多模态检索模型的训练方法，其特征在于，

8.一种多模态检索方法，其特征在于，包括：

<p>9.根据权利要求...

【技术特征摘要】

1.一种多模态检索模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的多模态检索模型的训练方法，其特征在于，

3.根据权利要求1所述的多模态检索模型的训练方法，其特征在于，

4.根据权利要求1所述的多模态检索模型的训练方法，其特征在于，

5.根据权利要求4所述的多模态检索模型的训练方法，其特征在于，

6.根据权利要求1所述的多模态检索模型的训练方法，其特征在于，

7.根据权利要求2所述的多模态检索模型的训练方法，其特...

【专利技术属性】
技术研发人员：杨延东，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：