一种强化向量检索能力的无监督预训练方法和系统技术方案

本发明专利技术公开了一种强化向量检索能力的无监督预训练方法和系统，属于自然语言处理领域。获取查询文本训练集，将查询文本部分掩码后的独热序列输入编码器，生成编码结果，根据编码结果预测掩码部分，计算编码器的上下文损失；将查询文本全部掩码后的独热序列输入解码器，利用编码结果中的第一个向量替换解码器的向量化序列中的第一个向量，生成解码结果，根据解码结果预测查询文本，计算解码器的句子预测损失；结合编码器的上下文损失和解码器的句子预测损失预训练编码器和解码器，利用预训练后的编码器生成待查询句子的编码向量。本发明专利技术通过无监督预训练方法极大的增强以句子为粒度的向量的表达能力，从而提高向量检索的表现。

【技术实现步骤摘要】

本专利技术属于自然语言处理领域，尤其涉及一种强化向量检索能力的无监督预训练方法和系统。

技术介绍

1、在大模型飞速发展的今天，人们在最大化大模型能力的探索中逐渐摸索出了一套提示工程+检索增强生成(retrieval augmented generation)+大模型基座的链路。其中rag部分的能力极大的依赖于向量检索的质量。

2、rag(retrieval-augmented generation)是一种结合了信息检索和文本生成的人工智能技术。它首先通过一个信息检索系统，如一个大型的向量数据库，来寻找与输入查询相关的信息。然后，这些信息被用作一个基于gpt(generative pretrained transformer)架构的文本生成模型的输入，以产生更好的利用知识库知识的回答。rag的重要性在于它极大地提升了ai在处理复杂查询、提供详细解释和执行深度知识问答方面的能力。通过结合检索和生成，rag可以在回答问题时引用更广泛的信息源，提高了答案的质量和可靠性，使得它在搜索引擎、聊天机器人和各类信息检索应用中具有重要应用价值。

3、本文档来自技高网...

【技术保护点】

1.一种强化向量检索能力的无监督预训练方法，其特征在于，包括：

2.根据权利要求1所述的强化向量检索能力的无监督预训练方法，其特征在于，所述的编码器包括嵌入层和N层Transformer网络，首先通过嵌入层获取查询文本部分掩码后的独热序列的向量化序列，再通过N层Transformer网络对向量化序列进行编码，生成编码结果。

3.根据权利要求1或2所述的强化向量检索能力的无监督预训练方法，其特征在于，所述编码器的上下文损失表示为：

4.根据权利要求1所述的强化向量检索能力的无监督预训练方法，其特征在于，所述的解码器包括嵌入层和单层Transformer网...

【技术特征摘要】

1.一种强化向量检索能力的无监督预训练方法，其特征在于，包括：

2.根据权利要求1所述的强化向量检索能力的无监督预训练方法，其特征在于，所述的编码器包括嵌入层和n层transformer网络，首先通过嵌入层获取查询文本部分掩码后的独热序列的向量化序列，再通过n层transformer网络对向量化序列进行编码，生成编码结果。

3.根据权利要求1或2所述的强化向量检索能力的无监督预训练方法，其特征在于，所述编码器的上下文损失表示为：

4.根据权利要求1所述的强化向量检索能力的无监督预训练方法，其特征在于，所述的解码器包括嵌入层和单层transformer网络，首先通过嵌入层获取查询文本全部掩码后的独热序列的向量化序列，将编码结果中的第一个向量替换解码器的向量化序列中的第一个向量，再通过单层transformer网络对向量化序列进行解码，生成解码结果。

5.根据权利要求1或4所述的强化向量检索能...

【专利技术属性】
技术研发人员：张哲宇，张伟，姜兴华，王海涛，
申请(专利权)人：杭州探意智能科技有限公司，
类型：发明
国别省市：