【技术实现步骤摘要】
本申请涉及计算机处理，尤其涉及一种基于文本扩展的信息检索方法、装置、电子设备及介质。
技术介绍
1、搜索系统是一个品牌资源库的重要组成部分，可以帮助用户更快地找到需要的品牌资产，目前业界的搜索系统，存在着一个级联机构，通过自然语言处理(naturallanguage processing，nlp)进行query理解，通过数据召回将会有数千个内容提供给粗排模型，经过粗排的打分和重排后，会提供前几百个数据给精排模型，经过精排模型的打分和处理后将会有几十个数据提供给重排，经过重排最终呈现给用户，其中，query理解一般会进行预处理、分词、改写、重要性分析、意图识别、敏感识别等，将用户输入的query结构化为搜索树，进行精准的召回。召回一般有多路召回融合而成，主要分为标签召回和向量召回，并同时兼顾热度、覆盖度、相关度和新鲜度，从上亿条对象中选出几千条相关的内容。粗排的目的是提高召回的准确率和降低精排服务的压力。通常会用比较轻量级的机器学习模型，对几千个内容逐一打分，截断分数最高的几百个对象进入下一个模型。精排的目的是提升流量的效率和内容匹配的质量，通常会采用大量的特征和复制的深度神经网络模型，例如：bert、drmm等。重排的目的是提升用户体验和内容的多样性，提高流量的效率。通常会在精排的基础上进行微调，然后作为最终的排序结果展示给用户
2、通常针对业务要求，在搜索系统中进行目标搜索时，常用的技术方案是首先对用户特征进行清理和转换，之后采用主流的文本表示和文本匹配模型例如deepct、doc2query等算法建立模型，使用的
3、因此，现有技术中存在输出结果不够准确的问题。
技术实现思路
1、有鉴于此，本申请实施例提供了一种基于文本扩展的信息检索方法、装置、电子设备及介质，以解决现有技术中输出结果不够准确的问题
2、本申请实施例的第一方面，提供了一种基于文本扩展的信息检索方法，包括：获取查询文本，将查询文本作为信息检索模型的输入，信息检索模型包括查询文本编码器和项目信息编码器；将查询文本经过查询文本编码器进行编码，得到查询向量，并根据查询向量，获得候选项目；将候选项目输入至项目信息编码器中，利用大语言模型进行处理并进一步编码，得到项目向量；计算查询向量和项目向量之间的第一相似度；根据第一相似度确定信息检索模型的输出结果。
3、本申请实施例的第二方面，提供了一种基于文本扩展的信息检索装置，包括：获取模块，被配置为获取查询文本，将查询文本作为信息检索模型的输入，信息检索模型包括查询文本编码器和项目信息编码器；第一编码模块，被配置为将查询文本经过查询文本编码器进行编码，得到查询向量，并根据查询向量，获得候选项目；第二编码模块，被配置为将候选项目输入至项目信息编码器中，利用大语言模型进行处理并进一步编码，得到项目向量；计算模块，被配置为计算查询向量和项目向量之间的第一相似度；输出模块，被配置为根据第一相似度确定信息检索模型的输出结果。
4、本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
5、本申请实施例的第四方面，提供了一种介质，该介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
6、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
7、通过获取查询文本，将查询文本经过查询文本编码器进行处理，得到查询向量，然后利用查询向量在项目数据库中找到与之相似的候选项目，将候选项目输入到项目信息编码器中，利用大语言模型进行处理并进一步编码，得到项目向量，然后计算查询向量与项目向量之间的第一相似度，可以根据该第一相似度中不同候选项目对应的不同相似度，确定其中较高相似度的候选项目为信息检索模型的输出结果，这样利用项目编码器中的大语言模型可以对候选项目信息进行扩展，得到具有更加丰富含义的项目向量从而帮助信息检索模型基于查询文本得到准确的输出结果。
本文档来自技高网...【技术保护点】
1.一种基于文本扩展的信息检索方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述获取查询文本之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述项目信息编码器分别对所述正样本项目信息和负样本项目信息进行编码，得到正样本项目向量和负样本项目向量，所述正样本项目向量包括第一稀疏项目向量和第一稠密项目向量，所述负样本项目向量包括第二稀疏项目向量和第二稠密项目向量，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一稀疏查询向量和第一稠密查询向量、所述第一稀疏项目向量和第一稠密项目向量，以及所述第二稀疏项目向量和第二稠密项目向量对初始信息检索模型进行训练，得到所述信息检索模型，包括：
5.根据权利要求4所述的方法，其特征在于，所述对初始信息检索模型进行训练，得到所述信息检索模型，还包括：
6.根据权利要求1所述的方法，其特征在于，所述将所述候选项目输入至所述项目信息编码器中，利用大语言模型进行处理并进一步编码，得到项目向量，包括：
7.根据权利要求6所述的方法，
8.一种基于文本扩展的信息检索装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种介质，所述介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于文本扩展的信息检索方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述获取查询文本之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述项目信息编码器分别对所述正样本项目信息和负样本项目信息进行编码，得到正样本项目向量和负样本项目向量，所述正样本项目向量包括第一稀疏项目向量和第一稠密项目向量，所述负样本项目向量包括第二稀疏项目向量和第二稠密项目向量，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一稀疏查询向量和第一稠密查询向量、所述第一稀疏项目向量和第一稠密项目向量，以及所述第二稀疏项目向量和第二稠密项目向量对初始信息检索模型进行训练，得到所述信息检索模型，包括：
5.根据权利要求4所述的方法，其特征在于，所述对初始信息检索模型进行训练...
【专利技术属性】
技术研发人员：岳华东，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。