提升AI大语言模型检索性能的重排序方法和装置制造方法及图纸

技术编号:40713027 阅读:26 留言:0更新日期:2024-03-22 11:15
本发明专利技术提供了一种提升AI大语言模型检索性能的重排序方法和装置,包括:接收用户输入的查询信息,并对查询信息进行向量化处理,得到问句向量;在向量数据库中匹配出与问句向量满足相似度要求的文本向量,并构建初始候选集,其中,初始候选集包括:文档或问题;根据初始候选集中的每个文档或问题,抽取与查询信息相关的特征;对初始候选集中的每个文档或问题进行重新评估,得到评估分数;根据评估分数对初始候选集进行重新排序,得到新的排序结果。通过在知识库问答中扩大原有的向量检索背景数据top_k数量,对检索数据结果结合上下文进行Rerank重排,从而能够更准确地捕捉文本与用户查询之间的语义关系,提高最终的搜索结果的质量。

【技术实现步骤摘要】

本专利技术涉及网络,具体地,涉及一种提升ai大语言模型检索性能的重排序方法和装置。


技术介绍

1、知识库问答的主要任务是:给定自然语言问句,计算机能够自动的基于知识库中的知识回答该问题。常见的知识库有freebase,dbpedia,wikidata等等。知识在知识库中的存在形式为三元组的形式(s,p,o),其中s代表主语实体,o代表宾语实体,p代表主语实体和宾语实体之间的关系谓语。知识库问答则是要从知识库中找到宾语实体回答问题。该任务也可以重新定于为找到知识库中的主语实体和谓语关系。知识库问答在实际生活应用中扮演着重要的作用。第一,随着大数据时代的到来,网络上的信息的增长速度越来越快,作为结构化信息的知识库的规模越来越大;第二,知识库有专门的结构,需要特定化的查询语言进行搜索,对于普通用户来说,掌握这些查询语言的成本太高,不易于获取知识库中的知识。第三,知识库问答只需要输入自然语言的语句,就能自动返回正确答案,对用户解决问题方式友好简便。第四,安全性较高,对于用户而言,具有封闭性,用户只能提出问题,无法直接获取知识库中的信息资源。p>

2、当前知本文档来自技高网...

【技术保护点】

1.一种提升AI大语言模型检索性能的重排序方法,其特征在于,包括:

2.根据权利要求1所述的提升AI大语言模型检索性能的重排序方法,其特征在于,在执行所述步骤1之前,所述方法还包括:

3.根据权利要求1所述的提升AI大语言模型检索性能的重排序方法,其特征在于,所述步骤3中抽取与所述查询信息相关的特征包括:文本嵌入表示、词频信息、语义相似度分数。

4.根据权利要求1-3中任一项所述的提升AI大语言模型检索性能的重排序方法,其特征在于,所述方法还包括:

5.根据权利要求1-3中任一项所述的提升AI大语言模型检索性能的重排序方法,其特征在于,所述...

【技术特征摘要】

1.一种提升ai大语言模型检索性能的重排序方法,其特征在于,包括:

2.根据权利要求1所述的提升ai大语言模型检索性能的重排序方法,其特征在于,在执行所述步骤1之前,所述方法还包括:

3.根据权利要求1所述的提升ai大语言模型检索性能的重排序方法,其特征在于,所述步骤3中抽取与所述查询信息相关的特征包括:文本嵌入表示、词频信息、语义相似度分数。

4.根据权利要求1-3中任一项所述的提升ai大语言模型检索性能的重排序方法,其特征在于,所述方法还包括:

5.根据权利要求1-3中任一项所述的提升ai大语言模型检索性能的重排序方法,其特征在于,所述方法还包括:

6.一种提升ai大语言模型检索性能的重排序装置,其特征...

【专利技术属性】
技术研发人员:张宋伟唐杰王宗宝戴立言
申请(专利权)人:上海网达软件股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1