基于预训练语言模型的对话式信息检索方法技术

本发明专利技术涉及信息检索方法技术领域，公开了基于预训练语言模型的对话式信息检索方法。通过筛选介词相关的历史查询信息，通过双塔式细粒度语义交互模型，解决了现有技术的检索容易无视语义关系，造成查询结果正确性不足的问题。题。

【技术实现步骤摘要】
基于预训练语言模型的对话式信息检索方法


[0001]本专利技术涉及信息检索方法
，特别涉及基于预训练语言模型的对话式信息检索方法。

技术介绍

[0002]新一代对话助手(如Alexa、Siri、Cortana、Bixby和谷歌Assistant)的普及，拓宽了会话式信息搜索方法的应用场景，增加了对话式信息检索技术重要性。会话式信息检索任务的目标是会话模型能够理解交互式搜索过程中的用户行为，根据查询轮次的进行表达用户的需求转移。同时信息需求具有复杂性(需要多轮的细化)、多样性(跨越不同的信息类别)、开放领域(不需要访问专家领域的知识)和可回答的(在文章集合中有足够的覆盖)的特点。会话式信息检索在2020国际文本信息检索大会提出的下一代信息检索的方向之一。明确了会话式信息检索的特点：能够满足用户复杂的信息需求而受到青睐，它可以通过对话接口和便携设备为用户提供方便和精确的信息访问。
[0003]目前，解决会话式检索的解决方法主要分为两种，第一种是使用一个采用GPT
‑
3的生成式方法，把会话式查询重写为单独的与上下文无关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于预训练语言模型的对话式信息检索方法，其特征在于：S1：利用现有的文本表示模型BERT得到文档的编码表示；S2：对于一组对话式查询Q
1：k
，针对第k轮次的查询q
k
，找到与该查询需求相关的历史查询q
k
‑
i
，(0＜i＜k)；将两者拼接后输入文本表示模型BERT；S3：通过对比学习，使学习后模型构建的查询的编码的表示，接近手工重写的查询的编码表示；S4：一组对话式查询的每一条查询语句及其历史相关的查询拼接后输入S3训练好的模型进行编码，计算与S1得到的文档编码表示的语义相似度，并按由大至小对文档进行排序；S5：利用对比学习方法构建双塔式细粒度语义交互模型，利用S4构建的集合训练，交叉熵损失计算模型的排序损失；S6：利用S5训练好的模型对测试集查询进行检索，得到排序结果。2.根据权利要求1所述的一种基于预训练语言模型的对话式信息检索方法，其特征在于：S2中所述的与该查询需求相关的历史查询q
k
‑
i
，(0＜i＜k)，以如下规则对历史信息进行选择：对于当前查询q
k
，如果出现代词，则把当前查询与上一个历史查询q
k
‑1拼接，另外检查查询q
k
‑1是否同样出现相似代词，如有，则继续往上一个历史信息追溯，并把上一个历史查询q
k
‑2与当前的查询拼接起来；如果没有，则不再往前追溯；其中q
k
‑
i
为与查询q
k
相关的历史轮次的查询批；而对于手工重写的查询，仅使用单条查询记录即可得到编码表示，如下所示：3.根据权利要求2所述的一种基于预训练语言模型的对话式信息检索方法，其特征在于：S2中公式S2中公式中查询和文档的编码表示，为隐藏层每个结点的输出；保留隐藏层的输出。4.根据权利要求1所述的一种基于预训练语言模型的对话式信息检索方法，其特征在于：S3所述的对比学习，损失函数具体为：其中N为查询的最大允许输入长度，q
*
为手工重写的查询的编码表示，q
′
为查询的编码表示；该损失函数表示查询的表示与手工重写的查询的编码表示之间的差距，通过该损失函数降低两者的差距，细化训练模型；利用对比学习，对手工重写的查询的编码表示q
*
和构建的查询的编码表示q
′
分别进行训练，...

【专利技术属性】
技术研发人员：王俊美，盛锦华，曾静，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：