当前位置: 首页 > 专利查询>浙江大学专利>正文

一种用于问答系统的模型训练方法和问答方法技术方案

技术编号:41466180 阅读:11 留言:0更新日期:2024-05-30 14:21
本发明专利技术公开了一种用于问答系统的模型训练方法和问答方法,应用于自然语言处理领域,训练方法包括:利用预设提示词和初始大语言模型从知识文档中抽取隐藏知识,并利用初始向量模型构建向量数据库;将问句输入到初始向量模型中,得到问句向量,根据问句向量从向量数据库中检索到目标文本,计算得到召回率;将根据预设角色、原则和目标文本拼接得到的提示词输入到初始大语言模型中,得到生成结果,根据生成结果和问句答案对中的答案,计算得到生成率;根据生成率和召回率构建损失函数,并利用反向梯度法优化模型参数,更新向量数据库,得到训练好的大语言模型、向量模型和最终更新后的向量数据库。本方法训练的模型可以提高问答系统回答的准确性。

【技术实现步骤摘要】

本专利技术涉及自然语言处理领域,特别涉及一种用于问答系统的模型训练方法、问答方法、用于问答系统的模型训练装置、问答装置、问答设备和存储介质。


技术介绍

1、大语言模型通过海量文本的训练,学习到充分的知识存储在其模型参数中,具有广阔的知识和优化的对话能力,直接通过大语言模型搭建问答系统也是可行的方法。但当前的大语言模型在构建问答系统时存在一些问题,例如训练大语言模型时训练知识过时且难以更新,模型输出结果不准确,出现答非所问等问题。这些问题影响了大语言模型在问答系统的应用效果和推广能力,导致大语言模型在用于问答系统时效果较差。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供用于一种用于问答系统的模型训练方法、问答方法、用于问答系统的模型训练装置、问答装置、问答设备和存储介质,解决了现有技术中基于大语言模型的问答系统回答准确性较差的问题。

2、为解决上述技术问题,本专利技术提供了一种用于问答系统的模型训练方法,包括:

3、利用预设提示词和初始大语言模型从知识文档中的段落中抽取隐藏知识,本文档来自技高网...

【技术保护点】

1.一种用于问答系统的模型训练方法,其特征在于,包括:

2.根据权利要求1所述的用于问答系统的模型训练方法,其特征在于,所述利用预设提示词和初始大语言模型从知识文档中的段落中抽取隐藏知识,并利用初始向量模型构建向量数据库,包括:

3.根据权利要求1所述的用于问答系统的模型训练方法,其特征在于,所述根据所述问句向量从所述向量数据库中检索到目标文本,包括:

4.根据权利要求1所述的用于问答系统的模型训练方法,其特征在于,所述根据所述生成率和所述召回率构建损失函数,根据所述损失函数,利用反向梯度法优化所述初始大语言模型和所述初始向量模型的参数,得到训练好的大...

【技术特征摘要】

1.一种用于问答系统的模型训练方法,其特征在于,包括:

2.根据权利要求1所述的用于问答系统的模型训练方法,其特征在于,所述利用预设提示词和初始大语言模型从知识文档中的段落中抽取隐藏知识,并利用初始向量模型构建向量数据库,包括:

3.根据权利要求1所述的用于问答系统的模型训练方法,其特征在于,所述根据所述问句向量从所述向量数据库中检索到目标文本,包括:

4.根据权利要求1所述的用于问答系统的模型训练方法,其特征在于,所述根据所述生成率和所述召回率构建损失函数,根据所述损失函数,利用反向梯度法优化所述初始大语言模型和所述初始...

【专利技术属性】
技术研发人员:王国栋郑伟王强吴海胖
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1