【技术实现步骤摘要】
本专利技术涉及信息以及相关，具体地，涉及适用于一种知识问答系统答案确定方法、装置、设备和存储介质。
技术介绍
1、大语言模型(llm)技术是近年来自然语言处理领域的重要突破之一。随着llm的发展，针对领域知识的问答成为了体现llm先进性的特点之一，尤其llm在广义问题(如科学、编程等方面)的回答准确性上具有较高水平，这得益于其使用了海量的公开数据进行训练。
2、基于大语言模型的问答特性，结合其先进的指令遵循能力，目前衍生出了很多基于知识问答系统。然而，llm的缺点也十分显著，主要归纳为三点：1.容易出现幻觉性错误；2.对于未学习过的知识不能够准确的回答所提出的问题；3.llm接收指令的输入长度有限(通常4096～16384个token不等)。因此，目前业界往往会采用：知识库片段+知识片段向量检索的方式，通过给llm足够的上下文提示来解决上述两个问题。其中知识片段向量检索的技术一方面解决了llm输入文字长度有限的问题，另一方面通过丰富知识上下文的形式解决了对于未学习知识的回答准确性。然而，现有技术中，回答准确性方面仍然存在一些问题，主要表现为：1.知识片段的向量检索准确率不高，给llm回答问题带来了噪声使之回答不准确；2.llm自身缺陷导致的在上下文充足的情况下仍然会出现幻觉，从而导致回答不准确。业界常用的优化手段主要也有三种：1.优化片段向量检索模型；2.优化llm；3.预先将领域知识作为pretrain(预训练)、sft(指令微调)阶段的训练数据来训练llm，使之在基础模型上就对领域知识有一定的认知。上述三方面的优
技术实现思路
1、本文中描述的实施例提供了一种知识问答系统答案确定方法、装置、设备和存储介质，解决现有技术存在的问题。
2、第一方面，根据本公开的内容，提供了一种知识问答系统答案确定方法，包括：
3、响应于接收到的目标对象提交的目标问题，获取初始问答数据集和用户反馈数据集，其中，所述初始问答数据集包括多组问答数据，所述初始问答数据集中包括的多组问答数据为与所述目标问题属于同一垂直领域的问答数据，所述问答数据包括问题和答案，所述用户反馈数据集包括各问答数据所对应的用户反馈数据，所述用户反馈数据包括正反馈数据和负反馈数据，所述用户反馈数据为用户对知识问答系统中问题所对应答案给出的反馈；
4、基于所述用户反馈数据，对所述问答数据的答案进行处理，得到目标问答数据集；
5、根据所述目标问题与所述目标问答数据集中问题的匹配结果，确定目标答案。
6、在本公开一些实施例中，所述根据所述目标问题与所述目标问答数据集中问题的匹配结果，确定目标答案之前，还包括：
7、根据所述目标问答数据集，训练初始大语言模型得到目标大语言模型；
8、所述根据所述目标问题与所述目标问答数据集中问题的匹配结果，确定目标答案，包括：
9、当所述目标问答数据集中至少存在一个问题与所述目标问题的匹配值满足预设匹配值时，所述目标问答数据集中与所述目标问题的匹配值满足预设匹配值的问题所对应的答案为所述目标问题的目标答案；
10、当所述目标问答数据集中任意一个问题与所述目标问题的匹配值均不满足预设匹配值时，基于所述目标大语言模型，确定所述目标问题的目标答案。
11、在本公开一些实施例中，所述根据所述目标问题与所述目标问答数据集中问题的匹配结果，确定目标答案，包括：
12、确定所述目标问题的目标问题语义向量和所述目标问答数据集中各问题对应的问题语义向量；
13、将所述目标问题语义向量分别与所述目标问答数据集中各问题对应的问题语义向量进行匹配，选择所述目标问答数据集中与所述目标问题的匹配值满足预设匹配值的问题所对应的答案为所述目标问题的目标答案。
14、在本公开一些实施例中，所述根据所述目标问答数据集，训练初始大语言模型得到目标大语言模型，包括：
15、将提示词模板、与所述问题所对应的语义相关文本片段和所述目标问答数据集中的问题输入至初始大语言模型，根据所述初始大语言模型的输出答案和所述目标问答数据集中问题所对应的答案，调整所述初始大语言模型的参数；
16、在所述初始大语言模型的交叉熵损失值满足预设较差损失值时，得到目标大语言模型。
17、在本公开一些实施例中，所述基于所述目标大语言模型，确定所述目标问题的目标答案，包括：
18、将提示词模板、与所述目标问题所对应的语义相关文本片段和所述目标问题输入至目标大语言模型；
19、基于所述目标大语言模型的输出答案，确定所述目标问题的目标答案，其中，所述目标大语言模型的输出答案即为所述目标问题的目标答案。
20、在本公开一些实施例中，所述基于所述用户反馈数据，对所述问答数据的答案进行处理，得到目标问答数据集包括：
21、将所述初始问答数据集中各问题转化为问题语义向量；
22、根据各问题所对应的问题语义向量的相似度，将所述初始问答数据集中的各问题进行分类得到多个子初始问答数据集；
23、依次对各子初始问答数据集中问题对应的答案进行校正得到子目标问答数据集，所述子目标问答数据集构成所述目标问答数据集。
24、在本公开一些实施例中，所述响应于接收到的目标对象提交的目标问题，获取初始问答数据集和用户反馈数据集，包括：
25、响应于接收到的目标对象提交的目标问题，确定所述目标问题所属的垂直领域；
26、根据所述目标问题所属的垂直领域，从数据库中获取所述垂直领域的问答数据和各问答数据所对应的用户反馈数据，所述垂直领域的问答数据组成初始问答数据集，各问答数据所对应的用户反馈数据组成用户反馈数据集。
27、第二方面，根据本公开的内容，提供了一种知识问答系统答案确定装置，包括：
28、数据集获取模块，用于响应于接收到的目标对象提交的目标问题，获取初始问答数据集和用户反馈数据集，其中，所述初始问答数据集包括多组问答数据，所述初始问答数据集中包括的多组问答数据为与所述目标问题属于同一垂直领域的问答数据，所述问答数据包括问题和答案，所述用户反馈数据集包括各问答数据所对应的用户反馈数据，所述用户反馈数据包括正反馈数据和负反馈数据，所述用户反馈数据为用户对知识问答系统中问题所对应答案给出的反馈；
29、目标问答数据集确定模块，用于基于所述用户反馈数据，对所述问答数据的答案进行处理，得到目标问答数据集；
30、目标答案确定模块，用于根据所述目标问题与所述目标问答数据集中问题的匹配结果，确定目标答案。
31、第三方面，根据本公开的内容，提供了一种计算机设备，包括：
32、一个或多个处理器；
33、存储装置，用于存储一个或多个程序，...
【技术保护点】
1.一种知识问答系统答案确定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标问题与所述目标问答数据集中问题的匹配结果，确定目标答案之前，还包括：
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标问题与所述目标问答数据集中问题的匹配结果，确定目标答案，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述目标问答数据集，训练初始大语言模型得到目标大语言模型，包括：
5.根据权利要求2所述的方法，其特征在于，所述基于所述目标大语言模型，确定所述目标问题的目标答案，包括：
6.根据权利要求1或2所述的方法，其特征在于，所述基于所述用户反馈数据，对所述问答数据的答案进行处理，得到目标问答数据集包括：
7.根据权利要求1所述的方法，其特征在于，所述响应于接收到的目标对象提交的目标问题，获取初始问答数据集和用户反馈数据集，包括：
8.一种知识问答系统答案确定装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括：
10.
...【技术特征摘要】
1.一种知识问答系统答案确定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标问题与所述目标问答数据集中问题的匹配结果，确定目标答案之前，还包括：
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标问题与所述目标问答数据集中问题的匹配结果，确定目标答案，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述目标问答数据集，训练初始大语言模型得到目标大语言模型，包括：
5.根据权利要求2所述的方法，其特征在于，所述基于所述目标大语言模型，确定所述目标问...
【专利技术属性】
技术研发人员：裴子龙，张瀚文，范凌，
申请(专利权)人：特赞上海信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。