System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于问答模型生成答案的方法、装置、电子设备及存储介质制造方法及图纸_技高网

基于问答模型生成答案的方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40580236 阅读:5 留言:0更新日期:2024-03-06 17:23
本发明专利技术涉及人工智能数据处理领域,揭露一种基于问答模型生成答案的方法,包括:在初始问答模型的神经网络层中设置旁路矩阵,冻结神经网络层的第一权重参数,得到候选问答模型,利用正面语料模板和反面语料模板微调候选问答模型的损失函数值,若微调后的损失函数值小于预设第一阈值,则获取旁路矩阵的第二权重参数;将第一权重参数与第二权重参数进行拼接,得到融合权重参数,利用融合权重参数替换第一权重参数,以对候选问答模型进行优化,得到目标问答模型;接收用户发送的对目标问答模型进行咨询的第一问题文本,得到目标答案文并反馈至用户。本发明专利技术可以应用于金融领域的应用场景,能够提高回答模型生成答案的质量,确保将正面内容反馈给用户。

【技术实现步骤摘要】

本专利技术涉及人工智能数据处理领域,尤其涉及一种基于问答模型生成答案的方法、装置、电子设备及存储介质


技术介绍

1、在金融科技领域,回答模型(大型语言模型llm)经过数十亿语料的深度训练后,在自然语言理解和推理方面取得了显著突破,广泛地应用在日常生活中。

2、尽管回答模型取得了重要进展,仍然存在以下方面需要进一步改进的空间:

3、由于回答模型在预训练阶段,使用了大量的互联网文本数据,这些数据涵盖了各种来源(例如社交媒体、新闻、论坛等),这些数据的多样性也会导致回答模型捕捉到争议性观点、虚构故事以及具有负面影响言论等负面内容。

4、回答模型学习过程中吸收了这些负面内容的特征,对用户的回复中有时会带有负面内容的情况,影响了用户与回答模型的互动和交流。

5、因此,如何高效地对回答模型生成的答案进行质检,防止将虚构或者具有负面影响的内容反馈给用户,是一个亟待解决的问题。


技术实现思路

1、鉴于以上内容,有必要提供一种基于问答模型生成答案的方法,其目的在于提高回答模型生成答案的质量,确保将正面内容反馈给用户。。

2、本专利技术提供的基于问答模型生成答案的方法,包括:

3、获取预设数量的问题-答案对,将每条问题-答案对填充至预设提示模板,得到多个第一引导模板,对每个第一引导模板进行标注类型标签,得到多个正面语料模板和反面语料模板;

4、在初始问答模型的神经网络层中设置旁路矩阵,并冻结所述神经网络层的第一权重参数,得到候选问答模型,利用所述多个正面语料模板和所述多个反面语料模板微调所述候选问答模型的损失函数值,若微调后的损失函数值小于预设第一阈值,则获取所述旁路矩阵的第二权重参数;

5、释放所述神经网络层的第一权重参数,将所述第一权重参数与所述第二权重参数进行拼接,得到融合权重参数,利用所述融合权重参数替换所述第一权重参数,以对所述候选问答模型进行优化,得到目标问答模型;

6、接收用户发送的对所述目标问答模型进行咨询的第一问题文本,将所述问题文本填充至所述提示模板,得到第二引导模板,利用所述目标问答模型分析所述第二引导模板的文本意图,得到所述第一问题文本的目标答案文本,及得到对所述目标答案文本所属类型的评分值,若所述评分值大于预设第二阈值,则将所述目标答案文本反馈至所述用户。

7、可选的,所述提示模板包括多个预设的填充区域,所述将每条问题-答案对填充至预设提示模板,得到多个第一引导模板,包括:

8、将所述问题-答案对中的问题文本填充至所述提示模板的第一填充区域;

9、将所述问题-答案对中的答案文本填充至所述提示模板的第二填充区域,得到所述第一引导模板。

10、可选的,所述利用所述多个正面语料模板和所述多个反面语料模板微调所述候选问答模型的损失函数值,包括:

11、将所述正面语料模板和所述反面语料模板输入所述候选问答模型中,利用所述旁路矩阵学习所述正面语料模板和所述反面语料模板的参数特征;

12、根据所述参数特征微调所述候选问答模型的损失函数值。

13、可选的,所述将所述第一权重参数与所述第二权重参数进行拼接,得到融合权重参数,包括:

14、读取所述第二权重参数的维度,将所述第二权重参数的维度调整至所述第一权重参数的维度相同;

15、将调整维度后的第二权重参数与所述第一权重参数进行拼接,得到所述得到融合权重参数。

16、可选的,所述利用所述融合权重参数替换所述第一权重参数,以对所述候选问答模型进行优化,得到目标问答模型,包括:

17、在利用所述融合权重参数替换所述第一权重参数后,对所述融合权重参数进行初始化操作,以使所述候选问答模更新为所述目标问答模型。

18、可选的,所述利用所述目标问答模型分析所述第二引导模板的文本意图,得到所述第一问题文本的目标答案文本,包括:

19、利用所述目标问答模型识别所述第二引导模板的文本意图,得到所述第一问题文本的意图标签;

20、从所述问答模型的答案库中匹配出与所述第一问题文本的意图标签相对应的答案文本作为所述目标答案文本。

21、可选的,所述得到对所述目标答案文本所属类型的评分值,包括:

22、利用所述目标问答模型的分类模块对所述第一问题文本的意图类型分布概率进行计算,将计算得到意图类型分布概率转换为数值,得到所述目标答案文本所属类型的评分值。

23、为了解决上述问题,本专利技术还提供一种基于问答模型生成答案的装置,所述装置包括:

24、标注模块,用于获取预设数量的问题-答案对,将每条问题-答案对填充至预设提示模板,得到多个第一引导模板,对每个第一引导模板进行标注类型标签,得到多个正面语料模板和反面语料模板;

25、微调模块,用于在初始问答模型的神经网络层中设置旁路矩阵,并冻结所述神经网络层的第一权重参数,得到候选问答模型,利用所述多个正面语料模板和所述多个反面语料模板微调所述候选问答模型的损失函数值,若微调后的损失函数值小于预设第一阈值,则获取所述旁路矩阵的第二权重参数;

26、优化模块,用于释放所述神经网络层的第一权重参数,将所述第一权重参数与所述第二权重参数进行拼接,得到融合权重参数,利用所述融合权重参数替换所述第一权重参数,以对所述候选问答模型进行优化,得到目标问答模型;

27、反馈模块,用于接收用户发送的对所述目标问答模型进行咨询的第一问题文本,将所述问题文本填充至所述提示模板,得到第二引导模板,利用所述目标问答模型分析所述第二引导模板的文本意图,得到所述第一问题文本的目标答案文本,及得到对所述目标答案文本所属类型的评分值,若所述评分值大于预设第二阈值,则将所述目标答案文本反馈至所述用户。

28、为了解决上述问题,本专利技术还提供一种电子设备,所述电子设备包括:

29、至少一个处理器;以及,

30、与所述至少一个处理器通信连接的存储器;其中,

31、所述存储器存储有可被所述至少一个处理器执行的基于问答模型生成答案的程序,所述基于问答模型生成答案的程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述基于问答模型生成答案的方法。

32、为了解决上述问题,本专利技术还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有基于问答模型生成答案的程序,所述基于问答模型生成答案的程序可被一个或者多个处理器执行,以实现上述基于问答模型生成答案的方法。

33、相较现有技术,本专利技术获取预设数量的问题-答案对,将每条问题-答案对填充至预设提示模板,得到多个第一引导模板,对每个第一引导模板进行标注类型标签,得到多个正面语料模板和反面语料模板;在初始问答模型的神经网络层中设置旁路矩阵,并冻结所述神经网络层的第一权重参数,得到候选问答模型,利用所述多个正面语料模板和所述多个反面语料模本文档来自技高网...

【技术保护点】

1.一种基于问答模型生成答案的方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于问答模型生成答案的方法,其特征在于,所述提示模板包括多个预设的填充区域,所述将每条问题-答案对填充至预设提示模板,得到多个第一引导模板,包括:

3.如权利要求1所述的基于问答模型生成答案的方法,其特征在于,所述利用所述多个正面语料模板和所述多个反面语料模板微调所述候选问答模型的损失函数值,包括:

4.如权利要求1所述的基于问答模型生成答案的方法,其特征在于,所述将所述第一权重参数与所述第二权重参数进行拼接,得到融合权重参数,包括:

5.如权利要求1所述的基于问答模型生成答案的方法,其特征在于,所述利用所述融合权重参数替换所述第一权重参数,以对所述候选问答模型进行优化,得到目标问答模型,包括:

6.如权利要求1所述的基于问答模型生成答案的方法,其特征在于,所述利用所述目标问答模型分析所述第二引导模板的文本意图,得到所述第一问题文本的目标答案文本,包括:

7.如权利要求1所述的基于问答模型生成答案的方法,其特征在于,所述得到对所述目标答案文本所属类型的评分值,包括:

8.一种基于问答模型生成答案的装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有基于问答模型生成答案的程序,所述基于问答模型生成答案的程序可被一个或者多个处理器执行,以实现如权利要求1至7任一项所述的基于问答模型生成答案的方法。

...

【技术特征摘要】

1.一种基于问答模型生成答案的方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于问答模型生成答案的方法,其特征在于,所述提示模板包括多个预设的填充区域,所述将每条问题-答案对填充至预设提示模板,得到多个第一引导模板,包括:

3.如权利要求1所述的基于问答模型生成答案的方法,其特征在于,所述利用所述多个正面语料模板和所述多个反面语料模板微调所述候选问答模型的损失函数值,包括:

4.如权利要求1所述的基于问答模型生成答案的方法,其特征在于,所述将所述第一权重参数与所述第二权重参数进行拼接,得到融合权重参数,包括:

5.如权利要求1所述的基于问答模型生成答案的方法,其特征在于,所述利用所述融合权重参数替换所述第一权重参数,以对所述候选问答模型进...

【专利技术属性】
技术研发人员:潘劲松
申请(专利权)人:中国平安财产保险股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1