System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 问答模型检索优化方法、装置、计算机设备及存储介质制造方法及图纸_技高网

问答模型检索优化方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:41217168 阅读:3 留言:0更新日期:2024-05-09 23:38
本发明专利技术实施例公开了问答模型检索优化方法、装置、计算机设备及存储介质。所述方法包括:确定大语言模型;构建行业基础语料库;对所述行业基础语料库进行数据调整,以得到微调训练数据集;利用所述微调训练数据集对所述大语言模型进行微调,以得到优化后的模型;利用优化后的模型更换已有的问答模型中的关键词提取结构,以优化问答模型。通过实施本发明专利技术实施例的方法可实现对问答模型的优化,以提升问答模型的检索效果,提高关键词提取的准确性和效率,减少传统行业检索引擎维护庞大语料库的成本。

【技术实现步骤摘要】

本专利技术涉及问答检索方法,更具体地说是指问答模型检索优化方法、装置、计算机设备及存储介质


技术介绍

1、在电力行业领域中,一般设有问答机器人进行电力行业的行业知识的检索等,目前的问答模型的检索技术,如短语匹配、语义分析等技术,均以关键词的匹配特征、统计特征等为基础,通过关键词对用户的查询意图进行理解,提供符合需求的搜索结果。为保证检索效果,构建和维护了庞大的语料库,通过关键词技术进行意图理解与检索,这对于行业检索引擎即问答模型的开发和维护来说是一项昂贵且耗时的工作。而且,关键词技术本身在提取关键信息方面的准确度和效率也有限,简单的统计特征难以实现语言的精准理解。

2、近年来,问答模型从统计语言模型发展到神经语言模型,通过在大规模语料库上预训练transformer模型构建的大语言模型,在解决各种自然语言处理任务方面显示出了强大的能力,尤其是在语义理解、文本生成等方面,因此,使用大语言模型进行搜索引擎的改造变成了当前下的热点研究方向。综上所述,现有的问答模型直接使用大语言模型作为检索中枢,直接对用户的提问进行理解和回答,这种方式需要海量的数据、大量的算力供大语言模型进行微调学习,且需要对原有的业务流程和交互进行重新设计,改造难度较高成本巨大,另外,可能由于行业知识学习不充分等问题,产生模型幻想现象,给出虚假的回答,检索结果的可用性难以把控。

3、因此,有必要设计一种新的方法,实现对问答模型的优化,以提升问答模型的检索效果,提高关键词提取的准确性和效率,减少传统行业检索引擎维护庞大语料库的成本。

<br/>

技术实现思路

1、本专利技术的目的在于克服现有技术的缺陷,提供问答模型检索优化方法、装置、计算机设备及存储介质。

2、为实现上述目的,本专利技术采用以下技术方案:问答模型检索优化方法,包括:

3、确定大语言模型;

4、构建行业基础语料库;

5、对所述行业基础语料库进行数据调整,以得到微调训练数据集;

6、利用所述微调训练数据集对所述大语言模型进行微调,以得到优化后的模型;

7、利用优化后的模型更换已有的问答模型中的关键词提取结构,以优化问答模型。

8、其进一步技术方案为:所述确定大语言模型,包括:

9、根据行业适配性、模型性能、训练资源、训练成本、数据隐私、数据安全以及模型可扩展性确定大语言模型。

10、其进一步技术方案为:所述构建行业基础语料库,包括:

11、获取专家语料示例;

12、对所述专家语料示例进行任务模板与示例样本的构建,以形成第一构建结果;

13、获取已有语料数据;

14、对所述已有语料数据进行预处理,以形成第二构建结果;

15、组合所述第一构建结果以及第二构建结果,形成行业基础语料库。

16、其进一步技术方案为:所述对所述行业基础语料库进行数据调整,以得到微调训练数据集,包括:

17、利用所述大语言模型对所述行业基础数据库生成语料,以得到第一生成结果;

18、对所述行业基础数据库中的第二构建结果生成语料,以得到第二生成结果;

19、对所述第一生成结果以及第二生成结果进行数据扩充,以得到扩充结果;

20、对所述扩充结果进行汇总和去重,以得到微调训练数据集。

21、其进一步技术方案为:所述利用所述大语言模型对所述行业基础数据库生成语料,以得到第一生成结果,包括:

22、以所述行业基础数据库作为输入,根据设定的任务采用大语言模型生成指令;

23、对所述指令进行判断,以得到判断结果;

24、根据所述判断结果输出不同的数据;

25、对不同的数据进行过滤和后处理,并将处理后的结果形成第一生成结果。

26、其进一步技术方案为:所述对所述行业基础数据库中的第二构建结果生成语料,以得到第二生成结果,包括:

27、将所述行业基础数据库中的第二构建结果输入三元组信息中,并在知识库中获取实体的主题、领域、范围信息分别作为三元组的上下文信息,对上下文信息进行综合编码,以得到编码结果;

28、对所述编码结果进行问题生成,以得到第二生成结果。

29、其进一步技术方案为:所述利用所述微调训练数据集对所述大语言模型进行微调,以得到优化后的模型,包括:

30、通过lora或p-tuning利用所述微调训练数据集对所述大语言模型进行微调,以得到优化后的模型。

31、本专利技术还提供了问答模型检索优化装置,包括:

32、模型确定单元,用于确定大语言模型;

33、第一构建单元,用于构建行业基础语料库;

34、数据微调单元,用于对所述行业基础语料库进行数据调整,以得到微调训练数据集;

35、模型微调单元,用于利用所述微调训练数据集对所述大语言模型进行微调,以得到优化后的模型;

36、更换单元,用于利用优化后的模型更换已有的问答模型中的关键词提取结构,以优化问答模型。

37、本专利技术还提供了一种计算机设备,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法。

38、本专利技术还提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。

39、本专利技术与现有技术相比的有益效果是:本专利技术通过确定大语言模型,再采用专家语料以及已有的语料搭建行业基础语料库,在进行数据调整,形成微调后的训练数据集,扩展了训练数据集,对大语言模型进行微调,将其形成优化后的模型,并更换已有的问答模型中的关键词提取结构,实现对问答模型的优化,以提升问答模型的检索效果,提高关键词提取的准确性和效率,减少传统行业检索引擎维护庞大语料库的成本。

40、下面结合附图和具体实施例对本专利技术作进一步描述。

本文档来自技高网
...

【技术保护点】

1.问答模型检索优化方法,其特征在于,包括:

2.根据权利要求1所述的问答模型检索优化方法,其特征在于,所述确定大语言模型,包括:

3.根据权利要求1所述的问答模型检索优化方法,其特征在于,所述构建行业基础语料库,包括:

4.根据权利要求所1述的问答模型检索优化方法,其特征在于,所述对所述行业基础语料库进行数据调整,以得到微调训练数据集,包括:

5.根据权利要求4所述的问答模型检索优化方法,其特征在于,所述利用所述大语言模型对所述行业基础数据库生成语料,以得到第一生成结果,包括:

6.根据权利要求4所述的问答模型检索优化方法,其特征在于,所述对所述行业基础数据库中的第二构建结果生成语料,以得到第二生成结果,包括:

7.根据权利要求1所述的问答模型检索优化方法,其特征在于,所述利用所述微调训练数据集对所述大语言模型进行微调,以得到优化后的模型,包括:

8.问答模型检索优化装置,其特征在于,包括:

9.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

...

【技术特征摘要】

1.问答模型检索优化方法,其特征在于,包括:

2.根据权利要求1所述的问答模型检索优化方法,其特征在于,所述确定大语言模型,包括:

3.根据权利要求1所述的问答模型检索优化方法,其特征在于,所述构建行业基础语料库,包括:

4.根据权利要求所1述的问答模型检索优化方法,其特征在于,所述对所述行业基础语料库进行数据调整,以得到微调训练数据集,包括:

5.根据权利要求4所述的问答模型检索优化方法,其特征在于,所述利用所述大语言模型对所述行业基础数据库生成语料,以得到第一生成结果,包括:

6.根据权利要求4所述的问答模型检索优化方法,其特征在于,所...

【专利技术属性】
技术研发人员:周颖婕豆泽阳庞磊蒋阳
申请(专利权)人:传申弘安智能深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1