【技术实现步骤摘要】
本专利技术涉及人工智能，具体提供一种问答系统的训练方法、问答方法及控制装置。
技术介绍
1、现有技术中的文本处理模型的训练需要大量高质量的训练文档。如果这些文档的质量不高，那么训练出的模型可能无法处理一些特定的问题。
2、然而，高质量的训练文档的成本也相对高昂。伴随着对于训练文档的数量以及质量的要求，其中人工标注的时间和成本也越来越高，最后导致文本处理模型的训练成本居高不下。
3、相应地，本领域需要一种新的模型训练方案来解决上述问题。
技术实现思路
1、为了克服上述缺陷，提出了本专利技术，以提供解决或至少部分地解决现有技术中的文本处理模型训练成本高昂的问题。
2、在第一方面，本专利技术提供一种问答系统的训练方法，所述方法包括：将训练文档进行拆分得到文档片段，其中所述训练文档为无标注文本；将所述文档片段和提示词进行拼凑得到拼凑结果，其中所述提示词与所述文档片段的内容相适应；将所述拼凑结果输入大语言模型得到问答对；基于所述问答对对所述问答系统进行训练。
3、作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，所述基于所述问答对对所述问答系统进行训练，包括：基于所述问答对对所述问答系统的文本转向量模型进行训练。
4、作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，所述基于所述问答对对所述问答系统的文本转向量模型进行训练，包括：将所述问答对输入所述文本转向量模型进行迭代训练，其中每次迭代中将所有问答对分为n个批
5、作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，所述将所述问答对输入所述文本转向量模型进行迭代训练，包括：对于每次迭代，基于预设的损失函数进行反向传播优化所述文本转向量模型的参数。。
6、作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，所述在迭代过程中监测当前迭代完成后是否满足预设条件，包括：监测当前次迭代完成后的召回率是否大于第一预设阈值；若所述召回率大于第一预设阈值，则判断满足预设条件。。
7、作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，所述若满足预设条件，筛选出困难样本，包括：自所述当前次迭代的下一次迭代起至预设迭代停止条件被满足为止，对于每次迭代中每批次的k个问答对，使用对比学习方式进行训练，筛选出损失大于第二预设阈值的问答对作为困难样本。。
8、作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，所述文本转向量模型采用sentencetransformer框架。
9、作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，所述调用所述大语言模型作为强化学习的智能体，对所述难样本进行回答，包括：响应于所述预设条件被满足，启动强化学习模型；调用所述大语言模型作为所述强化学习模型的智能体，对每一个问答对中的问题进行回答，得到预测回答。
10、作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，所述对回答准确的难样本作为正例样本返回所述文本转向量模型继续训练，包括：判断所述问答对中的回答与所述预测回答的差距是否小于第三预设阈值；若小于第三预设阈值，则将对应的问答对中的回答替换为所述预测回答从而构成替换问答对作为正例样本返回所述文本转向量模型继续训练。
11、作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，所述问答系统还包括所述大语言模型，所述大语言模型还用于答案定位；所述训练方法还包括：独立于所述文本转向量模型的训练，对所述大语言模型进行单独训练。
12、在第二方面，本专利技术提供一种问答方法，所述方法包括：获取用户提问；将用户提问输入训练好的问答系统，以输出对应的回答，其中所述训练好的问答系统是基于第一方面中任意一项所述的问答系统的训练方法得到的。
13、作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，所述问答系统为基于文档的检索式问答系统或基于大语言模型的问答系统。
14、在第三方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条计算机程序，所述计算机程序适于由所述处理器加载并运行以执行上述问答方法的技术方案中任一项技术方案所述的问答方法或问答系统的训练方法的技术方案中任一项技术方案所述的问答系统的训练方法。
15、在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条计算机程序，所述计算机程序适于由处理器加载并运行以执行上述问答方法的技术方案中任一项技术方案所述的问答方法或问答系统的训练方法的技术方案中任一项技术方案所述的问答系统的训练方法。
16、本专利技术上述一个或多个技术方案，至少具有如下一种或多种
17、有益效果：
18、在实施本专利技术的技术方案中，通过将训练文档拆分为文档片段，并基于这些片段和大语言模型生成作为训练样本的问答对，通过利用问答对进行训练，本技术可以大幅减少人工标注的需求，从而降低训练成本。在本专利技术中通过获取特定领域的训练文档也可以使问答系统在特定领域具有更好的效果。
本文档来自技高网...【技术保护点】
1.一种问答系统的训练方法，其特征在于，包括：
2.根据权利要求1所述的训练方法，其特征在于，所述基于所述问答对对所述问答系统进行训练，包括：
3.根据权利要求2所述的训练方法，其特征在于，所述基于所述问答对对所述问答系统的文本转向量模型进行训练，包括：
4.根据权利要求3所述的训练方法，其特征在于，所述将所述问答对输入所述文本转向量模型进行迭代训练，包括：
5.根据权利要求4所述的训练方法，其特征在于，
6.根据权利要求3所述的训练方法，其特征在于，所述调用所述大语言模型作为强化学习的智能体，对所述难样本进行回答，包括：
7.一种问答方法，其特征在于，包括：
8.根据权利要求7所述的问答方法，其特征在于，所述问答系统为基于文档的检索式问答系统或基于大语言模型的问答系统。
9.一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条计算机程序，其特征在于，所述计算机程序适于由所述处理器加载并运行以执行权利要求1至6中任一项所述的训练方法或权利要求7或8所述的问答方法。
...
【技术特征摘要】
1.一种问答系统的训练方法，其特征在于，包括：
2.根据权利要求1所述的训练方法，其特征在于，所述基于所述问答对对所述问答系统进行训练，包括：
3.根据权利要求2所述的训练方法，其特征在于，所述基于所述问答对对所述问答系统的文本转向量模型进行训练，包括：
4.根据权利要求3所述的训练方法，其特征在于，所述将所述问答对输入所述文本转向量模型进行迭代训练，包括：
5.根据权利要求4所述的训练方法，其特征在于，
6.根据权利要求3所述的训练方法，其特征在于，所述调用所述大语言模型作为强化学习的智能体，对所述难样本进行回答，包括...
【专利技术属性】
技术研发人员：杨万征，郜海礁，
申请(专利权)人：北京天阙科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。