【技术实现步骤摘要】
本专利技术涉及计算机，特别是涉及一种基于多阶段训练的智能问答方法。
技术介绍
1、faq(frequently asked questions,频繁问答)问答系统，主要模块包括三部分，1)频繁问答对数据库，是业务场景中用户最常问、或者最有可能问的问题，对于这类问题，我们需要提前编制答案，构成问答对。2)召回模块，利用速度较快，召回率较高的模型召回topk个与query最为相似的问句。3)精排模块，基于精确率较高的模型对召回的query进行排序，获取得分较高的问答对。最后返回给用户得分较高的答案。
2、随着问答系统的不断发展，faq问答系统中召回模块分为以下两个阶段，1)基于term(字)的相似匹配，采用bm25或者tf-idf等统计学的方法对问题进行编码，考虑term级别的相似，并没有考虑到语义上相似。2)基于深度表征的相似匹配，当大规模预训练模型的出现后，将预训练模型引入召回模块中，利用深度语义表征进行相似匹配。该方法从更深层次的语义级别考虑相似。
3、面对faq召回任务时，现有的技术方案是利用大规模预训练模型，对用户问题与标准问题分别编码，获取问题和标准问题的表征，通过表征内积得到分数，获取到前k个标准问题。如：输入“徐汇区在上海的哪里？”，因此，需要对问题与预先定好的标准问题进行相似度打分，但用户问题可能存在问法相似但不同意的问句，当前召回模型可能会召回不是理想的标准问题，如上面的问句，可能会召回“黄浦区在上海的哪里？”的问题，导致召回效果不理想。
4、此外，目前基于faq问答系统存在以
技术实现思路
1、鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于多阶段训练的智能问答方法，用于解决现有技术中的问题。
2、为实现上述目的及其他相关目的，本专利技术提供一种基于多阶段训练的智能问答方法，所述方法包括以下步骤：
3、构建标准问答对，并基于业务场景确定所述标准问答对的应用范围；
4、召回预先或实时生成的训练数据进行标注，并利用预训练模型字向量提取工具对所述标准问答对进行扩充问答，并将所述扩充问答后的问答对作为初始训练标注语料；
5、基于所述初始训练标注语料训练生成召回模型；
6、利用所述召回模型对目标对象预先或实时输入的问句进行回答。
7、可选地，构建标准问答对，并基于业务场景确定所述标准问答对的应用范围的过程包括：
8、利用公开数据集构建基础标准问答对；
9、基于具体业务场景，并利用业务场景中的半结构化数据和非结构化数据确定所述标准问答对的应用范围。
10、可选地，基于所述初始训练标注语料训练生成召回模型的过程包括：
11、将所述初始训练标注语料输入至第一召回模型中，并利用对比学习损失拉近正样本表征、推远负样本表征；以及，引入批内负样本策略进行训练，得到第二召回模型；
12、基于所述第二召回模型对所述初始训练标注语料进行召回，并对召回结果进行排序，挑选出排序靠前的前m个样本中不是正样本的数据，并对挑选出的数据按照预设正负比例生成第一训练语料；
13、基于所述第一训练语料训练生成最终的召回模型。
14、可选地，基于所述第一训练语料训练生成最终的召回模型的过程包括：
15、将所述第一训练语料输入至所述第二召回模型中进行迭代训练，得到第三召回模型；
16、利用所述第三召回模型对所述初始训练标注语料进行召回，并对召回结果进行排序，丢弃超过阈值k的负样本数据；以及，将剩余样本数据按照所述预设正负比例生成第二训练语料；
17、将所述第二训练语料输入至所述第三召回模型中进行迭代训练，并对编码器参数进行冻结，以及对线性层进行参数更新，得到第四召回模型，并将所述第四召回模型最为最终的召回模型。
18、可选地，所述预设正负比例为：1比30。
19、可选地，所述阈值k为0.9。
20、本申请还提供一种基于多阶段训练的智能问答系统，所述系统包括有：
21、问答对模块，用于构建标准问答对，并基于业务场景确定所述标准问答对的应用范围；
22、训练语料模块，用于召回预先或实时生成的训练数据进行标注，并利用预训练模型字向量提取工具对所述标准问答对进行扩充问答，并将所述扩充问答后的问答对作为初始训练标注语料；
23、模型训练模块，用于根据所述初始训练标注语料训练生成召回模型；
24、问答实施模块，用于利用所述召回模型对目标对象预先或实时输入的问句进行回答。
25、可选地，构建标准问答对，并基于业务场景确定所述标准问答对的应用范围的过程包括：
26、利用公开数据集构建基础标准问答对；
27、基于具体业务场景，并利用业务场景中的半结构化数据和非结构化数据确定所述标准问答对的应用范围。
28、可选地，基于所述初始训练标注语料训练生成召回模型的过程包括：
29、将所述初始训练标注语料输入至第一召回模型中，并利用对比学习损失拉近正样本表征、推远负样本表征；以及，引入批内负样本策略进行训练，得到第二召回模型；
30、基于所述第二召回模型对所述初始训练标注语料进行召回，并对召回结果进行排序，挑选出排序靠前的前m个样本中不是正样本的数据，并对挑选出的数据按照预设正负比例生成第一训练语料；
31、基于所述第一训练语料训练生成最终的召回模型。
32、可选地，基于所述第一训练语料训练生成最终的召回模型的过程包括：
33、将所述第一训练语料输入至所述第二召回模型中进行迭代训练，得到第三召回模型；
34、利用所述第三召回模型对所述初始训练标注语料进行召回，并对召回结果进行排序，丢弃超过阈值k的负样本数据；以及，将剩余样本数据按照所述预设正负比例生成第二训练语料；
35、将所述第二训练语料输入至所述第三召回模型中进行迭代训练，并对编码器参数进行冻结，以及对线性层进行参数更新，得到第四召回模型，并将所述第四召回模型最为最终的召回模型。
36、如上所述，本专利技术提供一种基于多阶段训练的智能问答方法及系统，具有以下有益效果：
37、本申请通过构建标准问答对，并基于业务场景确定所述标准问答对的应用范围；然后召回预先或实时生成的训练数据进行标注，并利用预训练模型字向量提取工具对所述标准问答对进行扩充问答，并将所述扩充问答后的问答对作为初始训练标注语料；再基于所述初始训练标注语料训练生成召回模型；最后利用所述召回模型对目标对象预先或实时输入的问句进行回答。由此可知，本申请在面对训练数据有限和简单负样本会导致问答对召本文档来自技高网...
【技术保护点】
1.一种基于多阶段训练的智能问答方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于多阶段训练的智能问答方法，其特征在于，构建标准问答对，并基于业务场景确定所述标准问答对的应用范围的过程包括：
3.根据权利要求1或2所述的基于多阶段训练的智能问答方法，其特征在于，基于所述初始训练标注语料训练生成召回模型的过程包括：
4.根据权利要求3所述的基于多阶段训练的智能问答方法，其特征在于，基于所述第一训练语料训练生成最终的召回模型的过程包括：
5.根据权利要求3所述的基于多阶段训练的智能问答方法，其特征在于，所述预设正负比例为：1比30。
6.根据权利要求4所述的基于多阶段训练的智能问答方法，其特征在于，所述阈值K为0.9。
7.一种基于多阶段训练的智能问答系统，其特征在于，所述系统包括有：
8.根据权利要求7所述的基于多阶段训练的智能问答系统，其特征在于，构建标准问答对，并基于业务场景确定所述标准问答对的应用范围的过程包括：
9.根据权利要求7或8所述的基于多阶段训练的智能
10.根据权利要求9所述的基于多阶段训练的智能问答系统，其特征在于，基于所述第一训练语料训练生成最终的召回模型的过程包括：
...【技术特征摘要】
1.一种基于多阶段训练的智能问答方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于多阶段训练的智能问答方法，其特征在于，构建标准问答对，并基于业务场景确定所述标准问答对的应用范围的过程包括：
3.根据权利要求1或2所述的基于多阶段训练的智能问答方法，其特征在于，基于所述初始训练标注语料训练生成召回模型的过程包括：
4.根据权利要求3所述的基于多阶段训练的智能问答方法，其特征在于，基于所述第一训练语料训练生成最终的召回模型的过程包括：
5.根据权利要求3所述的基于多阶段训练的智能问答方法，其特征在于，所述预设正负比例为：1比30。...
【专利技术属性】
技术研发人员：武宝杰，汪璐，王雪，玄东，钱心臻，赵璇，
申请(专利权)人：上海欧冶金诚信息服务股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。