【技术实现步骤摘要】
问答对生成方法及装置
本申请涉及信息处理
,具体而言,涉及一种问答对生成方法及装置。
技术介绍
随着问答技术广泛应用于智能客服,智能机器人以及智能音箱等多个领域,如何构建问答体系成为了一个热门问题,在信息爆炸的时代,每天新增的信息量无可估计,每天新增的文档文件不可计数,这些里面都含有海量的问答对的数据。而相关技术中构建问答对的方式大多需要人工参与,覆盖面窄。人工分析处理大量的文档,耗时耗力,所需代价较大,质量较差。
技术实现思路
本申请的实施例提供了一种问答对生成方法及装置,进而至少在一定程度上能够从文本中提取问答对,实现问答对的自动生成,且生成问答对的准确度高。本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。根据本申请实施例的一个方面,提供了一种问答对生成方法,包括:识别待处理文本中包含的多个实体词;将各个实体词分别作为答案,并与所述待处理文本输入问题生成模型,得到所述问题生成模型输出的所述各个实体词对应的问题语句;将各个问题语句分别与所 ...
【技术保护点】
1.一种问答对生成方法,其特征在于,所述方法包括:/n识别待处理文本中包含的多个实体词;/n将各个实体词分别作为答案,并与所述待处理文本输入问题生成模型,得到所述问题生成模型输出的所述各个实体词对应的问题语句;/n将各个问题语句分别与所述待处理文本输入阅读理解模型,得到所述阅读理解模型输出的所述各个问题语句对应的答案语句;/n根据所述各个问题语句对应的答案语句以及所述各个问题语句对应的实体词,生成问答对。/n
【技术特征摘要】
1.一种问答对生成方法,其特征在于,所述方法包括:
识别待处理文本中包含的多个实体词;
将各个实体词分别作为答案,并与所述待处理文本输入问题生成模型,得到所述问题生成模型输出的所述各个实体词对应的问题语句;
将各个问题语句分别与所述待处理文本输入阅读理解模型,得到所述阅读理解模型输出的所述各个问题语句对应的答案语句;
根据所述各个问题语句对应的答案语句以及所述各个问题语句对应的实体词,生成问答对。
2.根据权利要求1所述的方法,其特征在于,根据所述各个问题语句对应的答案语句以及所述各个问题语句对应的实体词,生成问答对,包括:
如果所述多个实体词对应的问题语句中存在第一问题语句,所述第一问题语句对应的实体词为所述第一问题语句对应的答案语句的子集,则根据所述第一问题语句和所述第一问题语句对应的答案语句,生成问答对;
如果所述多个实体词对应的问题语句中存在第二问题语句,所述第二问题语句对应的答案语句为所述第二问题语句对应的实体词的子集,则根据所述第二问题语句和所述第二问题语句对应的实体词,生成问答对。
3.根据权利要求1所述的方法,其特征在于,将各个实体词分别作为答案,并与所述待处理文本输入问题生成模型,包括:
将所述各个实体词作为答案,与所述待处理文本中包含所述各个实体词的子文本输入所述问题生成模型,所述子文本包含的字符长度不超过预设长度。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
根据所述各个实体词在所述待处理文本中的位置,将所述待处理文本分成包含所述各个实体词的子文本。
5.根据权利要求1所述的方法,其特征在于,所述问题生成模型是通过如下方式训练得到的:
获取第一训练样本集,所述第一训练样本集中每个训练样本包括文本样本和标注问题,所述文本样本中包含答案样本,所述标注问题为所述答案样本对应的问题;
通过所述问题生成模型中的编码器对所述答案样本进行编码,得到所述答案样本的编码表示,并通过所述问题生成模型中的解码器对所述答案样本的编码表示进行解码,得到所述答案样本对应的预测问题;
确定所述预测问题和所述标注问题之间的损失,并根据所述损失对所述问题生成模型的参数进行调整。
6.根据权利要求1所述的方法,其特征在于,所述阅读理解模型是通过如下方式训练得到的:
获取第二训练样本集,所述第二训练样本集中每个训练样本包括问题样本、文本样本和标注位置,所述文本样本中包含所述问题样本对应的答案样本,所述标注位置为所述答案样本在所述文本样本中的位置;
通过所述阅读理解模型对所述问题样本与所述文本样本进行编码,得到样本的向量序列,并预测所述答案样本在所述样本的向量序列中的位置...
【专利技术属性】
技术研发人员:周辉阳,闫昭,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。