一种基于问题类型识别的问答对联合生成模型制造技术

技术编号:35418070 阅读:19 留言:0更新日期:2022-11-03 11:17
本发明专利技术公开了一种基于问题类型识别的问答对联合生成模型,包括使用关键词抽取技术从文本中抽取关键词并将其转化为对应的商品属性类型,来辅助模型获取更多的知识生成问题和答案;将原始的流水线模型改进成将问题生成模块和答案抽取模块联合训练的模型;在答案抽取模块采用联合式抽取,将答案的起始位置和结束位置联系起来,更准确地定位起始位置。本发明专利技术采用了联合的方式,将问题生成和答案抽取联合训练,并且在数据预处理时,通过已有的训练好的序列标注模型获取输入文本的关键词信息,并将其转化为对应的商品属性类别,来辅助模型获取更多的知识生成问题和抽取答案。取更多的知识生成问题和抽取答案。取更多的知识生成问题和抽取答案。

【技术实现步骤摘要】
一种基于问题类型识别的问答对联合生成模型


[0001]本专利技术属于问题类型识别
,更具体的说是涉及一种基于问题类型识别的问答对联合生成模型。

技术介绍

[0002]基于阅读理解模式的问答严重依赖人力去标注问答对,这样大大的加大了时间和人力成本。给定一段文本,自动生成问答对可以大大减少在人力和时间上的消耗。目前在电商领域,每天都有成百上千的新商品出现,很容易获取到每件商品的解说词,即一段描述商品信息的文本,根据这段文本自动生成对应的问答对是急需要解决的问题。
[0003]传统方法中,通过文本生成问题,会出现生成的问题涉及文本的内容但是和实际关注的问题不一致的情况。如图1中,原文1中,生成问题和实际关注问题是一致的。但原文2,3中,生成的问题和实际关注的问题严重不一致。在对商品解说词进行问题生成时,我们只想生成和商品属性相关的问题,屏蔽掉与属性无关的问题。
[0004]根据输入文本生成与文本相关的问答对,目前采用的是流水线模型的方式,如图2中的(a)和(b)。第一种方案为从文档中抽取候选答案,选出最有可能的一个句子片段作为答案,根据答案来生成问题。第二种方案是根据文档生成问题,再进行答案的抽取。这样分步的流水线模型有如下弊端:(1)抽取的答案和生成的问题不兼容,因为抽取到的答案忽视了问题和答案之间的内在关联。(2)生成的问题会涉及文本内容但和实际关注的问题不一致的情况。如图1中,原文1中,生成问题和实际关注问题是一致的。但原文2,3中,生成的问题和实际关注的问题严重不一致。(3)将问题分步处理还会导致损失的累积,影响效果。增加训练和部署的复杂度。
[0005]因此,如何提供一种基于问题类型识别的问答对联合生成模型成为了本领域技术人员亟需解决的问题。

技术实现思路

[0006]有鉴于此,本专利技术提供了一种基于问题类型识别的问答对联合生成模型,采用了联合的方式,将问题生成和答案抽取联合训练,并且在数据预处理时,通过已有的训练好的序列标注模型获取输入文本的关键词信息,并将其转化为对应的商品属性类别,来辅助模型获取更多的知识生成问题和答案。
[0007]为了实现上述目的,本专利技术采用如下技术方案:
[0008]一种基于问题类型识别的问答对联合生成模型,包括:使用关键词抽取技术从文本中抽取关键词并将其转化为对应的商品属性类型,来辅助模型获取更多的知识生成问题和答案;将原始的流水线模型改进成将问题生成模块和答案抽取模块联合训练的模型;在答案抽取模块采用联合式抽取,将答案的起始位置和结束位置联系起来,更准确地定位起始位置。
[0009]进一步的,问题生成模块和答案抽取模块采用联合式抽取,生成问题的同时将答
案抽取出来。
[0010]进一步的,采用编码器

解码器结构来生成问题,解码器生成答案的同时,将编码器的输出和解码器的输出共同输入到注意力层后,通过联合目标函数的方式,来生成问题和抽取答案。
[0011]进一步的,在编码器输入端,融合了通过提取输入文本的关键词判别文本中的商品属性,确定问题的提问点,锁定文本生成问题的范围。
[0012]进一步的,编码器

解码器的初始化参数加载的是基于电商各领域的商品说明书的文本训练的BART预训练模型的参数。
[0013]进一步的,编码器和解码器都为6层,向量的维度为768;编码器部分具有双向表征的能力,用于抽取输入文本t的语义信息;解码器是一个从左到右的自回归语言模型,用于生成对应的问题;编码器的最后一层的输出要和解码器的每一层的输出计算cross

attention;通过注意力机制,获取输入文本中应该重点被关注的信息,用解码器生成问题;
[0014]编码器最后一层的输出,经过线性变换,得到能够表征输入信息的query和key矩阵,解码器最终在<EOS>处的输出,经过线性变化后,产生value矩阵;将query,key,value这三个矩阵输入到transformer的自注意力单元,将注意力单元的输出的结果输入到答案抽取模块,获取一对数值,表示答案在输入文本的开始和结束位置,该文本片段为最终的答案。
[0015]进一步的,模型训练过程的输入包含:输入文本t,与答案相关的问题q,从输入文本中抽取的答案a。
[0016]本专利技术的有益效果在于:
[0017]本专利技术通过关键词抽取技术从文本中抽取关键词,将其转化为商品属性类别,锁定了文本生成问题的范围,解决了生成问题和实际关注问题不一致的问题。将原始的流水线模型改进成联合模型,在训练过程中,问题生成和答案抽取部分相互影响,提高了生成问答对的相关性,同时提高了模型训练和在工业中部署的效率。答案抽取模块采用联合式抽取,将答案的起始位置和结束位置联系起来,能够更准确地定位起始位置。避免了分别抽取开始和结束位置带来的能够以大的概率定位到起始位置的附近,但不能够很好地预测到结束的位置的问题。从而提高抽取答案的准确性。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
[0019]图1为模型生成问题和实际关注问题对比图;
[0020]图2为现有技术生成问答对模型流程图;
[0021]图3为本专利技术生成问答对模型流程图;
[0022]图4为模型中是否加入关键词获取的商品属性信息生成效果对比图;
[0023]图5为本专利技术模型的整个流程图;
[0024]图6为序列标注模型抽取关键词;
[0025]图7为encoder部分文本输入图形。
具体实施方式
[0026]下面将结合本专利技术的实施例中,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。
[0027]参考图3

7,本专利技术提供了一种基于问题类型识别的问答对联合生成模型,包括:使用关键词抽取技术从文本中抽取关键词并将其转化为对应的商品属性类型,来辅助模型获取更多的知识生成问题和答案;将原始的流水线模型改进成将问题生成模块和答案抽取模块联合训练的模型,在训练过程中,问题生成和答案抽取部分相互影响,提高了生成问答对的相关性,同时提高了模型训练和在工业中部署的效率;在答案抽取模块采用联合式抽取,将答案的起始位置和结束位置联系起来,能够更准确地定位起始位置。避免了分别抽取开始和结束位置带来的能够以大的概率定位到起始位置的附近,但不能够很好地预测到结束的位置的问题。从而提高抽取答案的准确性。
[0028]本专利技术使用关键词抽取技术从文本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于问题类型识别的问答对联合生成模型,其特征在于,包括:使用关键词抽取技术从文本中抽取关键词并将其转化为对应的商品属性类型,来辅助模型获取更多的知识生成问题和答案;将原始的流水线模型改进成将问题生成模块和答案抽取模块联合训练的模型;在答案抽取模块采用联合式抽取,将答案的起始位置和结束位置联系起来,准确地定位起始位置。2.根据权利要求1所述的一种基于问题类型识别的问答对联合生成模型,其特征在于,在答案抽取模块采用联合式抽取,生成问题的同时将答案抽取出来。3.根据权利要求2所述的一种基于问题类型识别的问答对联合生成模型,其特征在于,采用编码器

解码器结构来生成问题,解码器生成答案的同时,将编码器的输出和解码器的输出共同输入到注意力层后,通过联合目标函数的方式,来生成问题和抽取答案。4.根据权利要求3所述的一种基于问题类型识别的问答对联合生成模型,其特征在于,在编码器输入端,融合了通过提取输入文本的关键词判别文本中的商品属性,确定问题的提问点,锁定文本生成问题的范围。5.根据权利要求3所述的一种基于问题类型识别的问答对联合生成模型,其特征在于,编码器

解码器的初始化参数加...

【专利技术属性】
技术研发人员:宫明
申请(专利权)人:北京中科深智科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1