一种答案获取的方法及装置制造方法及图纸

本申请提供一种答案获取的方法及装置，所述方法包括：将目标文本和问题作为输入集输入至答案获取模型，得到所述输入集中每个句子对应的句向量以及每个句子中的词单元对应的第一词向量；根据每个句子的句向量以及每个词单元的第一词向量，得到每个句子中的每个词单元对应的第二词向量；根据每个句子中的每个词单元对应的第二词向量，获得答案获取模型输出的每个词单元作为问题对应的答案开始位置以及答案结束位置的概率；根据每个词单元作为问题对应的答案开始位置以及答案结束位置的概率，确定问题对应的答案，从而从句子和词单元两个维度确定问题对应的答案，从而提高模型获取答案的效果。

A Method and Device for Obtaining Answers

【技术实现步骤摘要】
一种答案获取的方法及装置
本申请涉及神经网络模型
，特别涉及一种答案获取的方法及装置、计算设备、存储介质和芯片。
技术介绍
2018年10月，谷歌的人工智能团队介绍了一种预训练模型——BERT模型(BidirectionalEncoderRepresentationfromTransformers，双向注意力神经网络模型)，被认为是自然语言翻译领域的极大突破。该模型通过左、右两侧上下文来预测当前词和通过当前句子预测下一个句子。图1为BERT模型的架构示意图。该模型包括12个堆栈层，该12个堆栈层依次连接。每个堆栈层中还包括：自注意力层、第一规范层、前馈层以及第二规范层。将文章和问题构成的文本输入至文本嵌入层，得到文本向量，然后将文本向量输入至第1个堆栈层，将第1个堆栈层的输出向量输入至第2个堆栈层……依次类推，最终得到最后一个堆栈层的输出向量。将最后一个堆栈层的输出向量作为每个词单元的表示向量输入至前馈层进行处理，得到每个词单元作为答案开始位置与答案结束位置的概率。可见，对于阅读理解与问答任务，BERT模型通过拼接问题与文章，利用注意力机制获取文章信息以及问题与文章之间的相互依赖关系，从而获得问题与文章每个词单元的表示向量，最终通过线性映射与非线性变换分别获得每个词单元作为答案开始位置与答案结束位置的概率。现有技术中，BERT模型仅仅从词单元的维度关注文章与问题的相互依赖关系及信息，模型效果有待提升。
技术实现思路
有鉴于此，本申请实施例提供了一种答案获取的方法及装置、计算设备、存储介质和芯片，以解决现有技术中存在的技术缺陷。本申请实施例提供了一种答案获取的方法，包括：将目标文本和问题作为输入集输入至答案获取模型，得到所述输入集中每个句子对应的句向量以及每个句子中的词单元对应的第一词向量；根据每个句子的句向量以及每个词单元的第一词向量，得到每个句子中的每个词单元对应的第二词向量；根据每个句子中的每个词单元对应的第二词向量，获得答案获取模型输出的每个词单元作为问题对应的答案开始位置以及答案结束位置的概率；根据每个词单元作为问题对应的答案开始位置以及答案结束位置的概率，确定所述问题对应的答案。可选地，将目标文本和问题作为输入集输入至答案获取模型，得到所述输入集中每个句子对应的句向量中以及每个句子中的词单元对应的第一词向量，包括：将目标文本和问题作为输入集输入至答案获取模型，得到所述输入集中每个词单元的第一词向量；对每个句子对应的词单元的第一词向量进行线性映射，然后进行归一化变换，得到每个句子对应的词单元的第一词向量对应的权重；根据每个句子对应的词单元的第一词向量对应的权重，将每个句子对应的词单元的第一词向量合成为该句子对应的句向量。可选地，根据每个句子的句向量以及每个词单元的第一词向量，得到每个句子中的每个词单元对应的第二词向量，包括：将每个句子对应的句向量分别与该句子中的每个第一词向量相加，得到每个句子中的每个词单元对应的第二词向量。可选地，根据每个句子中的每个词单元对应的第二词向量，获得答案获取模型输出的每个词单元作为问题对应的答案开始位置以及答案结束位置的概率，包括：将每个句子中的每个词单元对应的第二词向量进行线性映射以及非线性变换，分别获得每个词单元作为问题对应的答案开始位置以及答案结束位置的概率。可选地，所述答案获取模型包括嵌入层和n个堆栈层；将目标文本和问题作为输入集输入至答案获取模型，得到所述输入集中每个词单元的第一词向量，包括：S11、将目标文本和问题作为输入集输入至嵌入层，得到对应的输入向量；S12、将所述输入向量输入至第1个堆栈层，得到第1个堆栈层的输出向量；S13、将第i个堆栈层的输出向量输入至第i+1个堆栈层，得到第i+1个堆栈层的输出向量，其中，1≤i≤n-1；S14、判断i是否等于n-1，若是，执行步骤S15，若否，执行步骤S13；S15、将第n个堆栈层的输出向量作为所述输入集中每个词单元的第一词向量输出。本申请实施例公开了一种答案获取的装置，所述装置包括：句向量处理模块，被配置为将目标文本和问题作为输入集输入至答案获取模型，得到所述输入集中每个句子对应的句向量以及每个句子中的词单元对应的第一词向量；第二词向量获取模块，被配置为根据每个句子的句向量以及每个词单元的第一词向量，得到每个句子中的每个词单元对应的第二词向量；概率获取模块，被配置为根据每个句子中的每个词单元对应的第二词向量，获得答案获取模型输出的每个词单元作为问题对应的答案开始位置以及答案结束位置的概率；答案确定模块，被配置为根据每个词单元作为问题对应的答案开始位置以及答案结束位置的概率，确定所述问题对应的答案。可选地，所述句向量处理模块具体被配置为：将目标文本和问题作为输入集输入至答案获取模型，得到所述输入集中每个词单元的第一词向量；对每个句子对应的词单元的第一词向量进行线性映射，然后进行归一化变换，得到每个句子对应的词单元的第一词向量对应的权重；根据每个句子对应的词单元的第一词向量对应的权重，将每个句子对应的词单元的第一词向量合成为该句子对应的句向量。可选地，第二词向量获取模块具体被配置为：将每个句子对应的句向量分别与该句子中的每个第一词向量相加，得到每个句子中的每个词单元对应的第二词向量。可选地，所述概率获取模块具体被配置为：将每个句子中的每个词单元对应的第二词向量进行线性映射以及非线性变换，分别获得每个词单元作为问题对应的答案开始位置以及答案结束位置的概率。可选地，所述答案获取模型包括嵌入层和n个堆栈层；所述句向量处理模块具体被配置为：输入单元，被配置为将目标文本和问题作为输入集输入至嵌入层，得到对应的输入向量；第一输出向量获取单元，被配置为将所述输入向量输入至第1个堆栈层，得到第1个堆栈层的输出向量；第二输出向量获取单元，被配置为将第i个堆栈层的输出向量输入至第i+1个堆栈层，得到第i+1个堆栈层的输出向量，其中，1≤i≤n-1；判断单元，被配置为判断i是否等于n-1，若是，执行输出单元，若否，执行第二输出向量获取单元；输出单元，被配置为将第n个堆栈层的输出向量作为所述输入集中每个词单元的第一词向量输出。本申请实施例公开了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现如上所述答案获取的方法的步骤。本申请实施例公开了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如上所述答案获取的方法的步骤。本申请实施例公开了一种芯片，其存储有计算机指令，该指令被芯片执行时实现如上所述答案获取的方法的步骤。本申请提供的答案获取的方法及装置，不仅获取输入集中的每个词单元对应的第一词向量，还进一步获取输入集中每个句子对应的句向量，并根据每个句子的句向量以及每个词单元的第一词向量得到每个词单元对应的第二词向量；再根据每个词单元对应的第二词向量获得答案获取模型输出的每个词单元作为问题对应的答案开始位置以及答案结束位置的概率，从而从句子和词单元两个维度确定问题对应的答案，从而提高模型获取答案的效果。附图说明图1是现有技术中的BERT模型的架构示意图；图2是本申请一实施例的修改后的BERT模型的架构示意图；图3是本申请一实施例的答案获取的方法本文档来自技高网...

【技术保护点】
1.一种答案获取的方法，其特征在于，包括：将目标文本和问题作为输入集输入至答案获取模型，得到所述输入集中每个句子对应的句向量以及每个句子中的词单元对应的第一词向量；根据每个句子的句向量以及每个词单元的第一词向量，得到每个句子中的每个词单元对应的第二词向量；根据每个句子中的每个词单元对应的第二词向量，获得答案获取模型输出的每个词单元作为问题对应的答案开始位置以及答案结束位置的概率；根据每个词单元作为问题对应的答案开始位置以及答案结束位置的概率，确定所述问题对应的答案。

【技术特征摘要】
1.一种答案获取的方法，其特征在于，包括：将目标文本和问题作为输入集输入至答案获取模型，得到所述输入集中每个句子对应的句向量以及每个句子中的词单元对应的第一词向量；根据每个句子的句向量以及每个词单元的第一词向量，得到每个句子中的每个词单元对应的第二词向量；根据每个句子中的每个词单元对应的第二词向量，获得答案获取模型输出的每个词单元作为问题对应的答案开始位置以及答案结束位置的概率；根据每个词单元作为问题对应的答案开始位置以及答案结束位置的概率，确定所述问题对应的答案。2.如权利要求1所述的答案获取的方法，其特征在于，将目标文本和问题作为输入集输入至答案获取模型，得到所述输入集中每个句子对应的句向量中以及每个句子中的词单元对应的第一词向量，包括：将目标文本和问题作为输入集输入至答案获取模型，得到所述输入集中每个词单元的第一词向量；对每个句子对应的词单元的第一词向量进行线性映射，然后进行归一化变换，得到每个句子对应的词单元的第一词向量对应的权重；根据每个句子对应的词单元的第一词向量对应的权重，将每个句子对应的词单元的第一词向量合成为该句子对应的句向量。3.如权利要求1所述的答案获取的方法，其特征在于，根据每个句子的句向量以及每个词单元的第一词向量，得到每个句子中的每个词单元对应的第二词向量，包括：将每个句子对应的句向量分别与该句子中的每个第一词向量相加，得到每个句子中的每个词单元对应的第二词向量。4.如权利要求1所述的答案获取的方法，其特征在于，根据每个句子中的每个词单元对应的第二词向量，获得答案获取模型输出的每个词单元作为问题对应的答案开始位置以及答案结束位置的概率，包括：将每个句子中的每个词单元对应的第二词向量进行线性映射以及非线性变换，分别获得每个词单元作为问题对应的答案开始位置以及答案结束位置的概率。5.如权利要求2所述的答案获取的方法，其特征在于，所述答案获取模型包括嵌入层和n个堆栈层；将目标文本和问题作为输入集输入至答案获取模型，得到所述输入集中每个词单元的第一词向量，包括：S11、将目标文本和问题作为输入集输入至嵌入层，得到对应的输入向量；S12、将所述输入向量输入至第1个堆栈层，得到第1个堆栈层的输出向量；S13、将第i个堆栈层的输出向量输入至第i+1个堆栈层，得到第i+1个堆栈层的输出向量，其中，1≤i≤n-1；S14、判断i是否等于n-1，若是，执行步骤S15，若否，执行步骤S13；S15、将第n个堆栈层的输出向量作为所述输入集中每个词单元的第一词向量输出。6.一种答案获取的装置，其特征在于，所述装置包括：句向量处理模块，被配置为将目标文本和问题作为输入集输入至答案获取模型，得到所述输入集...

【专利技术属性】
技术研发人员：李长亮，王献，唐剑波，李天阳，
申请(专利权)人：北京金山数字娱乐科技有限公司，成都金山互动娱乐科技有限公司，
类型：发明
国别省市：北京,11