一种基于文本回答问题的方法及装置制造方法及图纸

本发明专利技术实施例提供一种基于文本回答问题的方法及装置，所述方法包括：输入问题语义信息和文本语义信息至预设问题回答模型，并根据问题语义信息、文本语义信息和所述预设问题回答模型中的分类器，确定与文本语义信息中的各词分别对应的第一参数、及与问题语义信息中的各词分别对应的第二参数；根据所述第一参数、所述第二参数、所述文本语义信息和所述预设问题回答模型中的全连接网络，确定可感知问题的上下文表征参数；根据所述问题语义信息和所述上下文表征参数，在所述文本语义信息中输出回答问题的起始索引和终止索引。所述装置执行上述方法。本发明专利技术实施例提供的方法及装置，能够在文本语义信息中准确输出回答问题的起始索引和终止索引。引和终止索引。引和终止索引。

【技术实现步骤摘要】
一种基于文本回答问题的方法及装置


[0001]本专利技术涉及人工智能
，尤其涉及一种基于文本回答问题的方法及装置。

技术介绍

[0002]随着人工智能技术的发展，人们需要让计算机替代人们进行一部分活动，例如，让计算机像人类一样阅读文本，进而根据对该文本的理解来回答问题。这种阅读理解就像是让计算机来做类似高考英语的阅读理解题。目前，基于神经网络的方法成为主流趋势，因为它们可以抓住问题和文本之间的语义和语法关系。
[0003]现有技术利用LSTM实现基于文本回答问题，具体可以包括：采用Seq2Seq的模型方案，利用LSTM进行编码器-解码器进行学习序列到序列模型的阅读理解，包括两个LSTM:即一个编码器和一个解码器。编码器将序列作为输入，并在每个时间点处理一个符号，其目的就是将符号序列转换为固定大小的特征向量，该特征向量仅对序列中的重要信息进行编码，同时丢失不必要的信息。通过Seq2Seq的模型方案可以实现阅读理解，输入是question(问题语义信息)和documents(文本语义信息)，通过模型在documents扫描输出起始index和终止index，但是，上述方法并不能很好的解决这个问题，回答问题的准确率很低。

技术实现思路

[0004]针对现有技术存在的问题，本专利技术实施例提供一种基于文本回答问题的方法及装置。
[0005]本专利技术实施例提供一种基于文本回答问题的方法，包括：
[0006]输入问题语义信息和文本语义信息至预设问题回答模型，并根据问题语义信息、文本语义信息和所述预设问题回答模型中的分类器，确定与文本语义信息中的各词分别对应的第一参数、及与问题语义信息中的各词分别对应的第二参数；其中，所述第一参数包含问题语义信息中的、与文本语义信息中的各词分别相关的语义信息、所述第二参数包含文本语义信息中的、与问题语义信息中的各词分别相关的语义信息；
[0007]根据所述第一参数、所述第二参数、所述文本语义信息和所述预设问题回答模型中的全连接网络，确定可感知问题的上下文表征参数；
[0008]根据所述问题语义信息和所述上下文表征参数，在所述文本语义信息中输出回答问题的起始索引和终止索引。
[0009]其中，所述根据问题语义信息、文本语义信息和所述预设问题回答模型中的分类器，确定与文本语义信息中的各词分别对应的第一参数、及与问题语义信息中的各词分别对应的第二参数，包括：
[0010]根据问题语义信息和文本语义信息，确定相似度矩阵；所述相似度矩阵的行是与文本语义信息中的各词分别对应的问题语义信息中的全部词之间的相似度，所述相似度矩阵的列是与问题语义信息中的各词分别对应的文本语义信息中的全部词之间的相似度；
[0011]根据所述相似度矩阵、所述问题语义信息和所述分类器，确定所述第一参数，并根
据所述相似度矩阵、所述文本语义信息和所述分类器，确定所述第二参数。
[0012]其中，所述根据所述相似度矩阵、所述问题语义信息和所述分类器，确定所述第一参数，包括：根据如下公式确定所述第一参数：
[0013]U'＝Σ
j
(softmax(S
t:
)*U
:j
)
[0014]其中，U'为所述第一参数、softmax为所述分类器、S
t:
为所述相似度矩阵中第t行的所有数据、U
:j
为问题语义信息中第j列的所有数据。
[0015]其中，所述根据所述相似度矩阵、所述文本语义信息和所述分类器，确定所述第二参数，包括：根据如下公式计算所述第二参数：
[0016]H'＝Σ
t
(softmax(max(S
:j
))*H
t:
)
[0017]其中，H'为所述第二参数、softmax为所述分类器、max为求最大值函数、S
:j
为所述相似度矩阵中第j列的所有数据、H
t:
为文本语义信息中第t行的所有数据。
[0018]其中，所述根据所述第一参数、所述第二参数、所述文本语义信息和所述预设问题回答模型中的全连接网络，确定可感知问题的上下文表征参数，包括，根据如下拼接方式确定所述上下文表征参数：
[0019]G＝β(H；U'；H*U'；H*H')
[0020]其中，G为所述上下文表征参数、β为所述全连接网络、H为所述文本语义信息、U'为所述第一参数、所述H'为所述第二参数。
[0021]其中，所述输入问题语义信息和文本语义信息至预设问题回答模型的步骤之后，所述基于文本回答问题的方法还包括：
[0022]对所述文本语义信息和所述问题语义信息分别进行编码处理；
[0023]用编码处理后的文本语义信息和编码处理后的问题语义信息替换所述根据问题语义信息、文本语义信息和所述预设问题回答模型中的分类器，确定与文本语义信息中的各词分别对应的第一参数、及与问题语义信息中的各词分别对应的第二参数步骤中的问题语义信息和文本语义信息，并执行后续步骤。
[0024]其中，所述对所述文本语义信息和所述问题语义信息分别进行编码处理，包括：
[0025]对于所述文本语义信息进行如下处理：
[0026]对所述文本语义信息进行向量化处理，以获取文本语义向量；
[0027]输入所述文本语义向量至所述预设问题回答模型中的self-attention层、并采用L2norm对self-attention层的输出结果和所述文本语义向量进行处理，以获取第一处理结果；
[0028]输入所述第一处理结果至所述预设问题回答模型中的前馈神经网络、并采用L2norm对前馈神经网络的输出结果和所述第一处理结果进行处理，以获取第二处理结果；
[0029]对于所述问题语义信息进行如下处理：
[0030]对所述问题语义信息进行向量化处理，以获取问题语义向量；
[0031]输入所述问题语义向量至所述预设问题回答模型中的self-attention层、并采用L2norm对self-attention层的输出结果和所述问题语义向量进行处理，以获取第一处理结果；
[0032]输入所述第一处理结果至所述预设问题回答模型中的前馈神经网络、并采用L2norm对前馈神经网络的输出结果和所述第一处理结果进行处理，以获取第二处理结果。
[0033]本专利技术实施例提供一种基于文本回答问题的装置，包括：
[0034]第一确定单元，用于输入问题语义信息和文本语义信息至预设问题回答模型，并根据问题语义信息、文本语义信息和所述预设问题回答模型中的分类器，确定与文本语义信息中的各词分别对应的第一参数、及与问题语义信息中的各词分别对应的第二参数；其中，所述第一参数包含问题语义信息中的、与文本语义信息中的各词分别相关的语义信息、所述第二参数包含文本语义信息中的、与问题语义信息中的各词分别相关的语义信息；
[0035]第二确定单元，用于根据所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于文本回答问题的方法，其特征在于，包括：输入问题语义信息和文本语义信息至预设问题回答模型，并根据问题语义信息、文本语义信息和所述预设问题回答模型中的分类器，确定与文本语义信息中的各词分别对应的第一参数、及与问题语义信息中的各词分别对应的第二参数；其中，所述第一参数包含问题语义信息中的、与文本语义信息中的各词分别相关的语义信息、所述第二参数包含文本语义信息中的、与问题语义信息中的各词分别相关的语义信息；根据所述第一参数、所述第二参数、所述文本语义信息和所述预设问题回答模型中的全连接网络，确定可感知问题的上下文表征参数；根据所述问题语义信息和所述上下文表征参数，在所述文本语义信息中输出回答问题的起始索引和终止索引。2.根据权利要求1所述的基于文本回答问题的方法，其特征在于，所述根据问题语义信息、文本语义信息和所述预设问题回答模型中的分类器，确定与文本语义信息中的各词分别对应的第一参数、及与问题语义信息中的各词分别对应的第二参数，包括：根据问题语义信息和文本语义信息，确定相似度矩阵；所述相似度矩阵的行是与文本语义信息中的各词分别对应的问题语义信息中的全部词之间的相似度，所述相似度矩阵的列是与问题语义信息中的各词分别对应的文本语义信息中的全部词之间的相似度；根据所述相似度矩阵、所述问题语义信息和所述分类器，确定所述第一参数，并根据所述相似度矩阵、所述文本语义信息和所述分类器，确定所述第二参数。3.根据权利要求2所述的基于文本回答问题的方法，其特征在于，所述根据所述相似度矩阵、所述问题语义信息和所述分类器，确定所述第一参数，包括：根据如下公式确定所述第一参数：U'＝Σ
j
(softmax(S
t:
)*U
:j
)其中，U'为所述第一参数、softmax为所述分类器、S
t:
为所述相似度矩阵中第t行的所有数据、U
:j
为问题语义信息中第j列的所有数据。4.根据权利要求2所述的基于文本回答问题的方法，其特征在于，所述根据所述相似度矩阵、所述文本语义信息和所述分类器，确定所述第二参数，包括：根据如下公式计算所述第二参数：H'＝Σ
t
(softmax(max(S
:j
))*H
t:
)其中，H'为所述第二参数、softmax为所述分类器、max为求最大值函数、S
:j
为所述相似度矩阵中第j列的所有数据、H
t:
为文本语义信息中第t行的所有数据。5.根据权利要求1所述的基于文本回答问题的方法，其特征在于，所述根据所述第一参数、所述第二参数、所述文本语义信息和所述预设问题回答模型中的全连接网络，确定可感知问题的上下文表征参数，包括，根据如下拼接方式确定所述上下文表征参数：G＝β(H；U'；H*U'；H*H')其中，G为所述上下文表征参数、β为所述全连接网...

【专利技术属性】
技术研发人员：曹秀亭，
申请(专利权)人：普天信息技术有限公司，
类型：发明
国别省市：