增强问答交互信息的自动问答系统答案抽取方法及系统技术方案

本发明专利技术涉及一种增强问答交互信息的自动问答系统答案抽取方法及系统，其方法包括：步骤S1：构建问答交互信息提取网络和抽取式问答网络的输入文本序列；步骤S2：构建问答交互信息提取网络及其损失函数并进行训练；步骤S3：构建抽取式问答网络及其损失函数并进行训练；并通过知识蒸馏方式将问答交互提取网络提取到的问答交互特征蒸馏至抽取式问答网络中。本发明专利技术提供的方法基于问答掩码多头自注意力机制准确提取问答交互信息，将学习捕捉到的问答交互信息蒸馏至抽取式问答网络从而达到增强的目的。的目的。的目的。

【技术实现步骤摘要】
增强问答交互信息的自动问答系统答案抽取方法及系统


[0001]本专利技术涉及自然语言处理领域，具体涉及一种增强问答交互信息的自动问答系统答案抽取方法及系统。

技术介绍

[0002]随着互联网技术的飞速发展和大数据时代的到来，越来越多的信息充斥着人们的生活，获得信息的途径也日渐丰富。尽管数字化的网络信息为生活带来了便利，但随之而来的是用户难以定位有价值的信息，如何在繁杂的数据中迅速检索到自己所需的信息成为了亟待解决的问题。问答技术在这样的背景下应运而生，它可以对所提问题进行识别、理解，同时用准确、简洁的自然语言回答问题，满足了用户高效查找精确信息的需求。它的概念甚至可以追溯到人工智能的出现，即著名的图灵测试。问答任务本质是信息检索，其关键在于如何正确理解问题且返回问题所对应的答案。该任务具有相当的挑战性，这是因为自然语言非常灵活，表达的意思也十分多样，这也导致了数据驱动的方法在问答中的应用。传统的基于规则的方法曾被广泛应用于问答任务当中，这些规则往往是人工制定的启发式规则，通过语法语义学得到问题的正确答案，但这一方法需要大量的人力和物力。随着深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强问答交互信息的自动问答系统答案抽取方法，其特征在于，包括：步骤S1：构建问答交互信息提取网络和抽取式问答网络的输入文本序列；步骤S2：构建问答交互信息提取网络及其损失函数并进行训练；其中，所述问答交互信息提取网络包括：文本编码器用于提取所述输入文本序列中各单词的上下文特征；问答掩码多头自注意力机制用于在所述单词的上下文特征基础上进一步提取问答交互特征；分类层在所述问答交互特征基础上预测每个单词在答案的起始和结束位置上的概率；步骤S3：构建抽取式问答网络及其损失函数并进行训练；其中，所述抽取式问答网络包括：文本编码器用于提取输入文本序列中各单词的上下文特征；分类层在所述上下文特征基础上预测每个单词在答案的起始和结束位置上的概率；并通过知识蒸馏方式将所述问答交互提取网络提取到的问答交互特征蒸馏至所述抽取式问答网络中，以此构建所述抽取式问答网络损失函数。2.根据权利要求1所述的增强问答交互信息的自动问答系统答案抽取方法，其特征在于，所述步骤S1：构建问答交互信息提取网络和抽取式问答网络的输入文本序列，具体包括：步骤S11：给定用户提出的问题和问题相关段落，其中，所述问题的答案是所述问题相关段落中的一个片段；步骤S12：将所述问题和所述问题相关段落转换为Unicode编码，对其进行分词处理，得到所述问题的分词结果和所述问题相关段落的分词结果和所述问题相关段落的分词结果其中，和分别是所述问题和所述问题相关段落中的第i个单词，m和n分别是所述问题和所述问题相关段落的文本长度，为所述问题相关段落中的答案片段，l
s
和l
e
分别是答案在所述问题相关段落中的起始位置和结束位置；步骤S13：将所述问题和所述问题相关段落与分隔字符[CLS]与[SEP]拼接起来得到输入文本序列T：3.根据权利要求1所述的增强问答交互信息的自动问答系统答案抽取方法，其特征在于，所述步骤S2：构建问答交互信息提取网络及其损失函数并进行训练；其中，所述问答交互信息提取网络包括：文本编码器用于提取所述输入文本序列中各单词的上下文特征；问答掩码多头自注意力机制用于在所述单词的上下文特征基础上进一步提取问答交互特征；分类层在所述问答交互特征基础上预测每个单词在答案的起始和结束位置上的概率，具体包括：步骤S21：使用所述文本编码器提取所述问答交互信息提取网络的输入文本序列中各单词的上下文特征；步骤S22：使用所述问答掩码多头自注意力机制在所述上下文特征基础上进一步提取问答交互特征；步骤S23：使用所述分类层在所述问答交互特征基础上预测每个单词在答案的起始和结束位置上的概率；步骤S24：构建所述问答交互提取网络的损失函数并进行训练。
4.根据权利要求3所述的增强问答交互信息的自动问答系统答案抽取方法，其特征在于，所述步骤S21：使用所述文本编码器提取所述问答交互信息提取网络的输入文本序列中各单词的上下文特征，具体包括：步骤S211：将所述输入文本序列T转换为单词的token_id序列，将所述问题和所述问题相关段落的token_type_id序列分别设置成0和1，为所述输入文本序列T设置相应长度的位置编码position_id；步骤S212：将所述token_id序列、token_type_id序列以及所述位置编码position_id输入所述文本编码器提取得到各个单词的上下文特征向量矩阵：其中，与分别表示T中[CLS]、第一个[SEP]与第二个[SEP]对应的上下文特征向量，r
iq
和r
ip
分别是所述问题和所述问题相关段落中第i个单词所对应的上下文特征向量，d为上下文特征向量的长度，为所有单词组成的上下文特征向量矩阵。5.根据权利要求3所述的增强问答交互信息的自动问答系统答案抽取方法，其特征在于，所述步骤S22：使用所述问答掩码多头自注意力机制在所述上下文特征基础上进一步提取问答交互特征，具体包括：步骤S221：基于R构建问题与答案的单词上下文特征向量矩阵R
qa
：其中，步骤S222：在自注意力层中，第i个头特征向量的计算公式为：其中，分别是将所述上下文特征向量映射至查询、键、值特征空间的线性映射参数矩阵，d
h
为各个所述头特征向量的长度；步骤S223：将各个所述头特征向量拼接起来，并通过一个线性映射整合各个所述头特征向量，然后通过层标准化和残差连接分别用于稳定数值范围和梯度的传播，得到整合后的问答交互特征向量矩阵R
′
qa
：R
′
qa
＝R
qa
+LayerNorm([head1；...；head
u
]W
o
)其中，LayerNorm表示层标准化操作，u为头的数量，是线性映射参数矩阵；步骤S224：使用全连接层进一步提炼所述问答交互特征向量矩阵R
′
qa
，得到提炼后的问答交互特征向量矩阵R
″
qa
：R<...

【专利技术属性】
技术研发人员：荣文戈，白骏，章健飞，欧阳元新，熊璋，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：