工业领域的多文档阅读理解方法技术

本申请涉及一种工业领域的多文档阅读理解方法

【技术实现步骤摘要】
工业领域的多文档阅读理解方法、装置、设备及存储介质


[0001]本申请涉及人工智能
，特别是涉及一种工业领域的多文档阅读理解方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]阅读和理解非结构化文本，然后回答有关问题的能力是人类的一项普通技能
。
但对于机器来说并不容易，教机器阅读人类自然语言一直是自然语言处理的长期目标
。
经过多年的努力，自然语言处理领域的研究人员使用了越来越强大的自然语言处理工具来分析和理解人类文本的不同方面
。
阅读理解可以被视为问答任务，这也是自然语言处理
(NLP)
的一种应用，其中模型应该回答用户提出的问题
。
机器通过任意使用一些复杂
、
非结构化
、
半结构化的知识库来回答问题，并将正确答案返回给用户
。
阅读理解
(MRC
：
Machine Reading Comprehension)
是自然语言处理领域一个重要的研究方向
。
多文档阅读理解旨在使用给定的多个文档回答相应的问题
。
阅读理解任务可视为人工智能的核心能力被广泛应用于搜索引擎和对话引擎中
。
[0003]然而，目前阅读理解面临诸多挑战，例如，每篇文档的字数包含较多的单词，且各文档中存在较多的干扰，例如，存在跨度很高的词汇与答案相匹配，但是整个句子与答案却毫无关系
。
并且，在多各文档阅读理解中，每个问题的答案位置非常灵活，可能在它可能在一个文档中出现一次或多次，也可能在多个文档中出现多次
。
而在工业领域的阅读理解，其文档中会出现大量的词表外词汇，从而导致对文档的语义理解较为表面，为了解决这些问题从而得到精准的问题答案，对模型提出更高的要求
。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够在多个文档中精准得到问题答案的基于深度交互融合的多文档阅读理解方法
、
装置及设备
。
[0005]一种工业领域的多文档阅读理解方法，所述方法包括：
[0006]获取目标问题以及与所述目标问题对应的多个答复文件；
[0007]对所述目标问题以及各所述答复文件进行词嵌入处理，得到对应的目标问题特征向量集合以及各答复文件特征向量集合，各特征向量集合中分别包括对应目标问题或答复文件中所有单词的特征向量；
[0008]基于特征向量根据各所述答复文件与目标问题中每个单词之间的相关性对每一个单词分配注意力权重，并将注意力权重与目标问题或答复文件中对应的特征向量进行融合得到目标问题融合特征向量集合以及各答复文件融合特征向量集合；
[0009]根据所述目标问题融合特征向量集合以及各答复文件融合特征向量集合，分别计算目标问题和答复文件之间两个交互方向的隐藏层向量，并基于所述隐藏层向量将所述目标问题中的单词语义融合至各答复文件特征向量中，得到各答复文件问题融合后特征向量集合；
[0010]根据各所述答复文件问题融合后特征向量集合进行计算得到各所述答复文件的隐藏层向量集合，根据目标问题对多个答复文件的隐藏层向量集合进行筛选，再对筛选后答复文件的隐藏层向量集合中段落进行筛选，得到段落筛选后的隐藏层向量集合；
[0011]采用指针网络根据段落筛选后的隐藏层向量集合，在对应的答复文件中预测答案的起始位置和终止位置，得到所述目标问题的答案
。
[0012]在其中一实施例中，所述基于特征向量根据各所述答复文件与目标问题中每个单词之间的相关性对每一个单词分配注意力权重，并将注意力权重与目标问题或答复文件中对应的特征向量进行融合得到目标问题融合特征向量集合以及各答复文件融合特征向量集合包括：
[0013]基于特征向量，根据各所述答复文件中每一个单词与目标问题中每一个单词之间的相关性，构建交叉注意力矩阵；
[0014]基于所述交叉注意力矩阵以及
softmax
函数为所述目标问题以及各答复文件中每个单词分配注意力权重；
[0015]基于各单词的注意力权重分别对目标问题特征向量集合以及各答复文件特征向量集合中各单词的特征向量进行重新表示；
[0016]采用双向循环神经网络对重新表示后的目标问题特征向量以及各答复文件特征向量进行上下文语义融合，得到所述目标问题融合特征向量集合以及各答复文件融合特征向量集合
。
[0017]在其中一实施例中，通过双向注意力机制根据所述目标问题融合特征向量集合以及各答复文件融合特征向量集合，分别计算目标问题到各答复文件，以及各答复文件到目标问题两个方向的隐藏层向量；
[0018]基于双向循环神经网络将两个方向的隐藏层向量进行融合后，得到对应各答复文件的答复文件问题融合后特征向量集合
。
[0019]在其中一实施例中，所述根据各所述答复文件问题融合后特征向量集合进行计算得到各所述答复文件的隐藏层向量集合包括：
[0020]根据各所述答复文件问题融合后特征向量集合采用
softmax
函数进行计算，得到各答复文件之间的自注意力权重；
[0021]基于双向循环神经网络，根据各答复文件之间的自注意力权重以及计算对应各所述答复文件的隐藏层向量
。
[0022]在其中一实施例中，采用逻辑回归模型，并基于多任务方式对多个答复文件的隐藏层向量集合进行答复文件以及段落的筛选，得到所述段落筛选后的隐藏层向量集合
。
[0023]在其中一实施例中，在对多个答复文件的隐藏层向量集合，以及对筛选后答复文件的隐藏层向量集合中段落进行筛选时包括：
[0024]各所述答复文件的隐藏向量集合中包括对应各段落的隐藏向量；
[0025]通过映射向量，将目标问题特征向量集合以及答复文件的隐藏向量或某段落的隐藏向量映射至同一空间中，分别对各答复文件以及各段落进行打分得到相应的分数；
[0026]根据预设的答复文件筛选阈值以及段落筛选阈值分别对各答复文件以及段落进行筛选，得到段落筛选后的隐藏层向量集合
。
[0027]在其中一实施例中，所述采用指针网络根据段落筛选后的隐藏层向量集合，在对
应的答复文件中预测答案的起始位置和终止位置，得到所述目标问题的答案包括：
[0028]通过指针网络根据段落筛选后的隐藏层向量集合，在对应答复文件中预测每个字符为答案起始位置以及终止位置的概率分布；
[0029]根据起始位置以及终止位置的最大概率预测答案在答复文件中的位置，以得到问题答案
。
[0030]一种工业领域的多文档阅读理解装置，所述装置包括语义理解模块
、
问答交互模块
、
文档线索理解模块以及线索标注模块；
[0031]所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种工业领域的多文档阅读理解方法，其特征在于，所述方法包括：获取目标问题以及与所述目标问题对应的多个答复文件；对所述目标问题以及各所述答复文件进行词嵌入处理，得到对应的目标问题特征向量集合以及各答复文件特征向量集合，各特征向量集合中分别包括对应目标问题或答复文件中所有单词的特征向量；基于特征向量根据各所述答复文件与目标问题中每个单词之间的相关性对每一个单词分配注意力权重，并将注意力权重与目标问题或答复文件中对应的特征向量进行融合得到目标问题融合特征向量集合以及各答复文件融合特征向量集合；根据所述目标问题融合特征向量集合以及各答复文件融合特征向量集合，分别计算目标问题和答复文件之间连个交互方向的隐藏层向量，并基于所述隐藏层向量将所述目标问题中的单词语义融合至各答复文件特征向量中，得到各答复文件问题融合后特征向量集合；根据各所述答复文件问题融合后特征向量集合进行计算得到各所述答复文件的隐藏层向量集合，根据目标问题对多个答复文件的隐藏层向量集合进行筛选，再对筛选后答复文件的隐藏层向量集合中段落进行筛选，得到段落筛选后的隐藏层向量集合；采用指针网络根据段落筛选后的隐藏层向量集合，在对应的答复文件中预测答案的起始位置和终止位置，得到所述目标问题的答案
。2.
根据权利要求1所述的多文档阅读理解方法，其特征在于，所述基于特征向量根据各所述答复文件与目标问题中每个单词之间的相关性对每一个单词分配注意力权重，并将注意力权重与目标问题或答复文件中对应的特征向量进行融合得到目标问题融合特征向量集合以及各答复文件融合特征向量集合包括：基于特征向量，根据各所述答复文件中每一个单词与目标问题中每一个单词之间的相关性，构建交叉注意力矩阵；基于所述交叉注意力矩阵以及
softmax
函数为所述目标问题以及各答复文件中每个单词分配注意力权重；基于各单词的注意力权重分别对目标问题特征向量集合以及各答复文件特征向量集合中各单词的特征向量进行重新表示；采用双向循环神经网络对重新表示后的目标问题特征向量以及各答复文件特征向量进行上下文语义融合，得到所述目标问题融合特征向量集合以及各答复文件融合特征向量集合
。3.
根据权利要求1所述的多文档阅读理解方法，其特征在于，通过双向注意力机制根据所述目标问题融合特征向量集合以及各答复文件融合特征向量集合，分别计算目标问题到各答复文件，以及各答复文件到目标问题两个方向的隐藏层向量；基于双向循环神经网络将两个方向的隐藏层向量进行融合后，得到对应各答复文件的答复文件问题融合后特征向量集合
。4.
根据权利要求1所述的多文档阅读理解方法，其特征在于，所述根据各所述答复文件问题融合后特征向量集合进行计算得到各所述答复文件的隐藏层向量集合包括：根据各所述答复文件问题融合后特征向量集合采用
softmax
函数进行计算，得到各答
复文件之间的自注意力权重；基于双向循环神经网络，根据各答复文件之间的自注意力权重以及计算对应各所述答复文件的隐藏层向量
。5.
根据权利要求4所述...

【专利技术属性】
技术研发人员：滕磊，全文斌，李霜，谢宇，刘耀澳，李佩，娄照辉，
申请(专利权)人：中电工业互联网有限公司，
类型：发明
国别省市：