面向变压器检修场景的推理型自动问答方法、系统与计算机可读介质技术方案

本发明专利技术提供本发明专利技术目的在于提供一种面向变压器检修场景的推理型自动问答方法、系统与计算机可读介质。面向变压器检修场景的推理型自动问答方法包括：接收用户输入问题Q；结合变压器检修场景标准库D，将问题Q与标准库D进行embedding操作，获得问题Q与标准库D的段落d的匹配概率并排序，取概率最大段落Dk输出；获取问题Q与段落Dk以序列表示的词向量；最后基于数值抽取识别问题Q的类型，并依据识别的问题类型通过不同Bi

【技术实现步骤摘要】
面向变压器检修场景的推理型自动问答方法、系统与计算机可读介质


[0001]本专利技术涉及计算机
，尤其是深度学习技术在智能问答领域的应用，具体而言涉及一种面向变压器检修场景的推理型自动问答方法、系统与计算机可读介质。

技术介绍

[0002]自动问答在医疗、金融、政务等领域广泛应用，推理型问答不同于只涉及实体属性的单跳问答，而是更多倾向于复杂的多跳查询问答需求，为了应对上述复杂的推理型问答，各种不同类型的推理方法和模型被陆续提出。
[0003]传统的推理型问答方法主要包括基于嵌入、路径和逻辑的三类问答推理方法。
[0004]基于嵌入的方法即语义匹配方法，其首先计算问题和候选答案分布式表示之间的语义匹配，然后通过排序候选答案来得到最终答案，然而这类方法只能回答简单问题，缺少了深层语义信息的挖掘。
[0005]基于路径的方法，则是将知识图谱结构化知识以三元组的形式组织，以用户问题重点主题实体为源实体，沿着知识图谱多个三元组的头实体、关系、尾实体的逐条路径进行搜索，匹配获得答案实体或者关系。但是这样的方法必须将数据整理为三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向变压器检修场景的推理型自动问答方法，其特征在于，包括以下步骤：步骤1、接收用户输入的问题Q；步骤2、结合预先构建的变压器检修场景标准库D，将问题Q在变压器检修场景标准库D中进行匹配，通过将问题Q与变压器检修场景标准库D进行embedding操作，获得问题Q与变压器检修场景标准库D的段落d的匹配概率；步骤3、对匹配概率进行降序排序，取概率最大值对应的段落Dk输出；步骤4、将问题Q与输出的段落Dk使用词向量工具进行处理获得词向量，以序列表示；步骤5、基于数值抽取，识别问题Q的类型，包括纯文本类型问题以及数值类型问题，并依据识别的问题类型，通过不同的预测模型进行预测输出：(1)对于纯文本类型问题，采用Bi
‑
LSTM
‑
Attention网络结构的第一模型对问题Q进行预测，输出问题答案，其中所述Bi
‑
LSTM
‑
Attention网络结构的第一模型以纯文本数据构成的数据集为训练数据，输入到由Bi
‑
LSTM层的基础上加入Attention层构成的网络模型中进行训练而获得；(2)对于数值类型问题，采用Bi
‑
LSTM
‑
Attention网络结构的第二模型对问题Q进行预测，输出问题答案，其中所述Bi
‑
LSTM
‑
Attention网络结构的第一模型以抽取的数值数据构成的数据集为训练数据，输入到由Bi
‑
LSTM层的基础上加入Attention层构成的网络模型中进行训练而获得。2.根据权利要求1所述的面向变压器检修场景的推理型自动问答方法，其特征在于，所述预先构建的变压器检修场景标准库D，其中包含多种变压器检修标准，将变压器检修场景标准库D按照自然段划分，获得多个段落d，每一个段落d均包含技术标准号、技术标准名称以及该条标准的相关描述。3.根据权利要求1所述的面向变压器检修场景的推理型自动问答方法，其特征在于，在所述第一模型和第二模型的训练过程中，均使用Bi
‑
LSTM层作为特征编码层，提取每个词向量的上下文特征，然后进行双向的特征拼接后，将每个词向量的特征进行输出；在Attention层则基于权重矩阵对每个词向量进行加权求和，其中，权重矩阵初始化值为256*1维，然后通过点乘与归一化运算，得到代表每个词向量对应权重的权重矩阵，权重越大的词向量代表注意力越大并且词向量对应的贡献程度越大，最后对每个词语对应的词向量进行加权求和，输出最终加权平均后的总特征向量。4.根据权利要求1所述的面向变压器检修场景的推理型自动问答方法，其特征在于，所述将问题Q与变压器检修场景标准库D进行embedding操作，包括在预先训练好的QDMatch匹配模型中进行计算输出，具体包括以下步骤：将问题Q和变压器检修场景标准库D拆分的段落d进行拼接，并且在拼接的文本开头加上[CLS]标志位以及问题Q与段落的文本中间加上[SEP]标志位；其中：所述[CLS]标志位用于表示问题Q和段落d之间的相关概率；[SEP]标志位两个文本中间，作分割作用，分别对两个文本附加不同的文本向量作为区分；确定问题Q和变压器检修场景标准库D拆分的段落d进行拼接的文本的Segment向量、Position向量以及Token向量，其中：所述Segment向量为区分句子的向量，问题Q的Segment向量元素为0，段落d的Segment向量元素为1；Position向量为句子的位置向量，其长度为整体句子的长度；Token向量为整体句子的词向量；
将Segment向量、Position向量以及Token向量三种向量输入到BERT模型中，经过BERT模型的双向12层Transformer Encoder结构，捕捉依赖关系，得到模型的输出，输出结果为问题Q和段落d的向量，取第1维[CLS]标志位的输出；再使用全连接层的softmax函数得到问题Q与段落d的匹配概率，获得问题Q匹配的多个段落的文本。5.根据权利要求4所述的面向变压器检修场景的推理型自动问答方法，其特征在于，所述预先训练好的QDMatch匹配模型的模型结构包括初始embedding编码层、BERT模型网络结构以及输出层，其中初始embedding编码层用于确定Segment向量、Position向量以及Token向量以及对向量求和运算，BERT模型网络结构中包括双向12层Transformer Encoder结构，输出层为问题Q和段落d的向量表达；训练过程所使用的损失函数为：其中，N为训练期间使用的样本数总数，yn表示第n个样本的目标标签，score
n
表示第n个样本的模型预测标签，即训练的目标是使模型预测标签与真实标签尽可能一致。6.根据权利要求1所述的面向变压器检修场景的推理型自动问答方法，其特征在于，对于问题Q以及输出的段落Dk，使用word2vec处理成序列表示。7.根据权利要求1所述的面向变压器检修场景的推理型自动问答方法，其特征在于，所述基于数值抽取，识别问题Q的类型，包括：通过数值抽取函数判断问题Q中是否存在数值，如果存在数值，则判定问题Q属于数值类型问题，取出各个数值的大小、单位，以字典的形式输出；如果存在数值范围，则同时取出数值范围的左右开闭区间；如果不存在数值，则判定问题Q属于纯文本类型问题。8.根据权利要求1所述的面向变压器检修场景的推理型自动问答方法，其特征在于，所述Bi
‑
LSTM
‑
Attention网络结构的第一模型的训练过程包括：对采集的数据集进行数值抽取，识别其中的纯文本类型问题以及数值类型问题，并据此分别构建纯文本数据集X1以及数值型数据集X2，所述数据集包含多条问题Q与最相关的段落Dk构成的语料；纯文本数据集X1包含纯文本类型问题Q与最相关的段落Dk构成的语料；数值型数据集X2包含数值类型问题Q与最相关的段落Dk构成的语料；对纯文本数据集X1按照8:1:1的比例，划分成训练集、验证集和测试集；对纯文本数据集X1使用Bi
‑
LSTM
‑
Attention网络结构训练模型，所述Bi
‑
LSTM
‑
...

【专利技术属性】
技术研发人员：付慧，孙弈骁，张国江，李双伟，杨景刚，胡成博，赵科，马径坦，贾骏，刘子全，
申请(专利权)人：国网江苏省电力有限公司电力科学研究院国家电网有限公司南京工业大学，
类型：发明
国别省市：