一种基于语义解析与向量建模结合的问答方法技术

本发明专利技术公开了一种基于语义解析与向量建模结合的问答方法，包括完成问句的命名实体识别，完成槽位填充，完成问句的意图识别，确认识别的意图，根据问句的实体与意图，通过知识图谱查询语言完成答案查询，识别的意图不在预先设计的意图范围内，则需要根据步骤2识别的实体，查询该实体关联的多个三元组，完成该实体的子图召回，分别对问句与子图的路径进行编码和排序，对排序后的分数进行比较，返回最高分数的路径作为答案，完成答案查询，通过对输入的问句理解，并且结合知识图谱进行召回排序，返回高精确率的答案，可以用准确、简洁的自然语言回答用户用自然语言提出的问句。语言回答用户用自然语言提出的问句。语言回答用户用自然语言提出的问句。

【技术实现步骤摘要】
一种基于语义解析与向量建模结合的问答方法


[0001]本专利技术涉及自然语言处理
，具体涉及一种基于语义解析与向量建模结合的问答方法。

技术介绍

[0002]随着信息技术的快速发展，对于人工智能方向的研究越来越深入，研究者也已经开始了对智能问答系统研究，各种数据集也开始出现。随着知识图谱的快速发展，为智能问答提供了新的知识源。知识图谱可以当作一种语义网络，知识图谱中的节点代表相关知识的实体或者概念，有向边代表实体间的联系，知识图谱能够将实体间的关系可视化，以更直观的方式将数据间的关系表示出来，更加符合人们的认知习惯，基于知识图谱的智能问答开始吸引许多研究者的关注。
[0003]基于知识图谱问答系统，通过对问句的语义理解和解析，利用知识库进行查询和推理得到答案，需要依赖知识图谱的数据寻找答案，准确率较高，评判标准由三个值组成，召回率、精确率和F1值。相关的基于知识图谱问答系统的技术方案有语义解析、信息检索以及向量建模。基于语义解析的问答算法是将自然语言转化为一系列形式化的逻辑形式，并通过对这些逻辑形式进行自下而上的分析，得到能够表达整个问句语义的逻辑形式，通过对应的查询语句，在知识图谱中查询得到答案，但是仅仅使用这类方法返回答案的准确率不高。基于向量建模的方法是将知识库问答视为语义匹配过程，通过表示学习知识图谱和用户问句的进行向量映射，得到一个低维空间中的数值向量，然后通过数值计算，直接匹配出与用户问句语义最相似的答案，即问答任务可以看成是计算问句句的语义向量与知识库中实体和边的语义向量相似度的过程。r/>[0004]现有的问答系统方法大多集中在简单的问句上，即仅涉及一个实体和一个关系，常见的解决方法是将问句映射到知识图谱中的三元组查询，即能得到答案，而涉及多个实体和关系的复杂问句，一般的KBQA方法则不能很好的工作。

技术实现思路

[0005]根据现有技术的不足，本专利技术的目的是提供一种基于语义解析与向量建模结合的问答方法，通过对输入的问句理解，并且结合知识图谱进行召回排序，最终返回一个高精确率的答案，可以用准确、简洁的自然语言回答用户用自然语言提出的问句。
[0006]为了解决上述技术问句，本专利技术采用的技术方案为：
[0007]一种基于语义解析与向量建模结合的问答方法，包括：
[0008]步骤1、对用户输入的问句进行预处理，获取高质量的词向量，并获得最优预测序列，完成问句的命名实体识别，获取实体；
[0009]步骤2、如果步骤1识别到的实体不是标准的称谓，则该实体链指到知识图谱中唯一的实体，重新获取实体，如果步骤1识别到的实体是标准的称谓，则使用该实体；
[0010]步骤3、将步骤2获取到的唯一的实体作为槽位，如果在该轮问句的槽位识别为空，
则需要加载用户对话的上下文，继承上一轮对话保存的槽位，完成槽位填充；
[0011]步骤4、完成问句的意图识别；
[0012]步骤5、如果意图识别不明确，则使用预先设计好的语义槽模板，回复澄清话术对意图做一个确认，意图正确则跳转步骤6，意图不正确则跳转步骤7；
[0013]步骤6、根据问句的实体与意图，通过知识图谱查询语言完成答案查询；
[0014]步骤7、识别的意图不在预先设计的意图范围内，则需要根据步骤2识别的实体，查询该实体关联的多个三元组，完成该实体的子图召回；
[0015]步骤8、分别对问句与步骤7的子图的路径进行编码和排序，对排序后的分数进行比较，返回最高分数的路径作为答案，完成答案查询。
[0016]进一步地，所述步骤1包括：建立BERT
‑
BiLSTM
‑
CRF模型，用BERT模块对问句做预处理，将问句输入到BERT模型中，经过双向Transformer结构，得到词向量，BiLSTM模块通过双向LSTM计算输入隐藏信息，利用CRF模块，对BiLSTM模块输出进行解码，求解最优路径，获取最优预测序列。
[0017]进一步地，BERT
‑
BiLSTM
‑
CRF模型完成问句的命名实体识别的步骤具体包括：
[0018]步骤101、在BERT模块中输入问句，通过BERT模块获取多个词向量，词向量分别表示为w1、w2、w3,
…
,w
n
，每个词向量具有对应的标签；
[0019]步骤102、在BiLSTM模块中，输入每个词向量的embedding，再使用双向的LSTM模型，提取每个词向量在其上下文的语义表达向量；
[0020]步骤103、使用softmax来对词向量的语义向量进行解码；
[0021]步骤104、通过CRF模块对BiLSTM模块输出结果进行解码，标注序列L和问句W，问句W由用户给定，标注序列L是在给定问句W的输出，其中，CRF模块中，给定问句W，问句W中包括n个词向量，根据特征函数集来对标注序列进行评分，获取转移分数，根据标注序列的概率值的最大值获取最优预测序列，令W＝(w1,w2,w2,
…
w
n
)，L＝(l1,l2,l3,
…
l
n
)，转移分数的计算公式如下：
[0022][0023]其中，score(L/W)为转移分数，f
k
表示特征函数，给每一个特征函数赋予一个权重λ
k
，n表示标注序列的长度，K表示特征函数的个数，k表示特征函数的下标，i表示标注序列或问句中词向量的下标；
[0024]标注序列的概率值的具体计算公式如下：
[0025][0026]其中，p(L/W)为标注序列的概率值，W为问句，L为标注序列,score(L/W)为转移分数。
[0027]进一步地，所述步骤2包括：对步骤1识别出来的实体的属性链接到知识图谱中相关实体的属性，通过双向LSTM算法模型，可以得到问句以及对应的候选关系或属性的向量表示，通过获取语义相似度，确定问句链接到知识图谱的实体，令问句中抽取的实体候选词是W，知识图谱中实体是Z，Z＝(z1,z2,z3,
…
z
n
)，N表示实体W与实体Z对应的N维向量，则语义
相似度具体计算公式如下：
[0028][0029]其中，cos(W,Z)为语义相似度，j表示N维向量中的第j个词。
[0030]进一步地，所述步骤4包括：使用BERT
‑
TextCNN模型识别问句意图，将原始输入进行token嵌入，段嵌入和位置嵌入的表示后，输入至BERT模块并生成词向量矩阵，进而通过TextCNN模块的卷积层进行卷积运算生成特征图，再通过TextCNN的池化层进行最大池化运算，在最终全连接层中，使用softmax激活函数输出意图分类结果，结果在0
‑
1之间，取最大值为最终的意图；
[0031]由TextCNN的卷积层进行卷积运算生成特征图，得到特征公式为：
[0032][本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义解析与向量建模结合的问答方法，其特征在于，包括：步骤1、对用户输入的问句进行预处理，获取高质量的词向量，并获得最优预测序列，完成问句的命名实体识别，获取实体；步骤2、如果步骤1识别到的实体不是标准的称谓，则该实体链指到知识图谱中唯一的实体，重新获取实体，如果步骤1识别到的实体是标准的称谓，则使用该实体；步骤3、将步骤2获取到的唯一的实体作为槽位，如果在该轮问句的槽位识别为空，则需要加载用户对话的上下文，继承上一轮对话保存的槽位，完成槽位填充；步骤4、完成问句的意图识别；步骤5、如果意图识别不明确，则使用预先设计好的语义槽模板，回复澄清话术对意图做一个确认，意图正确则跳转步骤6，意图不正确则跳转步骤7；步骤6、根据问句的实体与意图，通过知识图谱查询语言完成答案查询；步骤7、识别的意图不在预先设计的意图范围内，则需要根据步骤2识别的实体，查询该实体关联的多个三元组，完成该实体的子图召回；步骤8、分别对问句与步骤7的子图的路径进行编码和排序，对排序后的分数进行比较，返回最高分数的路径作为答案，完成答案查询。2.根据权利要求1所述的基于语义解析与向量建模结合的问答方法，其特征在于，所述步骤1包括：建立BERT
‑
BiLSTM
‑
CRF模型，用BERT模块对问句做预处理，将问句输入到BERT模型中，经过双向Transformer结构，得到词向量，BiLSTM模块通过双向LSTM计算输入隐藏信息，利用CRF模块，对BiLSTM模块输出进行解码，求解最优路径，获取最优预测序列。3.根据权利要求2所述的基于语义解析与向量建模结合的问答方法，其特征在于，BERT
‑
BiLSTM
‑
CRF模型完成问句的命名实体识别的步骤具体包括：步骤101、在BERT模块中输入问句，通过BERT模块获取多个词向量，词向量分别表示为w1、w2、w3，...，w
n
，每个词向量具有对应的标签；步骤102、在BiLSTM模块中，输入每个词向量的embedding，再使用双向的LSTM模型，提取每个词向量在其上下文的语义表达向量；步骤103、使用softmax来对词向量的语义向量进行解码；步骤104、通过CRF模块对BiLSTM模块输出结果进行解码，标注序列L和问句W，问句W由用户给定，标注序列L是在给定问句W的输出，其中，CRF模块中，给定问句W，问句W中包括n个词向量，根据特征函数集来对标注序列进行评分，获取转移分数，根据标注序列的概率值的最大值获取最优预测序列，令W＝(w1，w2，w2，...w
n
)，L＝(l1，l2，l3，...l
n
)，转移分数的计算公式如下：其中，score(L/W)为转移分数，f
k
表示特征函数，给每一个特征函数赋予一个权重λ
k
，n表示标注序列的长度，K表示特征函数的个数，k表示特征函数的下标，i表示标注序列或问句中词向量的下标；标注序列的概率值的具体计算公式如下：
其中，p(L/W)为标注序列的概率值，W为问句，L为标注序列，score(L/W)为转移分数。4.根据权利...

【专利技术属性】
技术研发人员：马小林，周至春，旷海兰，刘新华，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：