一种基于深度学习与知识图谱的糖尿病问答方法技术

本发明专利技术公开了一种基于深度学习与知识图谱的糖尿病问答方法。涉及知识问答领域，该方法利用知识图谱嵌入学习将知识图谱转化为连续空间中的低维向量，将问句输入到实体关系表示学习模型，获取头部实体和关系在知识图谱嵌入空间中的表示向量。根据头部实体检测模型学习到问题中蕴含的头部实体名称，搜索整个知识图谱构建候选三元组集合。对于候选集合中的所有三元组，根据联合距离计算找到最小距离的事实三元组，根据三元组中的头部实体和关系查找问题的答案，测试结果表明所提出的糖尿病问答方法有效地提升糖尿病知识问答的准确率。方法有效地提升糖尿病知识问答的准确率。方法有效地提升糖尿病知识问答的准确率。

【技术实现步骤摘要】
一种基于深度学习与知识图谱的糖尿病问答方法


[0001]本专利技术涉及知识问答领域，尤其涉及一种基于深度学习与知识图谱的糖尿病问答方法。

技术介绍

[0002]智能问答系统相较于传统的搜索引擎更加智能，能够直接提供精准的信息。在人工智能的时代，人们希望能够以简单的交互方式和机器沟通。智能问答系统就是以自然语言为交互方式的信息服务系统。系统先通过理解用户提出的自然语言问句，之后从互联网庞大的数据中抽取相关的信息，最终直接返回一个准确的答案。最初的技术主要利用信息检索在存储的数据中获取答案，由于早期技术研究落后以及数据规模的局限，还无法直接得到准确的答案。近些年来，随着知识图谱领域的发展，智能问答领域开启了新的路线，KG为实现更加智能的问答系统提供了强有力的支持。
[0003]随着自然语言处理技术的发展，开始引入深度学习研究更加智能且更具扩展性的知识图谱问答，为智能问答系统提供更强力的支撑。深度学习带来了更加智能的自然语言理解方法。然而，由于复杂的文本结构和语义模糊性，要实现基于深度学习模型自动提取知识单元并保证准确性存在众多困难。而互联网发展带来了超大规模的无标签开放文本语料，利用深度学习技术在这些数据上进行训练得到的预训练语言模型，能够学习到丰富的语义信息并且应用在智能问答中提升对问句语义的理解。除此之外，通过深度学习也能够从知识图谱三元组中学习得到保存有结构信息的知识图谱嵌入，提升知识图谱下游任务的糖尿病性能。本文旨在基于以上深度学习的发展成果，研究基于预训练语言模型和知识图谱嵌入的知识图谱问答技术，提高知识图谱问答中实体检测的效果，改善问句中模糊关系难以识别的问题，有效地完成问题的智能问答。

技术实现思路

[0004]本专利技术目的在于对问句进行语义解析，借助于深度学习的思想并且将知识图谱嵌入融合到模型中，通过联合距离公式在知识图谱中查询获得答案。
[0005]为了实现上述专利技术目的，本专利技术将采用一种基于深度学习与知识图谱的糖尿病问答方法，可选地，所述方法包括以下步骤：
[0006]步骤一：利用实体/关系表示学习模型从问句中预测得到实体/关系表示；
[0007]步骤二：对问句进行头部实体检测模型，得到头部实体；
[0008]步骤三：根据检测的头部实体在知识图谱嵌入TransR中生成候选集合；
[0009]步骤四：对于候选集合中的每个三元组，计算联合距离；
[0010]步骤五：根据联合距离结果，选择距离最小的三元组作为结果；
[0011]步骤六：依据三元组的头部实体和关系得到答案；
[0012]2、根据权利要求1所述的一种基于深度学习与知识图谱的糖尿病问答方法，其特征在于，步骤一中所述对实体关系表示学习包括以下步骤：
[0013]步骤一：使用BERT模型编码字符级向量，使用树形LSTM编码单词级向量。
[0014]步骤二：采用局部注意力机制，注意力权值的数值根据节点与最终学习的表示的关联性决定。
[0015][0016]q
j
＝tanh(w
T
[x
j
；h
j
]+b
q
)
ꢀꢀ
(2)
[0017]步骤三：将注意力权重应用到隐藏状态上，将其与单词嵌入链接，得到隐藏状态，然后接入一层全连接层，将其结果取平均作为目标向量；
[0018][0019]3、根据权利要求1所述的一种基于深度学习与知识图谱的糖尿病问答方法，其特征在于，步骤二中所述利用头部实体检测模型对问句进行头部实体检测包括以下步骤：
[0020]步骤一：将给定的自然语言问句作为输入序列传入预训练语言模型BERT中，学习文本序列中的语义信息得到字符级别的嵌入向量；
[0021]步骤二：将预训练语言模型层得到的嵌入作为双向GRU层的输入；
[0022]步骤三：将双向GRU层得到的输出通过注意力机制为文本序列中每个单词计算其权重参数，最后加权计算获取新的序列表示输出；
[0023]步骤四：采用CRF模型通过自动学习输入序列标签中存在的客观约束，为最终序列标注结果提供约束条件，提高结果的准确率；
[0024]4、根据权利要求1所述的一种基于深度学习与知识图谱的糖尿病问答方法，其特征在于，步骤三中所述采用transR方法将知识图谱转化为知识图谱嵌入包括以下步骤：
[0025]步骤一：根据三元组存在的关系建立一个投影矩阵Mr；
[0026]h
r
＝hM
r
，t
r
＝tM
r
ꢀꢀ
(4)
[0027]步骤二：为了让拥有同一种关系的头部实体和尾部实体更加接近，使用评分公式；
[0028][0029]步骤三：知识图谱嵌入在训练过程中需要构建负例，对于知识图谱中给定的三元组，使用随机实体取代原有的头部实体或者尾部实体，从而构建出三元组的负例集合。得到构建的三元组数据后，定义损失函数；
[0030]L＝∑
(h，r，t)∈S
∑
(h
′
，r，t
′
)∈S
′
max(0，f
r
(h，t)+γ
‑
f
r
(h
′
，t
′
))
ꢀꢀ
(6)
[0031]5、根据权利要求1所述的一种基于深度学习与知识图谱的糖尿病问答方法，其特征在于，步骤四中所述联合距离计算包括以下步骤：
[0032]步骤一：根据实体关系表示学习模型获得问句中的实体表示h
′
和关系表示r
′
；
[0033]步骤二：利用尾实体为头实体与关系的和的特性设计联合距离公式，其中c(h+r)是三元组中头部实体字符和关系字符拼接得到的文本序列，q是问句单词序列，sim表示相似度计算，f(h，r)表示二者相加；
[0034]f(h，r，h
′
，r
′
)＝||h
‑
h
′
||2+w1||r
‑
r
′
||2+w2||f(h，r)
‑
f(h
′
，r
′
)||2‑
w3sim[c(h+r)，q](7)
附图说明
[0035]图1是本专利技术所述的糖尿病问答方法框架图。
[0036]图2是本专利技术所述的头部实体检测结构图。
具体实施方式
[0037]为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图对本专利技术实施方案进一步详细描述。
[0038]步骤一：本实验结果均在Ubuntu16.04系统Matlab下PyCharm平台下完成，使用中文知识图谱问答数据集NLPCC
‑
2016
‑
KBQA对方法进行验证本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习与知识图谱的糖尿病问答方法，其特征在于，所述方法包括以下步骤：步骤一：利用实体/关系表示学习模型从问句中预测得到实体/关系表示；步骤二：对问句进行头部实体检测模型，得到头部实体；步骤三：根据检测的头部实体在知识图谱嵌入TransR中生成候选集合；步骤四：对于候选集合中的每个三元组，计算联合距离；步骤五：根据联合距离结果，选择距离最小的三元组作为结果；步骤六：依据三元组的头部实体和关系得到答案。2.根据权利要求1所述的一种基于深度学习与知识图谱的糖尿病问答方法，其特征在于，步骤一中所述对实体关系表示学习包括以下步骤：步骤一：使用BERT模型编码字符级向量，使用树形LSTM编码单词级向量。步骤二：采用局部注意力机制，注意力权值的数值根据节点与最终学习的表示的关联性决定。q
j
＝tanh(w
T
[x
j
；h
j
]+b
q
)
ꢀꢀ
(2)步骤三：将注意力权重应用到隐藏状态上，将其与单词嵌入链接，得到隐藏状态，然后接入一层全连接层，将其结果取平均作为目标向量；3.根据权利要求1所述的一种基于深度学习与知识图谱的糖尿病问答方法，其特征在于，步骤二中所述利用头部实体检测模型对问句进行头部实体检测包括以下步骤：步骤一：将给定的自然语言问句作为输入序列传入预训练语言模型BERT中，学习文本序列中的语义信息得到字符级别的嵌入向量；步骤二：将预训练语言模型层得到的嵌入作为双向GRU层的输入；步骤三：将双向GRU层得到的输出通过注意力机制为文本序列中每个单词计算其权重参数，最后加权计算获取新的序列表示输出；步骤四：采用CRF模型通过自动学习输入序列标签中存在的客观约束，为最终序列标注结果提供约束条件，提高结果的准确率。4.根据权利要求1所述的一种基于深度学习与知识图谱的糖尿病问答方法，其特征在于，步骤三中所述采用transR方法将知识图谱转化为知识图谱嵌入包括以下步骤：步骤一：根...

【专利技术属性】
技术研发人员：钱景辉，贺尔欣，杨小健，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：