一种基于强化学习的双系统知识图谱的知识推理方法技术方案

一种基于强化学习的双系统知识图谱的知识推理方法，通过融合高精度的分布式表示推理的单步推理算法和强化学习策略路径，搭建用于推理的推理系统和用于评价的评价系统。训练完备的评价系统帮助推理系统训练，使得推理系统可以学习评价系统中的网络信息。基于训练完备的评价系统对推理系统的推理路径评价，完成路径推理。径推理。径推理。

【技术实现步骤摘要】
一种基于强化学习的双系统知识图谱的知识推理方法


[0001]本专利技术涉及，具体涉及一种基于强化学习的双系统知识图谱的知识推理方法。

技术介绍

[0002]人工智能走入产业后，可以分为感知智能、认知智能和行为智能，后两者更与生产力相对应，NLP和知识图谱是发展认知智能的基础。一方面，在面对数据多样、复杂，孤岛化，且单一数据价值不高的应用场景时，使用知识图谱推理技术将带来最佳的应用价值。另一方面，认知智能在是探寻人类学习、理解、产生决策的生物能力，而知识图谱推理是实现认知推理的关键技术。同时，对于自动搭建的知识图谱和手动搭建的图谱，往往都面临不完整、知识缺失、实例正确性判断等问题，难以应用到垂直搜索、问答系统等领域。解决方案之一是通过对知识图谱实施有效的知识多步推理，进行知识图谱补全、链接预测、实例正确性判断。这其中包括基于一阶谓词逻辑规则的推理算法、本体推理算法、基于随机路径游走的推理算法和基于分布式表示的推理算法。

技术实现思路

[0003]本专利技术为了克服以上技术的不足，提供了一种基于Bert预训练，融合强化学习思想和分布式表示推理的多步路径推理方法。
[0004]本专利技术克服其技术问题所采用的技术方案是：
[0005]一种基于强化学习的双系统知识图谱的知识推理方法，包括如下步骤：
[0006]a)将知识图谱的三元组数据输入基于Bert的预训练模型，处理得到三元组的嵌入向量表示vector
v～(e,r)
；
[0007]b)将嵌入向量表示vector
v～(e,r)
分别输入ComplEx模型和基于神经网络的ConvE模型后分别训练测试，两个训练测试互不干扰，得到训练完备的评价系统；
[0008]c)选择多层感知机模型或多层Transformer的Encoder，完成路径的推理，根据评价系统建立推理系统，得到训练完备的推理系统；
[0009]d)根据训练完备的评价系统和推理系统完成路径推理。
[0010]进一步的，步骤a)中通过公式计算得到三元组的嵌入向量表示vector
v～(e,r)
，式中e1为头实体，e2为尾实体，e1∈ξ，e2∈ξ，ξ为所有的实体集合，r∈R，R为所有的关系集合，为所有以Bert为基础的预训练模型。
[0011]进一步的，步骤b)中将嵌入向量表示vector
v～(e,r)
输入ComplEx模型训练测试的步骤为：
[0012]b-1.1)设模型的评分函数为s，s＝σ(φ(r
v
,e
v1
,e
v2
；Θ))＝σ(<Re(r
v
),Im(e
v1
),Im(e
v2
)>+<Im(r
v
),Re(e
v1
),Re(e
v2
)>-<Im(r
v
),Im(e
v1
),Re(e
v2
)>)，评分函数s表示关系r
v
与共轭向量e
v1
、共轭向量e
v2
的乘积求和并保留结果的实部，e1通过映射得到e
v1
，e2通过映射得到e
v2
，式中Re()表示取实部计算，Im()表示取实部计算表示取虚部计算，σ为对矩阵最后维度
的求和计算，Θ为当前模型参数，<>为复数之间的乘积；
[0013]b-1.2)将嵌入向量表示vector
v～(e,r)
输入到ComplEx模型中的进行训练测试，得到最优的模型ComplEx和模型精度CompleEx
mrr
。
[0014]进一步的，步骤b)中将嵌入向量表示vector
v～(e,r)
输入基于神经网络的ConvE模型训练测试的步骤为：
[0015]b-2.1)设打分函数为p，式中σ为非线性激活函数，式中W1为卷积操作权重，Proj为将前馈输出映射到嵌入维度，f
dropout
为dropout操作，f
FNN
为前馈神经网络的函数；
[0016]b-2.2)将嵌入向量表示vector
v～(e,r)
输入到基于神经网络的ConvE模型中的进行训练测试，得到最优的模型ConvE和模型精度ConvE
mrr
。
[0017]进一步的，步骤c)包括如下步骤：
[0018]c-1)设推理路径为(e
start
,r1,e2,r2,e
end
)，r1,e2,r2为推理系统的训练路径，其中r1和r2关系集合中的关系，e
start
与e
end
为向量表示，设路径长度为3；
[0019]c-2)将e
start
与e
end
进行向量堆叠，得到[e
start
,e
end
]；
[0020]c-3)将[e
start
,e
end
]输入到评价系统的ComplEx模型中得到ComplEx输出V
complex
，将[e
start
,e
end
]输入到评价系统的基于神经网络的ConvE模型中得到ConvE输出V
conve
，通过公式V
assess
＝V
complex
*ComplEx
mrr
+V
conve
*Conve
mrr
计算评价系统的模型输出V
assess
；
[0021]c-4)根据e
start
获取其所有相邻关系的向量表示，记为计算和V
assess
的欧几里得距离，通过公式选择最小距离值所对应的关系的向量表示V
r,true
；
[0022]c-5)将[e
start
,e
end
]输入到推理系统中得到模型输出向量V
pred
；
[0023]c-6)根据V
r,true
和V
pred
的差值作为推理系统的损失，更新推理系统网络模型，将V
r,true
对应的关系作为路径下一跳即r1；
[0024]c-7)将e
start
和r1进行向量堆叠，得到[e
start
:r1]；
[0025]c-8)迭代步骤c-3)至步骤c-6)，直至完成整个路径的推理；
[0026]c-9)在训练集上训练，得到训练后的推理系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的双系统知识图谱的知识推理方法，其特征在于，包括如下步骤：a)将知识图谱的三元组数据输入基于Bert的预训练模型，处理得到三元组的嵌入向量表示vector
v～(e,r)
；b)将嵌入向量表示vector
v～(e,r)
分别输入ComplEx模型和基于神经网络的ConvE模型后分别训练测试，两个训练测试互不干扰，得到训练完备的评价系统；c)选择多层感知机模型或多层Transformer的Encoder，完成路径的推理，根据评价系统建立推理系统，得到训练完备的推理系统；d)根据训练完备的评价系统和推理系统完成路径推理。2.根据权利要求1所述的基于强化学习的双系统知识图谱的知识推理方法，其特征在于：步骤a)中通过公式计算得到三元组的嵌入向量表示vector
v～(e,r)
，式中e1为头实体，e2为尾实体，e1∈ξ，e2∈ξ，ξ为所有的实体集合，r∈R，R为所有的关系集合，为所有以Bert为基础的预训练模型。3.根据权利要求2所述的基于强化学习的双系统知识图谱的知识推理方法，其特征在于，步骤b)中将嵌入向量表示vector
v～(e,r)
输入ComplEx模型训练测试的步骤为：b-1.1)设模型的评分函数为s，评分函数s表示关系r
v
与共轭向量e
v1
、共轭向量e
v2
的乘积求和并保留结果的实部，e1通过映射得到e
v1
，e2通过映射得到e
v2
，式中Re()表示取实部计算，Im()表示取实部计算表示取虚部计算，σ为对矩阵最后维度的求和计算，Θ为当前模型参数，< >为复数之间的乘积；b-1.2)将嵌入向量表示vector
v～(e,r)
输入到ComplEx模型中的进行训练测试，得到最优的模型ComplEx和模型精度CompleEx
mrr
。4.根据权利要求3所述的基于强化学习的双系统知识图谱的知识推理方法，其特征在于，步骤b)中将嵌入向量表示vector
v～(e,r)
输入基于神经网络的ConvE模型训练测试的步骤为：b-2.1)设打分函数为p，式中σ为非线性激活函数，式中W1为卷积操作权重，Proj为将前馈输出映射到嵌入维度，f
dropout
为dropout操作，f
FNN
为前馈神经网络的函数；b-2.2)将嵌入向量表示vector
v～(e,r)
输入到基于神经网络的ConvE模型中的进行训练测试，得到最优的模型ConvE和模型精度ConvE
mrr
。5.根据权利要求4所述的基于强化学习的双系统知识图谱的知识推理方法，其特征在于，步骤c)包括如下步骤：c-1)设推理路径为(e
start
,r1,e2,r2,e
end
)，r1,e2,r2为推理系统的训练路径，其中r1和r2关系集合中的关系，e
start
与e
end
为向量表示，设路径长度为3；c-2)将e
start
与e
end
进行向量堆叠，得到[e
start
,e
end
]；
c...

【专利技术属性】
技术研发人员：舒明雷，刘浩，王英龙，周书旺，刘照阳，高天雷，单珂，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：