一种基于Attention-LSTM的强化学习Agent知识推理方法技术

一种基于Attention‑LSTM的强化学习Agent知识推理方法，通过双向长短期记忆网络可以有效记忆知识图谱推理路径，同时注意力机制对记忆路径状态加权获取需要关注的状态，抑制无效状态，实现记忆路径筛选，有效解决强化学习Agent的知识推理不能有效记忆推理路径问题，本发明专利技术通过在强化学习Agent中使用LSTM‑Attention网络模型进行关系路径特征提取，同时优化回报机制，有效提升基于强化学习的知识图谱推理算法在多个基准数据集下的推理精度。

【技术实现步骤摘要】
一种基于Attention-LSTM的强化学习Agent知识推理方法
本专利技术涉及强化学习和深度学习
，具体涉及一种基于Attention-LSTM的强化学习Agent知识推理方法。
技术介绍
自动搭建的知识图谱和手动搭建的图谱，都面临不完整性、知识缺失、实例正确性判断等问题，难以应用到垂直搜索、问答系统等领域。解决方案之一通过对知识图谱实施有效的知识多跳推理，进行知识图谱补全、链接预测、实例正确性判断。目前，该领域技术涉及基于一阶逻辑规则的知识推理只适用单跳路径、基于随机路径排名的知识推理不适用大规模知识图谱、基于FNN强化学习Agent的知识推理不能有效记忆推理路径。
技术实现思路
本专利技术为了克服以上技术的不足，提供了一种有效提升基于强化学习的知识图谱推理算法在多个基准数据集下的推理精度的方法。本专利技术克服其技术问题所采用的技术方案是：一种基于Attention-LSTM的强化学习Agent知识推理方法，包括如下步骤：a)加载知识图谱三元组训练集、验证集、测试集，对数据集进行预处理操本文档来自技高网...

【技术保护点】
1.一种基于Attention-LSTM的强化学习Agent知识推理方法，其特征在于，包括如下步骤：/na)加载知识图谱三元组训练集、验证集、测试集，对数据集进行预处理操作；/nb)加载知识嵌入模型，获取数据集的词向量表示；/nc)定义用来实现强化学习Agent和评价函数交互的强化学习环境并对环境初始化，定义交互函数；/nd)搭建双向长短期记忆网络模型，进行LSTM模型参数设置，对LSTM模型的输出添加Attention注意力机制，对所有关系添加注意力权重参数；/ne)根据步骤d)中的网络模型构建Agent，将步骤b)中的词向量输入LSTM模型，得到所有邻接关系的可能性概率估计；/nf)根据时...

【技术特征摘要】
1.一种基于Attention-LSTM的强化学习Agent知识推理方法，其特征在于，包括如下步骤：
a)加载知识图谱三元组训练集、验证集、测试集，对数据集进行预处理操作；
b)加载知识嵌入模型，获取数据集的词向量表示；
c)定义用来实现强化学习Agent和评价函数交互的强化学习环境并对环境初始化，定义交互函数；
d)搭建双向长短期记忆网络模型，进行LSTM模型参数设置，对LSTM模型的输出添加Attention注意力机制，对所有关系添加注意力权重参数；
e)根据步骤d)中的网络模型构建Agent，将步骤b)中的词向量输入LSTM模型，得到所有邻接关系的可能性概率估计；
f)根据时间步进行迭代，在迭代结束后对累加结果求导计算，得到更新后的模型网络参数；
g)当给定实体对(e1,e2)后，根据MRR和hit10评估模型推理出该实体对之间路径的准确率。


2.根据权利要求1所述的基于Attention-LSTM的强化学习Agent知识推理方法，其特征在于：步骤a)中的预处理操作包括统计训练的推理路径信息、统计测试的推理路径信息及对实体关系令牌化。


3.根据权利要求1所述的基于Attention-LSTM的强化学习Agent知识推理方法，其特征在于：步骤b)中通过基于OpenKE的TransH、TransE、TransR、DistinctMult、CompLEx嵌入模型，得到三元组中实体关系的嵌入式词向量表示，每一个实体和关系都映射为一个密集连续词向量。


4.根据权利要求1所述的基于Attention-LSTM的强化学习Agent知识推理方法，其特征在于：步骤c)中通过公式P(St+1＝s′|St＝s,max(At)＝a)定义在t时刻的状态转移方程，式中P为t+1时刻选择一个s′的概率，s′为t+1时刻的状态变量，a为t时刻根据状态St选择的最大...

【专利技术属性】
技术研发人员：舒明雷，刘浩，王英龙，刘辉，陈超，
申请(专利权)人：山东省人工智能研究院，
类型：发明
国别省市：山东;37