【技术实现步骤摘要】
本专利技术属于深度学习和知识图谱，尤其涉及一种基于深度学习网络训练的知识图谱嵌入方法。
技术介绍
1、知识图谱以三元组的形式表现现实世界中不同事物及其之间的关系，在人工智能领域、搜索引擎优化、智能问答、系统推荐、信息检索、知识推理以及疾病分类等医药信息方面有广泛的应用。三元组包括头实体、关系以及尾实体，头实体和尾实体属于同一个实体集合，关系属于不同关系的集合；每个三元组表示一个头实体和一个尾实体间存在一个正确的关系；由于知识图谱的来源广泛，导致三元组集合异常庞大，而且实体和关系属于抽象概念，难以量化，故需要使用知识图谱嵌入方法；知识图谱嵌入是指将知识图谱中的实体和关系映射到低维向量空间的过程，即使用有限长的数据向量来表示实体和关系，从而将抽象的实体和关系转化成了对应的数值向量。
2、人工智能的蓬勃进展使得人们希望将深度学习网络引入知识图谱嵌入中，但是受限于较低的训练效率，基于卷积神经网络模型的嵌入方法少，网络结构简单；大多数的模型都基于一个准则：对真实的三元组，模型的输出低，也称为打分低，虚假的三元组，模型打分高。这类算法通过最小化打分损失函数的方法训练此类模型，在模型收敛后便完成知识图谱嵌入。
3、但是，目前的知识图片嵌入技术存在以下几个问题：
4、第一：常见的知识图谱嵌入技术较简单，难以抽取利用向量之间潜在的关系；
5、第二：由于知识图谱数量巨大，参数较多的模型训练效率低下，阻碍了深度学习模型在知识图谱嵌入中的研究和应用。
技术实现思路>
1、针对现有技术中的上述不足，本专利技术提供的一种基于深度学习网络训练的知识图谱嵌入方法，解决了现有知识图谱嵌入技术中难以抽取向量之间的潜在关系以及训练概率低的问题。
2、为了达到以上目的，本专利技术采用的技术方案为：一种基于深度学习网络训练的知识图谱嵌入方法，包括以下步骤：
3、s1、将实体集和关系集中的各实体和关系用随机产生、服从均匀分布且维度为预设维度的向量表示，并对各向量进行归一化，抽取对应的关系和实体向量构成三元组向量并组合为训练集；
4、s2、构建深度学习网络，并利用随机化方式，对深度学习网络的参数进行初始化；
5、s3、根据训练集，利用随机抽取获得正样本，并利用最邻近方式和常用方式，按照预设概率构造负样本；
6、s4、将正样本与负样本输入至深度学习网络作为输入信号进行训练，得到低层特征信号，并将低层特征信号输入至分类子网络和打分子网络，分别得到分类预测概率和样本分数；
7、s5、根据损失函数、分类预测概率以及样本分数，利用误差回传梯度下降训练的方式，对深度学习网络的参数和输入信号进行更新，并对更新的输入信号进行归一化；
8、s6、若归一化后的已更新输入信号矢量满足预设条件，完成知识图谱嵌入，否则，返回步骤s3。
9、本专利技术的有益效果为：本专利技术利用最邻近负样本构造方法，将深度学习网络的学习重点集中到三元组向量，加快了深度学习网络收敛的速度，提升了深度学习网络学习的性能；构建深度学习网络，使本专利技术具备提取三元组间潜在信息的能力，并降低了部分样本对深度学习网络输出产生的影响；利用分类和打分两种不同的损失函数，加快了深度学习网络的收敛速度，增加了深度学习网络的特征提取能力；解决了现有知识图谱嵌入技术中难以抽取向量之间的潜在关系以及训练效率低的问题。
10、进一步地，所述s1包括以下步骤：
11、s101、根据实体集和关系集，利用随机产生、服从均匀分布且维度为预设维度的向量表示实体集和关系集中每个实体和关系，并对每个向量进行归一化，得到实体向量集和关系向量集；
12、s102、根据实体向量集和关系向量集，抽取三元组中对应的向量构成三元组向量，并将三元组向量组合为训练集。
13、上述进一步方案的有益效果为：本专利技术将实体集和关系集中的各关系和实体进行向量表示并归一化为三元组向量，组合得到训练集，提高了本专利技术方法的处理速度，并使三元组向量的潜在关系更容易被提取。
14、再进一步地，所述s3包括以下步骤：
15、s301、根据训练集，利用随机抽取获得随机三元组，并将随机三元组作为正样本；
16、s302、利用随机数生成器，产生在预设区间均匀分布的随机数，若随机数大于预设阈值，则使用最邻近方式构造负样本，否则使用常用方式构造负样本。
17、再进一步地，所述s302中最邻近方式构造负样本的具体步骤如下：
18、根据正样本中三个分量，随机选择一个分量作为替代分量，并根据替代分量，利用实体集随机选择多个负样本分量，计算各负样本与对应正样本分量之间的样本距离，对各样本距离进行排序，选出最小样本距离对应的负样本分量，将负样本分量替代正样本中的替代分量，构造负样本。
19、上述进一步方案的有益效果为：本专利技术使用最邻近负样本的构造方法，将网络训练的重点放到具有更高价值的输入信号上，提高了本专利技术方法的准确度，并提升了知识图谱嵌入效果。
20、再进一步地，所述s4包括以下步骤：
21、s401、利用正样本与对应负样本，构建高维矩阵，并将高维矩阵输入至深度学习网络作为输入信号进行训练；
22、s402、利用卷积层和池化层对输入信号进行处理，得到低层特征信号；
23、s403、将低层特征信号输入至分类子网络和打分子网络；
24、s404、利用分类子网络中展平层，将低层特征信号展平为一维信号，经过全连接层连接后，利用归一化指数函数计算得到分类预测概率；
25、s405、利用打分子网络中卷积模块提取低层特征信号的高层特征，利用最大池化层对高层特征进行尺寸缩减，计算得到打分函数输出的样本分数。
26、上述进一步方案的有益效果为：本专利技术通过将分类网络置于主干网的低层，将打分网络置于主干网的高层，加快了深度学习网络收敛的速度，提高了深度学习网络利用深层信息的能力；并采用多层卷积，提升了深度学习网络提取和利用向量之间深层特征的能力，并能够对同一向量内部的特征进行处理。
27、再进一步地，所述s5包括以下步骤：
28、s501、根据分类预测概率和真实标签计算第一损失函数，根据样本分数计算第二损失函数，利用第一损失函数和第二损失函数，得到总损失函数；
29、s502、根据第二损失函数，得到打分子网络的梯度矩阵表达式，并根据打分子网络的输出层梯度矩阵，利用误差回传梯度下降的方式，依次计算除输出层外其余每一层的梯度，计算得到第二损失函数对打分子网络的每层梯度；
30、s503、根据第一损失函数，得到分类子网络的梯度矩阵表达式，并根据分类子网络的输出层梯度矩阵，利用误差回传梯度下降的方式，依次计算除输出层外其余每一层的梯度，计算得到第一损失函数对分类子网络的每层梯度；
31、s504、根据打分子网络的梯度和分类子网络的梯度，计算得到本文档来自技高网...
【技术保护点】
1.一种基于深度学习网络训练的知识图谱嵌入方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习网络训练的知识图谱嵌入方法，其特征在于，所述S1包括以下步骤：
3.根据权利要求1所述的基于深度学习网络训练的知识图谱嵌入方法，其特征在于，所述S3包括以下步骤：
4.根据权利要求2所述的基于深度学习网络训练的知识图谱嵌入方法，其特征在于，所述S302中使用最邻近方式构造负样本，具体如下：
5.根据权利要求1所述的基于深度学习网络训练的知识图谱嵌入方法，其特征在于，所述S4包括以下步骤：
6.根据权利要求1所述的基于深度学习网络训练的知识图谱嵌入方法，其特征在于，所述S5包括以下步骤：
7.根据权利要求6所述的基于深度学习网络训练的知识图谱嵌入方法，其特征在于，所述总损失函数的表达式如下所示：
8.根据权利要求7所述的基于深度学习网络训练的知识图谱嵌入方法，其特征在于，所述打分子网络的梯度矩阵的表达式如下所示：
9.根据权利要求8所述的基于深度学习网络训练的知识图谱嵌入方法，
...【技术特征摘要】
1.一种基于深度学习网络训练的知识图谱嵌入方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习网络训练的知识图谱嵌入方法，其特征在于，所述s1包括以下步骤：
3.根据权利要求1所述的基于深度学习网络训练的知识图谱嵌入方法，其特征在于，所述s3包括以下步骤：
4.根据权利要求2所述的基于深度学习网络训练的知识图谱嵌入方法，其特征在于，所述s302中使用最邻近方式构造负样本，具体如下：
5.根据权利要求1所述的基于深度学习网络训练的知识图谱嵌入方法，其特征在...
【专利技术属性】
技术研发人员：李晓勐，夏昂，石进，胡威，袁洲，林冰洁，王子萌，刘孟奇，李慧敏，张哲宁，李伟，陈晓雪，王秋力，张孙奇，张永辉，卢腾，崔兆伟，李清波，魏家辉，曹津平，尚智婕，刘春晓，
申请(专利权)人：国家电网有限公司信息通信分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。