【技术实现步骤摘要】
本专利技术涉及基于多尺度注意力网络的知识图谱链接预测方法，属于知识图谱。
技术介绍
1、知识图谱以结构化的方式来表示现实世界的知识，受益于其强大的语义信息处理能力和组织能力，提供了更好的组织、管理和理解海量信息的能力。知识图谱与大数据和深度学习一起，正在成为推动人工智能发展的核心驱动力，已经被广泛的应用于推荐系统和问答系统等等。在垂直领域，知识图谱同样有着广阔的应用前景，与chatgpt等大语言模型不同，基于知识图谱的下游应用从图谱中获得精确的结果，而垂直领域往往数据量并不充足，无法实现大语言模型的海量数据学习，基于知识图谱的推理能获得更高的精度和更准确的信息。然而，知识图谱的构建是一个普遍存在的难题，知识图谱中的知识往往难以及时补充，导致现实世界大多数知识图谱存在不完整和片面性的问题，难以支持工程应用。
2、链接预测技术通过已知的事实来预测缺失的或未知的链接，成为知识图谱补全的关键技术。知识图谱是由大量三元组组成的基于多关系的图，其中，(h，r，t)分别代表头实体、关系、尾实体。链接预测可以根据已有的三元组来推断缺失的链接信息。例如图1所示，我们知道埃隆·马斯克是open ai的创始人之一。同时，埃隆·马斯克是萨姆·奥特曼的同事，格雷格·布罗克曼也是萨姆·奥特曼的同事。那么，我们能推断格雷格·布罗克曼也是open ai的创始人吗？同样，我们也可以利用图中的信息来尝试推断萨姆·奥特曼的国籍以及他的毕业院校等信息。
3、近年来，基于卷积神经网络的知识图谱嵌入模型由于增加了实体和关系的交互特征数量和深度在链接
技术实现思路
1、针对现有知识图谱嵌入模型在获取更多交互特征的同时会淹没重要特征的问题，本专利技术提供一种基于多尺度注意力网络的知识图谱链接预测方法。
2、本专利技术的一种基于多尺度注意力网络的知识图谱链接预测方法，包括，
3、建立知识图谱嵌入模型，包括输入模块、编码模块和得分模块；
4、对知识图谱嵌入模型进行训练：
5、输入模块将头实体和关系转化为相同维度的头实体向量h和关系向量r，再将头实体向量h和关系向量r按棋盘格的形状排布，得到特征矩阵；
6、编码模块利用多个不同尺寸的卷积核在特征矩阵上进行卷积以提取不同视野的特征信息，得到多个特征图；再采用多尺度全局自适应选择模块对多个特征图进行重要特征的强化和无用特征的抑制，得到多个基于权重选择的特征图；将多个基于权重选择的特征图在通道维度上拼接，得到拼接后特征图；
7、得分模块将拼接后特征图压平为一维向量并投影到尾实体的向量空间获得隐藏层向量，隐藏层向量的维度与尾实体向量t的维度相同；将隐藏层向量与知识图谱中所有尾实体向量t分别做矩阵乘法，得到头实体向量h、关系向量r和尾实体向量t的三元组分数；选择得分最高的三元组作为链接预测结果；
8、采用最小化交叉熵损失函数实现知识图谱嵌入模型的训练，最终得到训练后知识图谱嵌入模型；采用训练后知识图谱嵌入模型进行知识图谱链接预测。
9、根据本专利技术的基于多尺度注意力网络的知识图谱链接预测方法，由输入模块得到的特征矩阵表示为x：
10、
11、式中h和r的维度分别为d，x的维度为m×n＝2d，m表示行数，n表示列数，维度的变化表示为：
12、
13、根据本专利技术的基于多尺度注意力网络的知识图谱链接预测方法，编码模块中设置3个不同尺寸的卷积核，得到的三个特征图x11，x12，x13为：
14、
15、式中f(·)是relu激活函数，表示第一种尺寸的卷积核，表示第二种尺寸的卷积核，表示第三种尺寸的卷积核，*表示卷积操作；x11，x12，x13的尺寸均为c×h×w，其中c表示特征图的通道数量，h和w分别表示特征图的高度和宽度，
16、根据本专利技术的基于多尺度注意力网络的知识图谱链接预测方法，编码模块中多尺度全局自适应选择模块包括通道自适应选择模块和感受野自适应选择模块，
17、所述通道自适应选择模块配置小波软收缩子网络，通道自适应选择模块由特征图x11，x12，x13得到去噪后特征图x21，x22，x23的过程相同；由特征图x11得到的去噪后特征图x21为：
18、
19、式中|x11|avg表示通道自适应全局平均池化特征，|x11|avg由通过全局平均池化收缩到空间维度h×w得到，|x11|avg中第k个元素为：
20、
21、式中k＝1，2，3，……，c；
22、σ表示sigmoid函数，δ为relu激活函数；
23、式中w1和w2为通道自适应全连接神经网络两个全连接层的网络参数，通道自适应全连接神经网络根据通道自适应全局平均池化特征|x11|avg计算得到通道自适应注意力权重σ(w2δ(w1|x11|avg))；
24、其中p表示神经网络的缩放系数；
25、感受野自适应选择模块对去噪后特征图x21，x22，x23分别进行处理，得到基于权重选择的特征图x31，x32，x33。
26、根据本专利技术的基于多尺度注意力网络的知识图谱链接预测方法，感受野自适应选择模块由去噪后特征图x21，x22，x23得到基于权重选择的特征图x31，x32，x33的方法为：
27、通过逐元素相加的方式将去噪后特征图x21，x22，x23融合得到融合后特征
28、u＝x21+x22+x23， (5)
29、将融合后特征u收缩到空间维度h×w得到感受野自适应全局平均池化特征s：
30、
31、
32、式中uk为融合后特征u中第k个元素；
33、再通过感受野自适应全连接神经网络由感受野自适应全局平均池化特征s创建紧凑的特征z：
34、
35、z＝σ2(w4f(w3s))， (7)
36、式中σ2为softmax函数，w3和w4为感受野自适应全连接神经网络两个全连接层的权重矩阵：
37、
38、将沿通道维度拆分为三个部分，得到对应于多尺度卷积的感受野自适应注意力权重b1、b2和b3：
39、
40、最后得到基于权重选择的特征图x31、x32和x33：
41、
42、fscale表示通道乘法。
43、根据本专利技术的基于多尺度注意力网络的知识图谱链接预测方法，三元组分数为ψ(h,r,t)：
44、
45、式中g(·)代表编码模块的多尺度全局自适应选择操作，vec(·)代表将拼接后特征图压平为一维向量后，通过一层全连接层投影到尾实体的向量空间，w为所述全连接层的参数。
46本文档来自技高网...
【技术保护点】
1.一种基于多尺度注意力网络的知识图谱链接预测方法，其特征在于包括，
2.根据权利要求1所述的基于多尺度注意力网络的知识图谱链接预测方法，其特征在于，由输入模块得到的特征矩阵表示为X：
3.根据权利要求2所述的基于多尺度注意力网络的知识图谱链接预测方法，其特征在于，编码模块中设置3个不同尺寸的卷积核，得到的三个特征图X11，X12，X13为：
4.根据权利要求3所述的基于多尺度注意力网络的知识图谱链接预测方法，其特征在于，编码模块中多尺度全局自适应选择模块包括通道自适应选择模块和感受野自适应选择模块，
5.根据权利要求4所述的基于多尺度注意力网络的知识图谱链接预测方法，其特征在于，感受野自适应选择模块由去噪后特征图X21，X22，X23得到基于权重选择的特征图X31，X32，X33的方法为：
6.根据权利要求5所述的基于多尺度注意力网络的知识图谱链接预测方法，其特征在于，三元组分数为ψ(h,r,t)：
7.根据权利要求6所述的基于多尺度注意力网络的知识图谱链接预测方法，其特征在于，交叉熵损失函数为
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。