基于动量更新对比学习框架的多模态知识图谱推荐方法及装置制造方法及图纸

本发明专利技术提供了一种基于动量更新对比学习框架的多模态知识图谱推荐方法及装置，涉及计算机技术领域

【技术实现步骤摘要】
基于动量更新对比学习框架的多模态知识图谱推荐方法及装置


[0001]本专利技术涉及计算机
，尤其涉及一种基于动量更新对比学习框架的多模态知识图谱推荐方法及装置
。

技术介绍

[0002]近年来，知识图谱在推荐系统领域的应用呈现出明显的增长趋势
。
这种兴趣的提升可以归因于知识图谱在通过丰富的属性表示有效传达物品间关系方面的能力
。
一些研究者已经开始尝试将多模态数据，如文本和图像，融合到知识图谱中，尽管取得的成果还有限
。
这些尝试主要依赖图像模型来提取视觉表征和文本模型来提取文本表征
。
然而，这种方法引发了人们对于这两种类型表征之间潜在不一致性的担忧
。
此外，利用多模态信息计算节点相似性的现有方法并没有取得显著的进展或改进
。
[0003]在受到其他领域中对比学习技术的启发后，一些研究开始通过设计自监督信号上的对比学习损失函数，来提升深度学习模型的效能
。
对比学习损失函数的目标在于最大化同一样本经过数据增强后所产生的正样本对之间的相似度
。
然而，将对比学习技术引入知识图谱中会引发一系列新问题，例如如何构建有效的正样本对以支撑数据增强方法，如何增加负样本数量同时避免带来误判的负样本等
。

技术实现思路

[0004]专利技术目的：提出一种基于动量更新对比学习框架的多模态知识图谱推荐方法及装置，以解决现有技术存在的上述问题
。
[0005]第一方面，提出一种基于动量更新对比学习框架的多模态知识图谱推荐方法，步骤如下：
[0006]S1、
确定初始实体，采集与所述初始实体关联度在预定区间内的文本信息和图片信息，基于所述文本信息和图片信息构建形成多模态知识图谱数据集；
[0007]S2、
将所述多模态知识图谱数据集合并至由若干实体连接组成的连接网络中，并和所述初始实体相结合，从而获得第二实体数据；引入多模态注意力机制表示连接网络中头尾实体之间的传导系数；
[0008]S3、
建立编码器，将所述第二实体数据导入所述编码器进行动态更新，得到第三实体样本，根据所述第三实体样本计算动量对比学习损失；
[0009]S4、
在所述多模态知识图谱数据集上生成
2N
个不同的子视图，其中
N
个用于普通对比学习，输出普通对比学习信号；
N
个用于动量对比学习，输出动量对比学习信号；
[0010]S5、
利用所述普通对比学习信号和动量对比学习信号，执行多任务学习
。
[0011]在第一方面进一步的实施例中，步骤
S1
中构建形成多模态知识图谱数据集的过程包括：
[0012]提取所述初始实体的实体名称和实体描述信息，利用所述实体名称和实体描述信
息在搜索引擎中搜索与所述初始实体相关的前
10
条数据，得到文本信息和图片信息；
[0013]将实体描述信息和随机选择的其中一个所述图片信息输入到
CLIP
模型中，从而生成所述初始实体的文本向量和图像向量；
[0014]将所述文本向量和图像向量经过一个投影函数，使得所述文本向量
、
图像向量
、CLIP
模型生成的向量三者之间维度相同；
[0015]其中，所述投影函数表示为
p(x)
＝
W2(W1x)
，式中
x
是特征向量，
W1、W2是全连接层的权重向量
。
[0016]在第一方面进一步的实施例中，步骤
S2
中引入多模态注意力机制表示连接网络中头尾实体之间的传导系数，所述多模态注意力机制表示为：
[0017][0018]式中，
tanh(*)
表示非线性激活函数，
e
hi
表示头实体的图像向量，
e
ti
表示尾实体的图像向量，
e
ht
表示头实体的文本向量，
e
tt
表示尾实体的文本向量，
e
h
表示头实体向量；
e
r
表示实体间关系向量；
W
r
表示关系
r
的转移矩阵；表示尾实体的图像向量的转置；表示头实体的文本向量的转置
。
[0019]在第一方面进一步的实施例中，多模态注意力机制通过头尾实体之间
、
尾实体和多模态向量之间的距离来获得注意力评分；
[0020]通过
softmax
函数对参数进行正则化：
[0021][0022]式中，表示头实体
h
和尾实体
t
之间的连接网络；
r
表示实体间关系；
r
′
表示随机替换后的实体间关系；
t
′
表示随机替换后的尾实体；
exp(*)
表示对括号内执行以自然对数底数
e
为底数的指数运算；
[0023]头实体
h
和尾实体
t
之间的连接网络
[0024]第一层实体的向量表示为其中函数
f(*)
是一种双向连接的融合器，表示为：
[0025][0026]式中，
LeakyReLU(*)
表示激活函数；表示头实体
h
连接网络的表达；
W1、W2是全连接层的权重向量
。
[0027]在第一方面进一步的实施例中，在一个
L
层的知识图谱中，最终的用户
u
和物品
i
向量是每一层向量的拼接而成，表示为：
[0028][0029]式中，表示拼接后的用户
u
向量；表示初始用户
u
向量；表示第
L
层用户
u
向量；表示拼接后的物品
i
向量；表示初始物品
i
向量；表示第
L
层物品
i
向量；
‖
…
‖
表示拼接操作
。
[0030]在第一方面进一步的实施例中，步骤
S3
进一步包括：
[0031]S3
‑
1、
建立两个编码器
q
和
k
，编码器
k
中的参数根据上一轮训练时
q
和
k
的参数进行动态更新；
[0032]S3
‑
2、
经过
k
编码器的实体向量进入一个固定长度的队列，同时队列中最早的实体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于动量更新对比学习框架的多模态知识图谱推荐方法，其特征在于，包括如下步骤：
S1、
确定初始实体，采集与所述初始实体关联度在预定区间内的文本信息和图片信息，基于所述文本信息和图片信息构建形成多模态知识图谱数据集；
S2、
将所述多模态知识图谱数据集合并至由若干实体连接组成的连接网络中，并和所述初始实体相结合，从而获得第二实体数据；引入多模态注意力机制表示连接网络中头尾实体之间的传导系数；
S3、
建立编码器，将所述第二实体数据导入所述编码器进行动态更新，得到第三实体样本，根据所述第三实体样本计算动量对比学习损失；
S4、
在所述多模态知识图谱数据集上生成
2N
个不同的子视图，其中
N
个用于普通对比学习，输出普通对比学习信号；
N
个用于动量对比学习，输出动量对比学习信号；
S5、
利用所述普通对比学习信号和动量对比学习信号，执行多任务学习
。2.
根据权利要求1所述的多模态知识图谱推荐方法，其特征在于，步骤
S1
中构建形成多模态知识图谱数据集的过程包括：提取所述初始实体的实体名称和实体描述信息，利用所述实体名称和实体描述信息在搜索引擎中搜索与所述初始实体相关预定数量的数据，得到文本信息和图片信息；将实体描述信息和随机选择的其中一个所述图片信息输入到
CLIP
模型中，从而生成所述初始实体的文本向量和图像向量；将所述文本向量和图像向量经过一个投影函数，使得所述文本向量
、
图像向量
、CLIP
模型生成的向量三者之间维度相同；其中，所述投影函数表示为
p(x)
＝
W2(W1x)
，式中
x
是特征向量，
W1、W2是全连接层的权重向量
。3.
根据权利要求1所述的多模态知识图谱推荐方法，其特征在于，步骤
S2
中引入多模态注意力机制表示连接网络中头尾实体之间的传导系数，所述多模态注意力机制表示为：式中，
tanh(*)
表示非线性激活函数，
e
hi
表示头实体的图像向量，
e
ti
表示尾实体的图像向量，
e
ht
表示头实体的文本向量，
e
tt
表示尾实体的文本向量，
e
h
表示头实体向量；
e
r
表示实体间关系向量；
W
r
表示关系
r
的转移矩阵；表示尾实体的图像向量的转置；表示头实体的文本向量的转置
。4.
根据权利要求3所述的多模态知识图谱推荐方法，其特征在于，多模态注意力机制通过头尾实体之间
、
尾实体和多模态向量之间的距离来获得注意力评分；通过
softmax
函数对参数进行正则化：式中，表示头实体
h
和尾实体
t
之间的连接网络；
r
表示实体间关系；
r
′
表示随机替换后的实体间关系；
t
′
表示随机替换后的尾实体；
exp(*)
表示对括号内执行以自然对数底数
e
为底数的指数运算；头实体
h
和尾实体
t
之间的连接网络
第一层实体的向量表示为其中函数
f(*)
是一种双向连接的融合器，表示为：式中，
LeakyReLU(*)
表示激活函数；表示头实体
h
连接网络的表达；
W1、W2是全连接层的权重向量
。5.
根据权利要求4所述的多模态知识图谱推荐方法，其特征在于，在一个
L
层的知识图谱中，最终的用户
u
和物品
i
向量是每一层向量的拼接而成，表示为：式中，表示拼接后的用户
u
向量；表示初始用户
u
向量；表...

【专利技术属性】
技术研发人员：魏子涵，王珂，李凤霞，赖文涛，沈言玉，赵宇航，
申请(专利权)人：江苏开放大学江苏城市职业学院，
类型：发明
国别省市：