基于多模态知识图卷积网络模型的推荐系统及方法技术方案

本发明专利技术公开了一种基于多模态知识图卷积网络模型的推荐系统及方法。所述系统包括MKGCN模型及其输入、输出模块；MKGCN模型包括多模态知识图实体编码器、多模态知识图邻域采样算法模块、多模态知识图卷积层、内积计算模块；方法为：将多模态知识图MKG作为MKGCN模型输入，输入多模态知识图实体编码器；给不同的实体类型编码，计算得到所有实体对应的嵌入；从多模态知识图谱的项目节点中，采集固定大小的邻域，参与嵌入计算过程；将每个实体的邻域信息聚合到该实体本身，以更新节点自身的嵌入；将用户实体的嵌入和物品实体的嵌入做内积运算，计算结果代表用户喜欢物品的概率。本发明专利技术提高了推荐系统的可解释性以及推荐结果的准确度。准确度。准确度。

【技术实现步骤摘要】
基于多模态知识图卷积网络模型的推荐系统及方法


[0001]本专利技术涉及个性化推荐
，特别是一种基于多模态知识图卷积网络模型的推荐系统及方法。

技术介绍

[0002]知识图谱是一种使用图结构去描述事物和事物之间联系的数据表示形式，本质上是一个大规模的语义网络。多模态知识图谱(Multimodal Knowledge Graph,MKG)与传统知识图谱的主要区别是，传统知识图谱主要集中研究文本和数据库的实体和关系，而多模态知识图谱则在传统知识图谱的基础上，构建多种模态(例如视觉模态和文本模态等)下的实体，以及多种模态实体间的多模态语义关系。多模态本质上是同一个对象不同方面的知识，它们之间是互补关系。
[0003]在多模态知识图谱出现以前，基于传统知识图谱的推荐算法整体上有三种思路，分别是基于嵌入的方法、基于路径的方法和二者结合在一起的方法。传统的图卷积网络(Graph Convolutional Network，GCN)适用于同构图，应用在多模态知识图谱这种异构图上需要加以改进。同时，GCN在聚合邻域信息的过程中，多模态知识的利用率不够充分，传统的邻域采样算法将多模态知识和常规的结构化知识混在一起随机采样，会导致部分多模态知识丢失。
[0004]推荐系统可以在海量的数据信息中获取用户偏好，从而更好地实现个性化推荐，提高用户体验，它已经作为解决互联网中信息过载问题和满足用户个性化需求的一种手段被广泛的运用在电影、新闻、购物等领域。GCN已被用于推荐系统及推荐方法，例如，中国专利CN202211224122.X公开了一种基于多层次对比学习与多模态知识图谱的推荐方法及系统，具体为：首先根据预先给定的用户
‑
物品交互数据和多模态知识图谱构建用户
‑
物品交互序列和协同多模态知识图谱；然后依次建立模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数；最后根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数进行模型训练和优化，得到适用于用户偏好的推荐结果。上述方案通过引入多层次的对比学习方法以构建更全面的物品表示、更细粒度化和更健壮的用户偏好表示，从而对数据稀疏下的用户
‑
物品交互序列进行更好的偏好建模，进而提高电商平台的个性化推荐效果。然而，现有的推荐方法及系统，仍然存在推荐智能化程度低、不相关节点带来的噪声较高、卷积策略和邻域采样策略的效果不好等问题，并且推荐系统的可解释性差，推荐结果的准确度有待提高。

技术实现思路

[0005]本专利技术的目的在于提供一种基于多模态知识图卷积网络模型的推荐系统及方法，引入更强的语义关系，提升推荐系统的可解释性，更加深度挖掘出用户或者项目的隐藏特征，提升推荐结果的准确度。
[0006]实现本专利技术目的的技术解决方案为：一种基于多模态知识图卷积网络模型的推荐
系统，其特征在于，所述推荐系统包括多模态知识图卷积网络模型，以及模型输入模块、模型输出模块；所述多模态知识图卷积网络模型即MKGCN模型，MKGCN模型包括多模态知识图实体编码器、多模态知识图邻域采样算法模块、多模态知识图卷积层、内积计算模块；其中：
[0007]模型输入模块，将多模态知识图MKG作为MKGCN模型输入，输入多模态知识图实体编码器；
[0008]多模态知识图实体编码器，使用不同的编码器来给不同的实体类型编码，计算得到所有实体对应的嵌入；
[0009]多模态知识图邻域采样算法模块，用于从多模态知识图谱的项目节点中，采集固定大小的邻域，参与嵌入计算过程；
[0010]多模态知识图卷积层，用于将每个实体的邻域信息聚合到该实体本身，得到一个新的嵌入以更新节点自身的嵌入；
[0011]内积计算模块，用于将用户实体的嵌入和物品实体的嵌入做内积运算，计算结果代表用户喜欢物品的概率；
[0012]模型输出模块，用于将用户喜欢物品的概率输出至用户端并进行显示。
[0013]一种基于多模态知识图卷积网络模型的推荐方法，基于所述的基于多模态知识图卷积网络模型的推荐系统，所述推荐方法步骤如下：
[0014]步骤1、模型输入模块将多模态知识图MKG作为MKGCN模型输入，输入多模态知识图实体编码器；
[0015]步骤2、多模态知识图实体编码器使用不同的编码器来给不同的实体类型编码，计算得到所有实体对应的嵌入；
[0016]步骤3、多模态知识图邻域采样算法模块从多模态知识图谱的项目节点中，采集固定大小的邻域，参与嵌入计算过程；
[0017]步骤4、多模态知识图卷积层将每个实体的邻域信息聚合到该实体本身，得到一个新的嵌入以更新节点自身的嵌入；
[0018]步骤5、内积计算模块将用户实体的嵌入和物品实体的嵌入做内积运算，计算结果代表用户喜欢物品的概率；
[0019]步骤6、模型输出模块将用户喜欢物品的概率输出至用户端并进行显示。
[0020]本专利技术与现有技术相比，其显著优点为：
[0021](1)本专利技术MKGCN模型将多模态知识图和改进后的图卷积网络GCN方法结合起来，多模态知识图谱负责提供多模态知识，GCN负责计算实体在图谱中的表示，同时对邻域信息进行信息聚合操作，有更加显著的智能推荐优势，通过邻域节点信息加权提高了重要邻域节点的影响力，降低了噪声的影响力；通过在GCN中定义邻域节点的权重，减弱了不相关节点带来的噪声；
[0022](2)本专利技术MKGCN的卷积策略效果好于KGCN，实体和关系属于不同的向量空间，不直接作内积，而是做拼接操作保留二者的信息，然后再使用权重矩阵映射到合适的维度，MKGCN的AUC和F1性能都比KGCN好，多模态的加入促进了下游推荐任务的效果；
[0023](3)在邻域采样问题上，采用多模态知识图邻域采样算法，该算法会从多模态知识图谱的项目节点中，采集固定大小的邻域，参与嵌入计算过程；为了充分发挥多模态知识的优势，使得多模态知识在采样过程中全部保留，只对结构化知识采取随机采样策略，从实验
结果可以看出，改进后的采样策略的效果要好于传统方法，即多模态信息的重要性要高于常规模态，多模态信息尽可能在采样过程中得到了保留；
[0024](4)设计了两种聚合函数，分别是加法聚合函数和连接聚合函数，作用是将节点自身的嵌入和它的邻域信息嵌入聚合起来，从而更新节点自身的嵌入表示；而节点自身的嵌入和它的邻域信息的嵌入属于两个不同的语义空间，使用加法聚合会导致两种嵌入信息相互影响，使用连接聚合更合适；
[0025](5)比较MKGCN和其他模型的整体性能表现，然后再分别探究多模态、邻域采样算法、感受野大小、聚合深度和聚合函数对于推荐效果的影响，最后得出MKGCN在基于多模态知识图谱的推荐领域具有以下显著优势：提高了基于多模态知识图谱推荐算法的推荐性能，对实现构建基于多模态知识图卷积网络的推荐系统有重要的意义，可以引入更强的语义关系，提升推荐系统的可解释性；更加深度挖掘出用户或者项目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态知识图卷积网络模型的推荐系统，其特征在于，所述推荐系统包括多模态知识图卷积网络模型，以及模型输入模块、模型输出模块；所述多模态知识图卷积网络模型即MKGCN模型，MKGCN模型包括多模态知识图实体编码器、多模态知识图邻域采样算法模块、多模态知识图卷积层、内积计算模块；其中：模型输入模块，将多模态知识图MKG作为MKGCN模型输入，输入多模态知识图实体编码器；多模态知识图实体编码器，使用不同的编码器来给不同的实体类型编码，计算得到所有实体对应的嵌入；多模态知识图邻域采样算法模块，用于从多模态知识图谱的项目节点中，采集固定大小的邻域，参与嵌入计算过程；多模态知识图卷积层，用于将每个实体的邻域信息聚合到该实体本身，得到一个新的嵌入以更新节点自身的嵌入；内积计算模块，用于将用户实体的嵌入和物品实体的嵌入做内积运算，计算结果代表用户喜欢物品的概率；模型输出模块，用于将用户喜欢物品的概率输出至用户端并进行显示。2.根据权利要求1所述的基于多模态知识图卷积网络模型的推荐系统，其特征在于，所述多模态知识图实体编码器，使用BERT预训练模型去提取文本模态的嵌入，使用ResNet50预训练模型提取图像模态的嵌入；对于用户实体，使用随机初始化方法初始化嵌入。3.根据权利要求1所述的基于多模态知识图卷积网络模型的推荐系统，其特征在于，所述多模态知识图卷积层中，将一个给定的候选实体h直接相连节点以及关联的多模态信息聚合到实体h中，直接和实体h相关联的三元组(h,r,t)集合N
h
表示如下：N
h
＝{(h,r,t)|(h,r,t)∈G}并定义：直接与物品相连接的实体集合为N
v
，与用户相连接的实体集合为N
u
，并用r
i,j
表示实体i和实体j之间的关系；使用e
h
、e
t
分别表示实体h、t在知识图谱初步嵌入过程中的表示向量，e
r
表示实体间关系的嵌入向量，使用e
agg
表示聚合邻居信息的向量，e
agg
是N
h
中每个三元组的线性组合，公式如下：其中，π(h，r)表示关系r对实体h重要性当作权重处理；同理，使用π(t，r)表示关系r对实体t的重要性也当作权重处理，公式如下：π(h，r)＝(e
h
||e
r
)W1其中，||代表连接操作，W1是权重矩阵；是用户
‑
关系得分正则化后的结果，公式如下：其中，r
t，m
表示实体t和实体m之间的关系；对于基于真实数据集的多模态知识图谱，N
h
的大小会随着实体的变化而变化，对每一个实体采用一个固定大小的邻居集合，这个固定大小的集合被称为实体h的感受野S
h
：
S
h
＝{e|e～N
h
}|S
h
|＝K其中，K是一个可配置的参数，代表感受野的大小；e表示感受视野中的一个元素实体或关系，e的变化范围是e～N
h
。4.根据权利要求3所述的基于多模态知识图卷积网络模型的推荐系统，其特征在于，所述多模态知识图卷积层中，将实体h的邻居们的信息e
agg<...

【专利技术属性】
技术研发人员：王永利，廖烽贵，宫小泽，张永亮，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：