【技术实现步骤摘要】
本专利技术涉及多模态图融合学习，特别是一种基于boolean乘的多模态图融合学习方法及系统。
技术介绍
1、随着科技的发展，多模态数据(例如图像、文本、和语音)的广泛应用使得多模态图融合成为研究的热点之一。图神经网络(gnn,graph neural networks)是目前处理图数据的最有效的方法之一。gnn善于捕捉图数据中的局部邻居关系，但在多模态图数据中，不同模态之间的关系可能更为复杂。gnn难以有效地处理模态之间的跨模态关联，导致在整合多模态信息时性能受到限制。而且gnn基于图结构进行节点更新，但在多模态情况下，不同模态的数据可能具有异构性，节点之间的联系可能更加复杂。gnn难以灵活地适应多种类型的模态数据，导致模型的泛化性较差。
2、基于此限制，kazi提出了可微图模块(dgm，differentiable graph module)模型，采用欧氏距离来学习节点之间的图结构，利用特征矩阵的节点间距离，更关注于节点之间的相对位置，能够捕获更细粒度的信息。然而，在多模态图数据中，图结构可能是动态变化的，不同模态之间的关...
【技术保护点】
1.一种基于Boolean乘的多模态图融合学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于Boolean乘的多模态图融合学习方法，其特征在于，所述步骤1具体如下：
3.根据权利要求1所述的基于Boolean乘的多模态图融合学习方法，其特征在于，在步骤2中，对于推断得到的隐藏图，在观测到多模态图时替换为观测到的图。
4.根据权利要求1所述的基于Boolean乘的多模态图融合学习方法，其特征在于，在步骤2中，对图结构进行推断具体包括以下方法：
5.根据权利要求1所述的基于Boolean乘的多模态图融合学习方...
【技术特征摘要】
1.一种基于boolean乘的多模态图融合学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于boolean乘的多模态图融合学习方法，其特征在于，所述步骤1具体如下：
3.根据权利要求1所述的基于boolean乘的多模态图融合学习方法，其特征在于，在步骤2中，对于推断得到的隐藏图，在观测到多模态图时替换为观测到的图。
4.根据权利要求1所述的基于boolean乘的多模态图融合学习方法，其特征在于，在步骤2中，对图结构进行推断具体包括以下方法：
5.根据权利要求1所述的基于boolean乘的多模态图融合学习...
【专利技术属性】
技术研发人员：刘斌，向玲，王子嫣，温良剑，林华珍，
申请(专利权)人：西南财经大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。