【技术实现步骤摘要】
一种基于跨模态融合的深度聚类方法及系统
[0001]本专利技术涉及无监督深度聚类
，尤其涉及一种基于跨模态融合的深度聚类方法及系统。
技术介绍
[0002]深度聚类，旨在以无监督的方式训练一个神经网络以学习具有判别能力的特征表示，从而将数据划分为若干个不相交的子集。由于深度神经网络具有强大的表征学习能力，研究者在诸多无监督应用场景中取得了巨大成功，包括异常检测、社交网络分析以及人脸检测。在深度聚类方法中，两个关键因素：优化目标和特征提取的方式很大程度上决定了聚类方法的性能。具体而言，在无监督聚类场景下，由于在模型学习过程中不具有标签的指导，因此设计一种巧妙的目标函数与一套有效的聚类框架去捕获更丰富全面的信息，并用其来揭示数据的内部结构，是及其重要且具有挑战性的。
[0003]根据网络的优化目标，深度聚类方法大致分为五类：基于子空间的方法[Zhou,L.；Bai,X.；Wang,D.；Liu,X.；Zhou,J.；and Hancock,E.2019a.Latent Distribution Preserving...
【技术保护点】
【技术特征摘要】
1.一种基于跨模态融合的深度聚类系统，其特征在于，包括自编码器、图自编码器、跨模态信息融合模块和联合优化目标模块；所述图自编码器与自编码器连接，所述跨模态信息融合模块分别与自编码器和图自编码器连接；所述联合优化目标模块分别与自编码器、图自编码器、跨模态信息融合模块连接；自编码器，用于对图数据的属性信息进行特征提取并重构原始属性矩阵；图自编码器，用于对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵；跨模态信息融合模块，用于将自编码器的模态信息与图自编码器的模态信息进行整合，生成共识隐嵌入，并根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布和目标分布；联合优化目标模块，用于同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程。2.根据权利要求1所述的一种基于跨模态融合的深度聚类系统，其特征在于，所述图自编码器中对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵，具体为：图自编码器中的编码器和解码器的形式，表示为：为：其中，Z
(l)
表示第l个编码层的输出嵌入；表示第h个解码层的输出嵌入；W
(l)
和分别表示第l个编码器层和第h个解码器层的可学参数矩阵；σ表示非线性激活函数；表示归一化后的原始邻接矩阵；表示第(h
‑
1)个解码层的输出嵌入；Z
(l
‑
1)
表示第(l
‑
1)个编码层的输出嵌入；图自编码器的最小化混合损失函数L
IGAE
，表示为：L
IGAE
＝L
w
+γL
a
ꢀꢀꢀꢀꢀꢀ
(3)其中，γ表示预定义的超参数，用于平衡两个重建损失函数的权重；L
w
和L
a
表示为：表示为：其中，表示重构的加权属性矩阵；表示通过内积运算生成的重构原始邻接矩阵；N表示样本数量；d表示属性维度；L
w
表示加权属性矩阵的重构损失；L
a
表示邻接矩阵的重构损失。3.根据权利要求1所述的一种基于跨模态融合的深度聚类系统，其特征在于，所述跨模态信息融合模块包括跨模态动态融合机制和三元组自监督策略；跨模态动态融合机制，用于将自编码器的模态信息与图自编码器的模态信息进行隐嵌入信息的深度交互，生成共识隐嵌入；三元组自监督策略，用于根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布
以及目标分布。4.根据权利要求3所述的一种基于跨模态融合的深度聚类系统，其特征在于，所述跨模态动态融合机制具体包括：组合模块，用于将自编码器和图自编码器的隐嵌入进行线性组合，得到初始化融合嵌入信息，表示为：Z
I
＝αZ
AE
+(1
‑
α)Z
IGAE
ꢀꢀꢀꢀꢀꢀ
(6)其中，d'表示隐嵌入维数；α表示可学的系数矩阵；Z
AE
表示自编码器；Z
IGAE
表示图自编码器；Z
I
∈R
N
×
d
′
表示初始化融合嵌入信息；d
′
表示隐嵌入的维度；处理模块，用于基于图卷积的操作增强初始化融合嵌入信息，表示为：其中，Z
L
∈R
N
×
d
‘
表示局部结构增强后的隐嵌入；重组模块，用于基于自相关学习机制，对初始化融合嵌入信息进行重组，表示为：Z
G
＝SZ
L
ꢀꢀꢀꢀꢀꢀꢀꢀ
(8)其中，Z
G
表示对Z
L
进行重组后的信...
【专利技术属性】
技术研发人员：朱信忠，徐慧英，涂文轩，刘新旺，赵建民，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。