一种基于图卷积神经网络的多模态分类方法技术

本发明专利技术公开了一种基于图卷积神经网络的多模态分类方法，包括以下步骤：（一）首先需要用户准备好一个对象库，其中每个对象包含

【技术实现步骤摘要】
一种基于图卷积神经网络的多模态分类方法
本专利技术属于计算机科学与技术中人工智能领域
，具体涉及一种基于图卷积神经网络的多模态分类方法。
技术介绍
近年来，实际应用中出现着越来越多的多模态数据，例如，互联网中的多媒体数据往往包含多个模态信息：视频、图像以及周围出现的文本信息；网页数据也包含多个模态信息：网页自身的文本信息和链接到网页的超链接信息。这些多模态数据蕴含着巨大的经济价值，同时利用这些多模态数据往往能够获得比单模态数据更好的结果。例如，在基于信息流的用户内容推荐中，可以同时考虑信息流中的不同模态信息（例如图片、文本）来为用户推荐其感兴趣的内容。在实际应用中，我们很容易从不同模态中发现数据的多重结构信息，例如用户对特定的某一类相似的图片都表现出兴趣，而同时这些用户对另外一类相似的文本表现出兴趣，利用这些基于多模态的结构信息，能够进一步地提升性能。另一方面，图卷积神经网络能够将图结构信息嵌入到神经网络中，且适合处理大规模数据，但并不能被直接应用到多模态场景中，实际应用中的对象经常具有多模态信息，但是传统的多模态方法只是在多个模态上分别本文档来自技高网...

【技术保护点】
1.一种基于图卷积神经网络的多模态分类方法，包括以下步骤：/n(一)建立一个对象库作为训练数据集，其中对象库包含n个对象，给对象库中的少量对象赋予一个类别标记，用l表示有标记的对象数目，u表示未标记的对象数目；/n(二)通过特征提取算法，提取对象库中不同模态对应的特征，假设具有V个模态，为每个对象生成特征向量对(特征1，特征2，...，特征V)。/n(三)为每一个模态的特征建立一个k-近邻图，对于模态v，其邻接矩阵记作A

【技术特征摘要】
1.一种基于图卷积神经网络的多模态分类方法，包括以下步骤：
(一)建立一个对象库作为训练数据集，其中对象库包含n个对象，给对象库中的少量对象赋予一个类别标记，用l表示有标记的对象数目，u表示未标记的对象数目；
(二)通过特征提取算法，提取对象库中不同模态对应的特征，假设具有V个模态，为每个对象生成特征向量对(特征1，特征2，...，特征V)。
(三)为每一个模态的特征建立一个k-近邻图，对于模态v，其邻接矩阵记作Av；
(四)将数据的特征向量以及每一个模态的k-近邻图输入到多模态图卷积神经网络中，为每个模态分别训练得到一个分类器；
(五)获取待测对象，用t表示待测对象数目并用步骤(二)中相同的方法得到其特征向量对,用步骤(三)中的建图方法将新的样本加入到图中。
(六)将各个模态上的特征向量及所有更新后的k-近邻图输入步骤(四)所训练得到的对应分类器中，获得V个预测标记，并输出其中置信度较高的那个作为最终标记。


2.如权利要求1所述的基于图卷积神经网络的多模态分类方法，其特征在于，所述步骤(四)中使用了新的多模态图卷积神经网络，其具体结构为：
在训练时，所实用的在第v个模态中训练的网络：
(1)隐层结构为：对于k∈{1，2，…，Kv-1}，其中是第v个网络在第K层的表示，是可训练参数，
混合图卷积被定义为其中是图卷积权重，Dv＝∑jAv(ij)，其中Av(ij)代表Av的第i行第j个元素，
(2)输出层结构为：其中Kv是第v个网络的多模态图卷积层层数。
在预测时，所使用的结构有：
S1...

【专利技术属性】
技术研发人员：王魏，李述，
申请(专利权)人：南京智谷人工智能研究院有限公司，
类型：发明
国别省市：江苏;32