基于图结构的多模态媒体数据聚类方法及装置制造方法及图纸

本申请涉及一种基于图结构的多模态媒体数据聚类方法及装置，其中，方法包括：提取无标签多模态媒体数据，并根据多模态媒体数据的每个文档的词频特征向量和文档特征向量计算文档之间的多模态相似度；根据文档的数量计算相似度的阈值，得到无向图结构；在无向图结构上应用社区发现算法，将所有文档节点划分为多个点的集合，其中，每一个集合中包括主题相同的多个文档，完成多模态多媒体数据的聚类。由此，利用多媒体数据中多粒度多模态的特征，计算文档之间的关联性，利用图结构和社区发现算法将大规模的多媒体文档进行划分，输出若干个包含相同主题文档的文档簇，在聚类过程中通过清除边缘的文档簇，进一步提高了数据聚类和处理冗余信息的能力。余信息的能力。余信息的能力。

【技术实现步骤摘要】
基于图结构的多模态媒体数据聚类方法及装置


[0001]本申请涉及多模态媒体数据处理
，特别涉及一种基于图结构的多模态媒体数据聚类方法及装置。

技术介绍

[0002]随着信息时代的到来，数据量呈指数增长的态势，互联网上的信息也朝着多模态和多文档的方向快速发展。其中，多模态的数据是指互联网中同时包含文本、图像、音频和视频等多模态信息的文档数量飞速增长，单一网站、新闻和文章中往往包含多媒体的数据，这就要求在处理数据的过程中能够融合不同模态的信息；多文档的数据是指信息来源的数量快速增大，同一主题下不同的文档的数目也随之增加，例如一个新闻主题下通常含有各个官方媒体以及数量庞大的自媒体进行报道，这样的特性对于文档的聚类提出了更高的有要求。
[0003]目前，多模态媒体数据聚类方法面临的主要挑战为：
[0004](1)多文档的输入数据会增大信息处理的难度。在一个新闻主题中，一些特别重要的信息可能会重复的出现在很多个文档当中，这就会造成冗余的信息；另外，由于当今各个媒体的水平参差不齐，各种虚假信息混在在文档中，这就会产生无效的信息；...

【技术保护点】

【技术特征摘要】
1.一种基于图结构的多模态媒体数据聚类方法，其特征在于，包括以下步骤：提取无标签多模态媒体数据，并根据所述多模态媒体数据的每个文档的词频特征向量和文档特征向量计算文档之间的多模态相似度；根据所述文档的数量计算相似度的阈值，得到无向图结构；以及在所述无向图结构上应用社区发现算法，将所有文档节点划分为多个点的集合，其中，每一个集合中包括主题相同的多个文档，完成多模态多媒体数据的聚类。2.根据权利要求1所述的方法，其特征在于，所述提取无标签多模态媒体数据，并根据所述多模态媒体数据的每个文档的词频特征向量和文章特征向量计算文档之间的文本相似度，包括：计算文档文本的文本特征向量，其中，通过词嵌入模型，将句子的特征向量根据长度加权平均获得所述特征向量；使用预训练模型计算文档图片的图片特征向量，并将所述图片特征向量与所述文本特征向量拼接得到文档特征向量；计算所述文档文本的词频特征向量；通过所述文档特征向量和词频特征向量分别计算文档之间的相似度，并进行加权计算，得到所述多模态相似度。3.根据权利要求1所述的方法，其特征在于，所述根据所述文档的数量计算相似度的阈值，得到无向图结构，包括：以所述每个文档为节点，在所述多模态相似度超过所述阈值的文档节点对之间构建边，形成所述无向图结构。4.根据权利要求1所述的方法，其特征在于，所述在所述无向图结构上应用社区发现算法，将所有文档节点划分为多个点的集合，其中，每一个集合中包括主题相同的多个文档，完成多模态多媒体数据的聚类，包括：应用所述社区发现算法，生成多个主题相同的文档簇；基于所述文档簇得到所述多个点的集合。5.根据权利要求4所述的方法，其特征在于，在生成所述多个主题相同的文档簇之后，还包括：对不满足预设条件的边缘的文档簇进行清理。6.一种基于图结构的多模态媒体数据聚类装置，其特征在于，包括：计算模块，用于提取无标签多模态媒体数据，并根据所述多...

【专利技术属性】
技术研发人员：高跃，张博文，
申请(专利权)人：清华大学，
类型：发明
国别省市：