一种基于多模态特征融合的突发事件分类方法、系统及装置制造方法及图纸

本发明专利技术提供了一种基于多模态特征融合的突发事件分类方法、系统及装置，主要解决现有突发事件分类方法中存在的特征信息表示不全面从而导致分类效果不理想的问题。该方法包括以下步骤：首先，构建由多模态数据表征并带有类别标签的突发事件样本数据集并对其进行预处理；然后，利用BERT模型和ViT模型分别对样本中的文本数据和图像数据进行特征提取；接着，构建一种基于多头自注意力机制的多模态特征融合模块对提取到的文本特征和图像特征进行早期融合，并构建前馈神经网络模型对单文本特征向量、单图像特征向量及早期融合后的特征向量分别进行学习后相加以实现晚期融合；最后，构建分类器对晚期融合后的特征向量进行学习和分类，得到最终的分类结果。

【技术实现步骤摘要】

本专利技术属于计算机视觉和突发事件分类领域，提供了一种基于多模态特征融合的突发事件分类方法、系统及装置。

技术介绍

1、近年来，国内外突发事件频发，突发事件的衍生性在传播过程中给社会带来巨大的潜在威胁，因此如何快速有效地识别并分类突发事件信息成为目前的研究热点。

2、相较于纯文本的突发事件新闻，含有图片的多模态媒体数据更能吸引人们的眼球。近期研究越来越关注使用多模态(文本+图像)信息对突发事件进行识别与分类。现阶段的大多数多模态突发事件分类模型在特征融合方面或是将不同模态数据进行简单的拼接融合，或是进行相加融合，不能充分捕获不同模态特征间的互补性，从而大大影响最终分类结果。运用多模态特征融合技术对突发事件进行分类已经成为突发事件分类领域研究的主流，然而如何更巧妙的融合不同模态特征从而进一步提升分类准确率依然是目前该领域的研究热点。

3、现有的突发事件分类方法存在以下缺点：

4、(1)大多数分类方法仅使用单文本模态特征进行研究，对突发事件信息描述不全面，只局限于一种特征，无法捕获模态间的相互关系，很难达到较高的分类准确率。本文档来自技高网...

【技术保护点】

1.一种基于多模态特征融合的突发事件分类方法、系统及装置，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态特征融合的突发事件分类方法，其特征在于，所述步骤1包括：构建数据集，从突发事件官方网站获取突发事件信息包括事件标题、发布时间、事件正文、事件来源以及事件中所对应的图片数据；数据的预处理方面，保留含有文本及对应的图像的两种模态数据，文本及图像数据样本比例为1∶1，同时去除表情、颜文字等无关内容，去重、删除分辨率较低的图像，对事件样本数据进行降噪和编码处理；根据国家发布的《GB/T 35561-2017突发事件分类与编码》规范对所收集的图文数据进行类别标注；通过...

【技术特征摘要】

1.一种基于多模态特征融合的突发事件分类方法、系统及装置，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态特征融合的突发事件分类方法，其特征在于，所述步骤1包括：构建数据集，从突发事件官方网站获取突发事件信息包括事件标题、发布时间、事件正文、事件来源以及事件中所对应的图片数据；数据的预处理方面，保留含有文本及对应的图像的两种模态数据，文本及图像数据样本比例为1∶1，同时去除表情、颜文字等无关内容，去重、删除分辨率较低的图像，对事件样本数据进行降噪和编码处理；根据国家发布的《gb/t 35561-2017突发事件分类与编码》规范对所收集的图文数据进行类别标注；通过突发事件的发生过程、性质和机理，将突发事件分为5大类(自然灾害、事故灾难、公共卫生、社会安全、非突发事件)。

3.根据权利要求1所述的基于多模态特征融合的突发事件分类方法，其特征在于，所述步骤3包括：对不同模态特征向量进行早期融合，构建多模态特征融合模块，对提取到的文本特征向量和图像特征向量进行融合，多模态特征融合模块运用多头自注意力机制，查询来自一种模态，而键和值来自另一种模态，即如果q来自文本，k和v来自附加图像，则使用q和k计算的关注值可以用作文本和图像之间的相似性度量，然后对图像进行加权，反之同理；分别对文本特征和图像特征执行交叉融合操作，将两个多头自注意力多模态特征融合模块所得融合结果进行相加，充分捕获...

【专利技术属性】
技术研发人员：张一帆，陈祖琴，葛继科，何明坤，凌劲，谭杰，孔伟权，杨晓露，王子宁，向瑜，
申请(专利权)人：重庆科技大学，
类型：发明
国别省市：