【技术实现步骤摘要】
一种基于互补内容感知的多模态事件检测方法
[0001]本专利技术涉及多模态处理
，尤其涉及一种基于互补内容感知的多模态事件检测方法。
技术介绍
[0002]多模态事件检测是指从连续的语料库(例如社交媒体)中自动识别已知事件或未知事件的过程。对于给定的图像和文本，多模态事件检测通过联合挖掘其包含的内容，检测数据所属的事件。由于多模态事件检测可以及时在互联网数据中发现新事件，所以其在应对和处理紧急事件，自动化处理和归类热点新闻以方便人们分析和查阅等方面至关重要。
[0003]传统的事件检测技术主要包括基于概率图的文本事件检测方法，基于早期特征拼接和晚期投票的多模态融合方法。基于概率图的文本事件检测方法较为依赖单词频率的统计，忽略了单词之间的联系并且不适用于同时包含图像和文本的数据。基于早期特征拼接的多模态融合方法主要依赖特征提取器对输入的图像和文本特征提取，然后将得到的特征向量拼接后送入指定的分类器判断其所属事件类别。而基于晚期投票的多模态融合方法则是先分别对输入的图像和文本分类，然后综合考虑两者的预测结果，采用投...
【技术保护点】
【技术特征摘要】
1.一种基于互补内容感知的多模态事件检测方法，其特征在于，包括：S1将经过预处理的包括图像和文本的多模态数据集，随机划分成训练集和验证集；S2基于所述训练集和验证集，采用图像编码器和文本编码器提取图像和文本的特征，构建多模态图结构；S3基于所述多模态图结构，构建多模态事件检测模型；S4通过所述多模态事件检测模型的损失函数和反向传播算法训练所述多模态事件检测模型，获得目标多模态事件检测模型；S5将所述多模态图结构输入至所述目标多模态事件检测模型，获得多模态事件检测结果。2.根据权利要求1所述的多模态事件检测方法，其特征在于，所述S2，包括：基于所述训练集和验证集，采用图像编码器和文本编码器提取图像和文本的特征；将每个图像或文本看作节点，通过同模态特征之间的相似程度及K近邻算法构建同模态连接的边，通过所述图像和文本之间同时出现的关联关系构建跨模态连接的边；基于所述同模态连接的边和所述跨模态连接的边，构建多模态图结构。3.根据权利要求1所述的多模态事件检测方法，其特征在于，所述S3，包括：基于所述多模态图结构，上下文建模部分部分利用预先构建的所述同模态连接的边连接，并提取同模态数据之间的上下文信息，对多模态图中的数据给予同模态的信息补充；基于所述多模态图结构，跨模态互补信息传播部分利用预先构建的跨模态连接的边连接，并提取互补的跨模态语义信息，对所述多模态图中的数据给予跨模态的信息补充；基于所述多模态图中的数据给予同模态的信息补充、所述多模态图中的数据给予跨模态的信息补充构成所述多模态事件检测模型。4.根据权利要求3所述的多模态事件检测方法，其特征在于，所述上下文建模部分的构建，包括：通道注意力模块接收节点特征和所述上下文信息，并计算所述节点特征和所述上下文信息每个通道之间的注意力；通过对所述节点特征和所述上下文信息的每个通道的注意力打分，获得所述节点特征和所述上下文信息融合特征的结果，并基于所述节点特征和所述上下文信息融合特征的结果，构建所述上下文建模部分；所述上下文信息和所述上下文信息每个通道之间的注意力的计算式分别如下：S
contextual
＝AH其中，A表示图像或者是文本的单模态图的邻接矩阵，H表示所拥有节点对应的特征矩阵，表示节点特征和上下文信息每个通道之间的注意力，是节点特征，是上下文特征，σ表示Sigmoid激活函数，W1和W2表示维度映射操作，表示偏置向量。5.根据权利要求3所述的多模态事件检测方法，其特征在于，所述跨模态互补信息传播部分的构建，包括：设定基于所述节点特征计算，获得所述同模态的两个节点之间的相似度；基于所述节点特征的传播，获得跨模态节点之间相似度的传播，并基于所述跨模态节
点之间相似度的传播，构建所述跨模态互补信息传播部分。6.根据权利要求4所述的多模态事件检测方法，其特征在于，所述上下文信息和所述节点融合特征的结果的计算式如下：其中，通道注意力模块接收节点特征，表示输入上下文信息，W1和W2表示维度映射...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。