一种跨模态图像-文本关联异常检测方法技术

本发明专利技术属于计算机多媒体技术领域，具体为一种跨模态图像‑文本关联异常检测方法。本发明专利技术通过以下几个步骤来判断图像‑文本对的关联是否异常：1)图像多标签分类阶段，将图像输入基于CNN‑RNN的编码解码器，准确提取图像的标签信息；2)文本多标签分类阶段，将文本输入基于BiLSTM的网络，得到文本的标签信息；3)关联异常检测阶段，融合图像和文本的分类结果，判断图像‑文本对的关联是否异常。本发明专利技术提出的方法能够准确实现对图像‑文本对关联异常的检测，并且模型具有较强的鲁棒性。

【技术实现步骤摘要】
一种跨模态图像-文本关联异常检测方法
本专利技术涉及一种跨模态图像-文本关联异常检测方法，属于计算机多媒体

技术介绍
随着移动互联网、物联网、社交媒体网络相关技术的应用，可收集并进行分析的数据量正在飞速增长，信息的载体也从传统的文字记录向着更加丰富的多媒体记录发展。不同于文字记录那样包含大量的抽象概念，多媒体的信息内容大多为具象的感官信息描述，而如何让人工智能学会理解多媒体内容的同时可以将抽象的文本语义信息与直观的多媒体内容之间进行关联成为了近些年越来越被关注的课题。图像-文本的关联异常检测是该课题中的重要研究内容，在医疗数据分析领域，可以用来检测医学图像与相关文本记录的关联是否异常。然而建模跨模态数据之间的关系具有非常大的难度，不同模态之间的数据存在很大的差异性，比如图像的表示是连续的，而文本的表示通常是离散的，因此很难在这个层面建立不同模态的数据之间的联系。传统的一些基于机器学习的图像-文本关联异常检测算法，通过引入典型关联性分析的方法可以将异构的数据特征映射到一个公共的隐空间中，在公共的隐空间中不同模态的数据之间可以直接本文档来自技高网...

【技术保护点】
1.一种跨模态图像-文本关联异常检测方法，其特征在于，其分为3个阶段检测图像-文本对的关联异常：图像多标签分类阶段、文本多标签分类阶段和关联异常检测阶段，其中：/n在图像多标签分类阶段，将图像进行预处理，然后输入图像多标签分类模型，预测图像的标签；/n在文本多标签分类阶段，将图像的关联文本进行向量化，然后输入文本多标签分类模型提取标签信息；/n在关联异常检测阶段，根据预测的图像和文本的标签信息计算匹配度，根据匹配度的大小判断图像-文本对的关联是否异常。/n

【技术特征摘要】
1.一种跨模态图像-文本关联异常检测方法，其特征在于，其分为3个阶段检测图像-文本对的关联异常：图像多标签分类阶段、文本多标签分类阶段和关联异常检测阶段，其中：
在图像多标签分类阶段，将图像进行预处理，然后输入图像多标签分类模型，预测图像的标签；
在文本多标签分类阶段，将图像的关联文本进行向量化，然后输入文本多标签分类模型提取标签信息；
在关联异常检测阶段，根据预测的图像和文本的标签信息计算匹配度，根据匹配度的大小判断图像-文本对的关联是否异常。


2.根据权利要求1所述的跨模态图像-文本关联异常检测方法，其特征在于，在图像多标签分类阶段，对图像进行预处理的方法如下：将图像的大小调整为固定形状，然后对图像R、G、B三个通道的像素分别进行归一化，如公式(1):



其中x为图像中任意位置处的像素值，u为归一化的均值，σ为归一化的标准差，x*为归一化后的像素值。


3.根据权利要求1所述的跨模态图像-文本关联异常检测方法，其特征在于，图像多标签分类模型由CNN编码器和RNN解码器组成；CNN编码器用于从图像中提取重要的视觉特征；RNN解码器由Attention模块、LabelEmbedding层和RNN单元组成，RNN解码器用于输入CNN编码器提取到的特征生成标签序列，以预测图像的最终标签；工作时，预处理后的图像输入CNN编码器，编码器输出特征向量g，该特征向量为RNN解码器初始时刻的隐状态h0；CNN编码器中间过程中产生的特征图W和RNN上一时刻的隐状态ht-1为Attention模块的输入，Attention模块输出特征向量pt-1；RNN上一时刻的输出lt-1为LabelEmbedding层的输入，LabelEmbedding输出特征向量将向量pt-1和进行拼接，拼接后的向量为RNN单元t时刻的输入；RNN解码器最终输出一个n维的向量其中N是标签集合的大小，向量每个维度的值为0或1，Ii＝1表示图像具有第i类标签。


4.根据权利要求3所述的跨模态图像-文本关联异常检测方法，其特征在于，CNN编码器...

【专利技术属性】
技术研发人员：金城，王尚尚，吴渊，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31