基于跨模态感知的敏感图像识别方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种基于跨模态感知的敏感图像识别方法、装置、设备及介质，所述方法包括：获取网络社区中待识别的图像信息；将所述图像信息输入预设的敏感图像识别模型中的跨模态感知模块，得到所述图像信息的跨模态文本描述；将所述图像信息的跨模态文本描述输入所述敏感图像识别模型中的敏感信息识别模块，得到含有敏感信息的敏感图像。根据本公开实施例提供的敏感图像识别方法，旨在跨模态表达网络社区图像的语义信息内容,并融合大量网络社区敏感文本内容先验知识,对社区图像的内容进行更准确的分析判别，通过获取图像的跨模态文本描述使得对敏感图像信息的传播及追溯成为可能。能。能。

【技术实现步骤摘要】
基于跨模态感知的敏感图像识别方法、装置、设备及介质


[0001]本专利技术涉及图像识别
，特别涉及一种基于跨模态感知的敏感图像识别方法、装置、设备及介质。

技术介绍

[0002]随着多媒体时代的发展,图像化的网络社区环境是网络信息传播和发展的重要特点。重视图像化的网络社区环境,对图像信息进行准确的判断识别,对敏感内容进行及时和必要的干预有利于维护网络社区环境的稳定,有利于维护社会治安。
[0003]现有技术中，图像承载的信息经过直观视觉化的方式表达,其语义信息并不能直接获取而需通过大脑的“阅读”和“理解”。近些年随着图像处理技术的迅猛发展,图像内容识别技术也得到了一定的提升。当前国内外对敏感图像内容识别分析基本采用图像分类技术。基于图像分类技术的敏感图像识别技术通过神经网络提取图像特征,将特征向量作为神经网络末端全连接层的输入,全连接层的输出即为图像内容分析结果。敏感图像中的主体、线条、色彩等低级特征经过此过程被捕捉并基于此进行判别分析。然而图像主体间关系、主体行为等图像语义内容在这一识别分类过程中无法获取,且与敏感图像内容识别密切相关的大量网络社区知识存在形式上的分离，使得图像内容判别结果无法结合大量网络社区文本信息的先验知识进行判别，识别准确率低,可理解性差。网络社区环境复杂，图像信息在时间维度上的传播和发酵是维护网络安全的重点。基于图像分类的敏感图像识别技术无法进行图像信息传播的追溯。

技术实现思路

[0004]本公开实施例提供了一种基于跨模态感知的敏感图像识别方法、装置、设备及介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
[0005]第一方面，本公开实施例提供了一种基于跨模态感知的敏感图像识别方法，包括：
[0006]获取网络社区中待识别的图像信息；
[0007]将图像信息输入预设的敏感图像识别模型中的跨模态感知模块，得到图像信息的跨模态文本描述；
[0008]将图像信息的跨模态文本描述输入敏感图像识别模型中的敏感信息识别模块，得到含有敏感信息的敏感图像。
[0009]在一个实施例中，将图像信息输入预设的敏感图像识别模型之前，还包括：
[0010]构建训练数据集，基于训练数据集训练敏感图像识别模型，其中，敏感图像识别模型包括跨模态感知模块以及敏感信息识别模块。
[0011]在一个实施例中，将图像信息输入预设的敏感图像识别模型中的跨模态感知模块，得到图像信息的跨模态文本描述，包括：
[0012]根据跨模态感知模块识别图像内的显著主体；
[0013]确定预训练的跨模态描述模型群中与识别出来的图像主体相对应的跨模态描述模型；
[0014]根据跨模态描述模型对图像内的主体、主体间关系以及主体行为的高级语义信息进行泛化的内容文本模态转化，得到图像信息的跨模态文本描述。
[0015]在一个实施例中，根据跨模态感知模块识别图像内的显著主体，包括：
[0016]根据跨模态感知模块中的主体捕捉单元识别图像内的显著主体，主体捕捉单元包括DenseNet
‑
Block网络结构，其计算公式如下所示：
[0017]X
l
＝H
l
([X0,X1…
X
l
‑1])
[0018]其中，[X0,X1…
X
l
‑1]表示将0至l
‑
1层的特征图做通道上的合并，H
l
表示对合并后的特征进行归一化操作、激活操作以及卷积操作，xl表示第l层卷积计算之后的结果。
[0019]在一个实施例中，根据跨模态描述模型对图像内的主体、主体间关系以及主体行为的高级语义信息进行泛化的内容文本模态转化，得到图像信息的跨模态文本描述，包括：
[0020]通过跨模态描述模型中的VGGNET网络结构提取图像特征；
[0021]将提取出来的图像特征输入包含注意力机制的长短期记忆循环神经网络，得到图像内的主体、主体间关系以及主体行为的高级语义信息的跨模态文本描述。
[0022]在一个实施例中，将图像信息的跨模态文本描述输入敏感图像识别模型中的敏感信息识别模块，得到含有敏感信息的敏感图像，包括：
[0023]根据预先构建的训练集训练TextCNN卷积神经网络，得到训练好的敏感信息识别模块；
[0024]将图像信息的跨模态文本描述输入敏感信息识别模块，得到识别出来的敏感文本信息；
[0025]将敏感文本信息对应的图像作为敏感图像。
[0026]第二方面，本公开实施例提供了一种基于跨模态感知的敏感图像识别装置，包括：
[0027]获取模块，用于获取网络社区中待识别的图像信息；
[0028]跨模态描述模块，用于将图像信息输入预设的敏感图像识别模型中的跨模态感知模块，得到图像信息的跨模态文本描述；
[0029]识别模块，用于将图像信息的跨模态文本描述输入敏感图像识别模型中的敏感信息识别模块，得到含有敏感信息的敏感图像。
[0030]在一个实施例中，还包括：
[0031]训练模块，用于构建训练数据集，基于训练数据集训练敏感图像识别模型，其中，敏感图像识别模型包括跨模态感知模块以及敏感信息识别模块。
[0032]第三方面，本公开实施例提供了一种基于跨模态感知的敏感图像识别设备，包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行上述实施例提供的基于跨模态感知的敏感图像识别方法。
[0033]第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现上述实施例提供的一种基于跨模态感知的敏感图像识别方法。
[0034]本公开实施例提供的技术方案可以包括以下有益效果：
[0035]本公开实施例提供了一种基于跨模态内容感知的网络社区敏感图像识别模型(SIR
‑
CM)。该模型主要由图像内容跨模态感知模块以及网络社区敏感文本信息识别模块组成。SIR
‑
CM在MSCOCO数据集及网络社区敏感图像标注数据集上实现了泛化的网络社区图像内容文本转化模块，可对社区图像内容文本进行细粒度的跨模态表达。在网络社区敏感文本信息识别模块中融合网络社区环境下的敏感内容文本集先验知识，使其具备网络社区环境下对敏感信息的分析和识别能力，得到更加准确并且更具可理解性的敏感图像识别结果。另外，评论的追加、话题的发酵等基于时间维度上的信息传播内容,在获得图像的文本模态内容之后，使得图像信息与其追加评论、话题文本等相关后续信息做到了形式的统一，对图像信息的传播能够进行进一步的追溯。
[0036]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨模态感知的敏感图像识别方法，其特征在于，包括：获取网络社区中待识别的图像信息；将所述图像信息输入预设的敏感图像识别模型中的跨模态感知模块，得到所述图像信息的跨模态文本描述；将所述图像信息的跨模态文本描述输入所述敏感图像识别模型中的敏感信息识别模块，得到含有敏感信息的敏感图像。2.根据权利要求1所述的方法，其特征在于，将所述图像信息输入预设的敏感图像识别模型之前，还包括：构建训练数据集，基于所述训练数据集训练所述敏感图像识别模型，其中，所述敏感图像识别模型包括跨模态感知模块以及敏感信息识别模块。3.根据权利要求1所述的方法，其特征在于，将所述图像信息输入预设的敏感图像识别模型中的跨模态感知模块，得到所述图像信息的跨模态文本描述，包括：根据所述跨模态感知模块识别图像内的显著主体；确定预训练的跨模态描述模型群中与识别出来的图像主体相对应的跨模态描述模型；根据所述跨模态描述模型对图像内的主体、主体间关系以及主体行为的高级语义信息进行泛化的内容文本模态转化，得到所述图像信息的跨模态文本描述。4.根据权利要求3所述的方法，其特征在于，根据所述跨模态感知模块识别图像内的显著主体，包括：根据所述跨模态感知模块中的主体捕捉单元识别图像内的显著主体，所述主体捕捉单元包括DenseNet
‑
Block网络结构，其计算公式如下所示：X
l
＝H
l
([X0,X1...X
l
‑1])其中，[X0,X1...X
l
‑1]表示将0至l
‑
1层的特征图做通道上的合并，H
l
表示对合并后的特征进行归一化操作、激活操作以及卷积操作，xl表示第l层卷积计算之后的结果。5.根据权利要求3所述的方法，其特征在于，根据所述跨模态...

【专利技术属性】
技术研发人员：吴旭，吴京宸，高丽，颉夏青，杨金翠，孙利娟，张熙，方滨兴，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：