一种弱监督的深度上下文感知图像表征方法及系统技术方案

本发明专利技术公开了一种弱监督的深度上下文感知图像表征方法及系统，包括：获取待处理图像；对待处理图像进行表征提取，提取出基础视觉表征；基于基础视觉表征，生成上下文强化视觉表征；对上下文强化视觉表征映射为哈希向量；对哈希向量，进行二值化处理，得到待处理图像的哈希表征。该方法充分捕获了图像的语义信息，并在一个统一的框架内增强了图像表征的辨别力。本发明专利技术引入了辨别损失，强制图像表征重新生成标签。这样可以增强图像表征的区分性，且进一步提高哈希码的质量；相较于之前的方法，本发明专利技术提高了基于哈希表征的图像检索性能。本发明专利技术提高了基于哈希表征的图像检索性能。本发明专利技术提高了基于哈希表征的图像检索性能。

【技术实现步骤摘要】
一种弱监督的深度上下文感知图像表征方法及系统


[0001]本申请涉及图像表征
，特别是涉及一种弱监督的深度上下文感知图像表征方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本申请相关的
技术介绍
，并不必然构成现有技术。
[0003]随着社交网络和移动智能手机的普及，大量的图片被网民记录和分享。为了克服海量图像带来的存储成本，同时满足高效图像检索的需求，图像哈希表征学习越来越引起人们的研究兴趣。受深度神经网络在表征学习方面成功的启发，人们的研究重点已经转向到探索深度图像哈希表征学习方法上。尽管它们取得了令人满意的进展，但大多数工作都是有监督的学习方法。换句话说，它们依赖于多个类别的大量标注图像，标注成本是非常昂贵的，故不适用于真实的应用中。我们知道，社交图片与用户提供的标签是相关联的，这些标签信息在一定程度上可以描述图片的语义信息。更重要的是，与图像类别标注信息相比，用户标签信息更容易获得。鉴于此弱监督的深度图像哈希表征学习，即利用用户标签作为监督信息而不是图像类别标注来学习哈希函数，是非常必要的。<br/>[0004]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种弱监督的深度上下文感知图像表征方法，其特征是，包括：获取待处理图像；对待处理图像进行表征提取，提取出基础视觉表征；基于基础视觉表征，生成上下文强化视觉表征；对上下文强化视觉表征映射为哈希向量；对哈希向量，进行二值化处理，得到待处理图像的哈希表征。2.如权利要求1所述的一种弱监督的深度上下文感知图像表征方法，其特征是，所述对待处理图像进行表征提取，提取出基础视觉表征；基于基础视觉表征，生成上下文强化视觉表征；对上下文强化视觉表征映射为哈希向量；通过训练后的图像编码器来实现。3.如权利要求2所述的一种弱监督的深度上下文感知图像表征方法，其特征是，所述图像编码器，包括：依次连接的ResNet
‑
50网络、自注意力机制模块、求和单元、平均池化层和多层感知机网络；其中，ResNet
‑
50网络作为图像编码器的输入端，多层感知机网络作为图像编码器的输出端。4.如权利要求3所述的一种弱监督的深度上下文感知图像表征方法，其特征是，所述ResNet
‑
50网络，用于对待处理图像进行表征提取，提取出基础视觉表征；所述自注意力机制模块，用于捕获基础视觉表征的特征图上每一个点的上下文信息，得到上下文强化后的区域表征矩阵；所述求和单元，用于将上下文强化后的区域表征与基础视觉表征相加，得到增强后的区域特征；所述平均池化层，用于对增强后的区域特征进行融合得到上下文强化的视觉表征；所述多层感知机网络，用于对上下文强化的视觉表征进行映射为哈希向量。5.如权利要求2所述的一种弱监督的深度上下文感知图像表征方法，其特征是，所述训练后的图像编码器，训练步骤包括：构建训练集；所述训练集包括已知用户标签的图像；将训练集中的图像作为图像编码器的输入值，将训练集中的已知标签的表征向量作为图像编码器的输出值，对图像编码器进行训练；当图像编码器的总损失函数达到最小值时，停止训练，得到训练后的图像编码器。6.如权利要求5所述的一种弱监督的深度上下文感知图像表征方...

【专利技术属性】
技术研发人员：刘萌，田传发，周迪，齐孟津，聂秀山，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：