基于逻辑元变换乘积量化的细粒度图像检索方法及系统技术方案

本发明专利技术公开了一种基于逻辑元变换乘积量化的细粒度图像检索方法，包括步骤：将待测图像导入卷积神经网络提取特征，输出最后一层的特征谱；再通过区域候选网络

【技术实现步骤摘要】
基于逻辑元变换乘积量化的细粒度图像检索方法及系统


[0001]本专利技术涉及深度学习细粒度图像检索
，尤其涉及一种基于部件交互和知识蒸馏的度量学习的逻辑元变换乘积量化细粒度图像检索方法及系统
。

技术介绍

[0002]细粒度图像检索
(fine
‑
grained image retrieval, FGIR)
旨在识别某一对象类别内子类别之间的细微变化，并根据感兴趣的概念对所有实例进行排序，可用于多个应用领域，如智能零售
、
智能交通
、
生物多样性监测
。
细粒度图像数据集所包含的图像视觉相似性远高于一般图像检索任务，并且在关键部位区域
(
如鸟眼
、
头部或尾部等
)
存在细微的视觉差异
。
由于类间差异细微，类内差异显著，细粒度图像检索是一项极具挑战性的任务，需要同时定位判别区域和识别细微的视觉差异
。
此外，大规模细粒度图像检索任务还需要考虑存储成本和计算效率，在搜本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于部件交互和知识蒸馏的度量学习的逻辑元变换乘积量化细粒度图像检索方法，其特征在于，包括以下步骤：
S1、
导入待测图像；
S2、
通过预先训练好的卷积神经网络提取特征，并输出该卷积神经网络最后一层的特征谱；
S3、
通过区域候选网络
RPN
将最后一层的特征谱生成
Top
‑
N
个部件；
S4、
将生成的
Top
‑
N
个部件重新输入至卷积神经网络中，并将原始待测图像和
Top
‑
N
部件经过卷积神经网络后的最后三层特征进行融合级联；
S5、
将融合级联后的输出特征通过线性投影生成相应的逻辑元，再通过逻辑元变换对生成的逻辑元向量重新加权；
S6、 将重新加权后的逻辑元向量输入到预先构建并训练好的细粒度图像检索模型；该细粒度图像检索模型包括软量化层
、
损失层和搜索层，在模型训练过程中通过该软量化层对样本图像生成的逻辑元向量进行量化，生成紧凑有判别力的量化码；通过损失层增强量化码的特征表示能力，并生成量化码书；该损失层为基于分类损失函数和基于知识蒸馏的度量损失构建而成，用于约束量化码的生成；检索时，该搜索层通过量化码书进行计算找到与待测图像的逻辑元向量最接近的数据库图像对应的量化码，将所对应的数据库图像作为检索结果
。2.
根据权利要求1所述的基于部件交互和知识蒸馏的度量学习的逻辑元变换乘积量化细粒度图像检索方法，其特征在于，通过渐进式策略训练卷积神经网络
。3.
根据权利要求1所述的基于部件交互和知识蒸馏的度量学习的逻辑元变换乘积量化细粒度图像检索方法，其特征在于，卷积神经网络训练的过程中，区域候选网络
RPN
输出的的
Top
‑
N
个部件重新输入至卷积神经网络后，通过增加通道跨部件交互
Transformer
对输出结果进行跨部件交互，并根据跨部件交互生成交叉熵损失对卷积神经网络进行训练约束
。4.
根据权利要求1所述的基于部件交互和知识蒸馏的度量学习的逻辑元变换乘积量化细粒度图像检索方法，其特征在于，步骤
S2
还包括利用因果上下文池对卷积神经网络输出的最后一层的特征谱进行特征谱增强
。5.
根据权利要求4所述的基于部件交互和知识蒸馏的度量学习的逻辑元变换乘积量化细粒度图像检索方法，其特征在于，特征谱增强的具体过程为：从因果上下文池中取最大概率类，然后将最大概率类重新投影到最后一层的特征谱中，通过融合...

【专利技术属性】
技术研发人员：马雷，罗欣，洪汉玉，时愈，朱映，吴锦梦，王磊，张耀宗，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：