当前位置: 首页 > 专利查询>天津大学专利>正文

一种基于交叉注意力机制的哈希到图像逆映射方法技术

技术编号:41355176 阅读:17 留言:0更新日期:2024-05-20 10:07
本发明专利技术公开了一种基于交叉注意力机制的哈希到图像逆映射方法,所述方法包括以下步骤:使用哈希函数生成图像的哈希,构成图像到哈希的配对训练样本,构建训练集;构建哈希到图像逆映射网络,哈希到图像逆映射网络包含哈希特征提取模块、若干级联的哈希特征调制模块以及图像特征上采样模块;哈希特征提取模块提取的哈希特征通过哈希调制模块逐级转换为图像特征,其中初始提取的哈希特征作为每一级哈希调制模块的交叉注意力层的输入,调控哈希特征到图像特征的转换过程;采用L1范数损失、结构相似性损失和对比学习损失的线性组合训练网络;将哈希输入训练好的网络即可得到重建图像。本发明专利技术可以直接从哈希中重建对应图像。

【技术实现步骤摘要】

本专利技术涉及图像处理技术与深度学习,尤其涉及一种基于交叉注意力机制的哈希到图像逆映射方法


技术介绍

1、图像哈希是一种可以用于大规模数据索引,快速图像检索和认证的方法。这种方法可以进行高效的图像内容检索[1]。哈希是一种排列非常紧凑、具有鲁棒性且能反映图像本质内容的描述符。虽然通常认为哈希生成过程是单项映射过程,但现有研究表明借助深度学习等技术可以从图像的哈希序列重建输入图像。因此,哈希除了能够用于图像检索等应用外,还可作为一种具有高度紧凑性的图像表示方法,能够极大节省图像存储和传输成本。

2、现有研究工作主要聚焦于从图像局部描述符来重建图像,例如词袋模型、局部二值模式等描述符,但此类图像描述符包含的信息量远大于哈希。近期一些工作尝试采用深度学习技术从哈希序列中推断原始图像信息,从而重建图像,且重建结果能够反映出原始图像的主要视觉内容。wang等人[2]使用深度学习方法从哈希中重建小尺寸灰度图像,所提出的卷积神经网络由全连接层、若干个激活函数和卷积层构成,用于以端到端的方式学习从哈希空间到图像空间的逆映射。rabab等人[3]利用多层级联的本文档来自技高网...

【技术保护点】

1.一种基于交叉注意力机制的哈希到图像逆映射方法,其特征在于,所述方法包括:

2.根据权利要求1所述一种基于交叉注意力机制的哈希到图像逆映射方法,其特征在于,所述哈希到图像逆映射网络采用以下步骤对哈希进行处理:

3.根据权利要求2所述一种基于交叉注意力机制的哈希到图像逆映射方法,其特征在于,所述注意力调制单元由若干层归一化操作、交叉注意力层和全连接层构成;层归一化操作和交叉注意力层按如下方式对注意力调制单元的输入进行处理:

4.根据权利要求3所述一种基于交叉注意力机制的哈希到图像逆映射方法,其特征在于,所述交叉注意力层接受两个输入:一个输入为前置层归一...

【技术特征摘要】

1.一种基于交叉注意力机制的哈希到图像逆映射方法,其特征在于,所述方法包括:

2.根据权利要求1所述一种基于交叉注意力机制的哈希到图像逆映射方法,其特征在于,所述哈希到图像逆映射网络采用以下步骤对哈希进行处理:

3.根据权利要求2所述一种基于交叉注意力机制的哈希到图像逆映射方法,其特征在于,所述注意力调制单元由若干层归一化操作、交叉注意力层和全连接层构成;层归一化操作和交叉注意力层按如下方式对注意力调制单元的输入进行处理:

4.根据权利要求3所述一种基于交叉注意力机制的哈希到图像逆映射方法,其特征在于,所述交叉注意力层接受两个输入:一个输入为前置层归一化操作的输出,a通过与权重矩阵相乘得到q;另一个输入为哈希特征提取模块的输出,分别与权重矩阵、相乘得到k、v,即:

【专利技术属性】
技术研发人员:余琦奕李岳楠
申请(专利权)人:天津大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1