一种自注意力驱动的相似性图像分类方法技术

技术编号:43376266 阅读:15 留言:0更新日期:2024-11-19 17:54
本发明专利技术公开了一种自注意力驱动的相似性图像分类方法,包括:1、构建图像样本集并构建每个图像样本的正样本对和负样本对;2、构建表示学习网络得到映射特征;3、构建自注意力加权网络得到分配权重后的特征图;4、构建相似性学习网络得到不同图像样本在各个主题下的相似性得分,从而构建三重损失函数L<subgt;topic</subgt;;5、构建一个基于对抗性损失的生成网络得到分配权重后的主题特征图,从而构建生成器模型G的损失函数L<subgt;gen</subgt;以及对抗损失函数L<subgt;adv</subgt;;6、构建整体联合损失函数L。本发明专利技术提供了一种可解释的判断给定对象相似程度的方法,而且能表明它们的哪些部分彼此相似以及它们在语义上有多相似。

【技术实现步骤摘要】

本专利技术涉及到卷积神经网络、自注意力机制、相似性学习、生成对抗网络和最终的相似性图像分类模型,属于计算机视觉领域,具体地说是一种融合了多种技术的鲁棒的相似性图像分类方法。


技术介绍

1、图像相似性学习的意义在于量化两个图像之间的相似性,其应用非常广泛,包括图像检索、图像分类、图像压缩、图像水印、图像合成等方面。相似性学习作为一种机器学习算法,旨在自动准确地测量对象之间的相关性,已广泛应用于当今许多人工智能领域,如图像检索,推荐系统,多媒体信息处理。

2、传统的相似性学习算法通常旨在通过使用不同的距离度量来区分相似/不相似的样本或核函数来验证相关性并对给定对象进行分类。然而,传统的相似性学习算法通常是在潜在特征空间中测量整个给定对象之间的距离。因此,所获得的相似度得分仅表示整个给定对象有多接近,但不能表明它们的哪些部分彼此相似以及它们在语义上有多相似。在现实世界的任务中,例如图像检索,给定一个查询图像,例如一个苹果作为水果,仅仅检索与苹果相似的图像是不够的;此外,还应该检索属于相同语义主题的图像,例如苹果汁的图像。此外,传统的相似性学习算法通常本文档来自技高网...

【技术保护点】

1.一种自注意力驱动的相似性图像分类方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种自注意力驱动的相似性图像分类方法,其特征在于,所述步骤2中的表示学习网络,依次包括:表示学习模块,3个结构相同但参数不同的横向特征映射子网络模块、纵向特征映射子网络模块、全局特征映射子网络模块;

3.根据权利要求2所述的一种自注意力驱动的相似性图像分类方法,其特征在于,所述步骤3中的自注意力加权网络依次包括:自注意力矩阵计算模块和自注意力权重分配模块;

4.根据权利要求3所述的一种自注意力驱动的相似性图像分类方法,其特征在于,所述步骤4包括如下步骤:...

【技术特征摘要】

1.一种自注意力驱动的相似性图像分类方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种自注意力驱动的相似性图像分类方法,其特征在于,所述步骤2中的表示学习网络,依次包括:表示学习模块,3个结构相同但参数不同的横向特征映射子网络模块、纵向特征映射子网络模块、全局特征映射子网络模块;

3.根据权利要求2所述的一种自注意力驱动的相似性图像分类方法,其特征在于,所述步骤3中的自注意力加权网络依次包括:自注意力矩阵计算模块和自注意力权重分配模块;

4.根据权利要求3所述的一种自注意力驱动的相似性图像分类方法,其特征在于,所述步骤4包括如下步骤:

5.根据权利要求4所述的一种自注...

【专利技术属性】
技术研发人员:高欣健南星宇李程晔王昕高隽
申请(专利权)人:合肥工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1