当前位置: 首页 > 专利查询>中南大学专利>正文

一种基于Transformer的细粒度图像分类方法及系统技术方案

技术编号:43735548 阅读:27 留言:0更新日期:2024-12-20 12:58
本发明专利技术公开了一种基于Transformer的细粒度图像分类方法及系统。其中,系统包括能够增强模型对关键细节的捕捉能力的细节增强子模块、通过设计通道注意力机制和空间注意力机制,能够重点关注输入图像的关键区域的局部特征细化子模块;融合了多尺度特征,处理高度相似的图像时更具辨别力的自适应特征融合模块,使得发明专利技术提供的方案实现了特征信息的优化整合,提高了特征的表达能力,增强了模型对复杂图像的泛化能力,能有效提高细粒度图像分类的准确性和鲁棒性。

【技术实现步骤摘要】

本专利技术涉及图像识别,尤其涉及一种基于transformer的细粒度图像分类方法及系统。


技术介绍

1、细粒度视觉分类(fine-grained visual classification,fgvc)是计算机视觉中的一项具有挑战性的任务,它涉及将图像分类为非常具体和详细的类别,例如不同种类的鸟类、狗、车辆模型和医学图像。如图1所示,这四种麻雀的外观几乎相同,但从不同的角度看,同一种麻雀的外观也有很大的不同。细粒度图像分类在现实生活中具有广泛的应用前景。例如,在安全监控领域中,细粒度图像分类可以用于人脸识别、行为分析等任务;在智能交通领域中,细粒度图像分类可以用于车辆品牌和型号的识别等任务。因此,开展细粒度图像分类的研究具有重要的理论和实践意义。

2、fgvc在计算机视觉中的目标是检索和识别属于超类别(又名元类别或基本类别)的多个下属类别的图像,例如,不同物种的动物/植物,不同型号的汽车,不同种类的零售产品等。因此,关键的挑战在于理解细粒度的视觉差异,以充分区分在整体外观上高度相似但在细粒度特征上不同的对象。自近20年前开始以来,已经取得了巨大本文档来自技高网...

【技术保护点】

1.一种基于Transformer的细粒度图像分类系统,其特征在于,所述系统包括细粒度图像分类模型和全连接层,所述细粒度图像分类模型包括骨干网络、特征金字塔网络和细粒度特征提取模块;所述细粒度特征提取模块包括细节增强子模块、局部特征细化子模块和自适应特征融合模块;

2.根据权利要求1所述的基于Transformer的细粒度图像分类系统,其特征在于,所述细节增强子模块具体利用如下计算式输出细节增强后的特征图:

3.根据权利要求1所述的基于Transformer的细粒度图像分类系统,其特征在于,所述局部特征细化子模块具体利用如下计算式输出局部特征细化后的特征图:...

【技术特征摘要】

1.一种基于transformer的细粒度图像分类系统,其特征在于,所述系统包括细粒度图像分类模型和全连接层,所述细粒度图像分类模型包括骨干网络、特征金字塔网络和细粒度特征提取模块;所述细粒度特征提取模块包括细节增强子模块、局部特征细化子模块和自适应特征融合模块;

2.根据权利要求1所述的基于transformer的细粒度图像分类系统,其特征在于,所述细节增强子模块具体利用如下计算式输出细节增强后的特征图:

3.根据权利要求1所述的基于transformer的细粒度图像分类系统,其特征在于,所述局部特征细化子模块具体利用如下计算式输出局部特征细化后的特征图:

4.根据权利要求1所述的基于transformer的细粒度图像分类系统,其特征在于,所述自适应特征融合模块具体利用如下计算式输出融合特征:

5.根据权利要求1所述的基于transformer的细粒度图像分类系统,其特征在于,所述系统的损失函数为将加权交叉熵损失和区域...

【专利技术属性】
技术研发人员:曾锋严昌燊张肖垚谢小卫
申请(专利权)人:中南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1