基于双模态融合的小样本细粒度目标识别模型及方法技术

本发明专利技术公开了一种基于双模态融合的小样本细粒度目标识别模型及方法。解决了现有技术中小样本细粒度图像识别类内差异小且单一视觉信息提供信息有限而导致识别准确率较低的问题。本发明专利技术系统包括样本预处理模块、背景过滤模块、属性引导模块，原型分类器。将样本数据集输入主干网络进行预处理；主干网络的输出表征经过背景过滤模块，得到细化的前景图；属性引导模块重构属性信息，指导网络学习前景图中的细粒度特征，其中属性正则化损失函数用来约束学习到的细粒度特征，以保证细粒度特征质量；构建所述的基于双模态融合的小样本细粒度目标识别模型的网络结构。本发明专利技术结合了结合自注意力、双模态融合学习、原型编码的原理，能够提供双模态信息且专注于局部区域，提高了分类器的性能和泛化能力，能够实现更好的小样本细粒度图片识别。粒度图片识别。粒度图片识别。

【技术实现步骤摘要】
基于双模态融合的小样本细粒度目标识别模型及方法


[0001]本专利技术属于计算机视觉中的小样本图片分类领域，具体涉及一种基于双模态融合的小样本细粒度目标识别模型及方法。

技术介绍

[0002]早期深度学习依赖于大量标记数据、计算机优秀的运算能力以及大型神经网络而得到飞速发展，然而人们发现获取大量标记数据的代价是昂贵的，大型神经网络的成功也取决于计算机充裕的库容量和杰出的推理能力。让机器像人类一样学习是深度学习的目标之一，而人类拥有可以仅从一个或者几个示例轻松识别从未见过新颖事物的能力，小样本学习的概念应运而生。
[0003]小样本识别主要是采用单模态方法来解决，但细粒度小样本识别问题具有类内差异非常小的问题，如仅有部分毛发颜色不同等差异，而单纯的视觉特征提供的信息十分有限，导致识别准确率较低。

技术实现思路

[0004]本专利技术的目的是提供一种基于双模态融合的小样本细粒度目标识别模型及方法，以解决目前小样本细粒度图像识别类内差异小且单纯的视觉特征提供的信息十分有限，导致识别准确率较低的问题。本申请通过结合自注意力、双模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双模态融合的小样本细粒度目标识别模型及方法，其特征在于，所述算法包括样本预处理模块、背景过滤模块、属性引导模块，原型分类器；所述样本预处理模块，用于将样本进行图像增强，并输入卷积神经网络进行初级特征提取；所述背景过滤模块，用于通过卷积核和高维矩阵算法，使神经网络关注不同输入之间的相关性，从而过滤掉差异性大的背景特征；所述属性引导模块，用于通过属性学习器得到属性特征映射，并引导神经网络学习各样本的细粒度特征；所述原型分类器，用于获取细化的类原型特征，将经过属性引导模块处理的特征映射到嵌入空间得到类原型特征向量，计算新颖类到类原型的距离得到识别精度与损失，完成模型推理。2.如权利要求1所述的样本预处理模块，其特征在于，所述的图像增强包括将输入样本图片随机裁剪后统一尺寸大小84
×
84，调节样本图像亮度、对比度、饱和度属性，参数设置为0.4；3.如权利要求1所述的样本预处理模块，其特征在于，所述的卷积神经网络包括四个卷积层，所述卷积层每一层具体为：一个3
×
3卷积核、一个批量归一化层、一个ReLU激活层、一个窗口大小为2
×
2最大池化层，其输出为C
×
H
×
W形状的初级特征向量；其中，C是特征向量的深度，H是特征向量的高度，W是特征向量的宽度；4.如权利要求1所述的背景过滤模块，其特征在于，所述的卷积核大小为3
×
3，卷积核个数与初级特征向量的深度保持一致，包括以下步骤：步骤一，初级特征向量经过q、k、v卷积核，得到Q、K、V三个特征矩阵；步骤二，Q特征矩阵在H
×
W维度上转置之后与K特征矩阵相乘，...

【专利技术属性】
技术研发人员：周彦，任晓，杨珊，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：