【技术实现步骤摘要】
注意力融合互信息的图像分类方法、装置及存储介质
本专利技术属于计算机图像识别
，具体是涉及一种注意力融合互信息的图像分类方法、装置及存储介质。
技术介绍
随着深度学习的发展，细粒度的图像分类备受关注。但是，这仍然是一个非常具有挑战性的问题，因为相同子类别中的对象可能呈现较大的外观变化，而来自不同子类别的对象可能呈现出更多相似的外观。图像分类中的传统问题，例如比例尺和视角的变化，复杂的背景和遮挡，由于标记细粒图像的成本大幅增加而变得更加难以处理。相比于通用的图像分类任务，细粒度图像分类拥有的数据集非常少。一个好的模型应该能够发现并代表子类别中的细微视觉差异。为了获得目标局部特征表示，许多作品都引用了人工标注的边界框。由于大量的人力投入使部件的定义和标注既昂贵又主观，因此使用分类标签学习弱监督部件模型的方法取得了重大进展。这些方法通常由两个阶段组成，包括局部定位和细粒度特征学习。局部定位阶段旨在找到有判别性的部件，这通常被称为部件注意力学习阶段。研究人员提出作为多注意卷积神经网络（MA-CNN）进行细粒度识别，并在...
【技术保护点】
1.一种注意力融合互信息的图像分类方法，其特征在于，包括：/n获取属于同一类别的第一输入图像和第二输入图像，/n将所述第一输入图像和第二输入图像输入至训练好的注意力融合互信息的图像分类网络中，/n分别提取所述第一输入图像和第二输入图像的全局特征，并将所述第一输入图像的第一全局特征和所述第二输入图像的第二全局特征转换为与类标签对应的第一语义概率和第二语义概率，/n提取所述第一输入图像的第一局部特征，并根据所述第一全局特征和所述第一局部特征估计所述所述第一局部特征的注意力图，并通过所述注意力图对所述第一局部特征进行加权，以获得注意力加权特征，/n将所述加权特征输入至线性分类器中...
【技术特征摘要】
1.一种注意力融合互信息的图像分类方法，其特征在于，包括：
获取属于同一类别的第一输入图像和第二输入图像，
将所述第一输入图像和第二输入图像输入至训练好的注意力融合互信息的图像分类网络中，
分别提取所述第一输入图像和第二输入图像的全局特征，并将所述第一输入图像的第一全局特征和所述第二输入图像的第二全局特征转换为与类标签对应的第一语义概率和第二语义概率，
提取所述第一输入图像的第一局部特征，并根据所述第一全局特征和所述第一局部特征估计所述所述第一局部特征的注意力图，并通过所述注意力图对所述第一局部特征进行加权，以获得注意力加权特征，
将所述加权特征输入至线性分类器中进行分类，并获取所述线性分类器的交叉熵损失，
根据所述第一语义概率和第二语义概率计算所述第一输入图像和第二输入图像的互信息，并根据最大化的所述互信息获取不变信息聚类损失，
根据所述交叉熵损失和不变聚类损失训练所述注意力融合互信息的图像分类网络，以进行所述第一输入图像的分类预测。
2.根据权利要求1所述的图像分类方法，其特征在于，还包括构建注意力融合互信息的图像分类网络，所述注意力融合互信息的图像分类网络具有注意力分类网络和聚类网络，根据所述交叉熵损失和不变聚类损失训练所述注意力融合互信息的图像分类网络的步骤包括：
在获取所述交叉熵损失后，将所述交叉熵损失反向传播至所述注意力分类网络中，以训练所述注意力分类网络，
在获取所述不变信息聚类损失后，将所述不变信息聚类损失反向传播至所述聚类网络中，以训练所述聚类网络。
3.根据权利要求1所述图像分类方法，其特征在于，根据所述第一输入图像获取所述第二输入图像，所述第一输入图像为待分类图像，所述第二输入图像为所述第一输入图像通过随机扰动转换后获得的图片，
所述随机扰动包括缩放、倾斜、旋转、翻转、更改对比度和、更改颜色饱和度中的一种或多种。
4.根据权利要求1所述的图像分类方法，其特征在于，根据所述第一全局特征和所述第一输入图像的第一局部特征获取所述所述第一局部特征的注意力度,并通过所述注意力图对所述第一局部特征进行加权，以获得注意力加权特征的步骤包括：
采用加法运算使所述第一局部特征中的每个像素位置的局部特征向量和全局特征组合在一起，然后学习从结果描述符到兼容性评分的单个全连接层映射，以定义兼容性评分函数，使得，其中，，
对所述兼容性评分函数进行归一化，以获得所述注意力图，所述注意力图中的第个元素为，其中，
使所述注意力图对所述第一局部特征中的每个像素位置的局部特征向量进行加权，以获得所述注意力加权特征，其中，
所述全局特征的特征向量为，所述第一局部特征的局部特征向量为，，所述为所述第一局部特征向量中的第个局部激活向量，为学习与所述第一输入图象类别相关的权重向量。
5.根据权利要求2所述的图像分类方法，其特征在于，使所述分类网络和聚类网络共享相同的特征提取参数。
...
【专利技术属性】
技术研发人员：李硕豪，王风雷，张军，张萌萌，雷军，何华，谭真，蒋林承，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。