多分支神经网络模型的弱监督细粒度图像分类方法技术

本发明专利技术公开了一种多分支神经网络模型的弱监督细粒度图像分类方法。其技术方案是：首先将细粒度图像数据集按比例随机划分成训练集和测试集；接着利用局部区域定位网络定位有潜在语义信息的局部区域；将原图像和定位后的局部区域分别输入到可变形卷积的残差网络和旋转不变编码的方向响应网络，构成三个分支的特征网络，分别进行训练，三个分支分别基于交叉熵损失进行后向传播学习。最后，组合分支内损失和分支间损失优化整个网络，对测试集进行分类预测。本发明专利技术方法减少因姿态、视角和背景干扰等诸多变化对分类结果的负面影响，在细粒度图像分类任务上取得了更好的效果。

A weakly supervised fine-grained image classification method based on multi branch neural network model

【技术实现步骤摘要】
多分支神经网络模型的弱监督细粒度图像分类方法
本专利技术属于细粒度图像分类领域，特别是涉及一种多分支神经网络模型的弱监督细粒度图像分类方法。
技术介绍
细粒度图像分类问题是计算机视觉领域的重要分支，在军用和民用领域都具有重要的意义，其目标是对属于同一基础类别的图像(例如鸟类、狗类、飞机类等)进行更加细致的子类划分。相较于传统的图像分类任务，细粒度图像类间差异更加细微，往往是只能借助微小的局部差异才能区分出不同的类别。同时又因物体存在姿态、视角、遮挡和背景干扰等诸多变化，导致其类内差异巨大，这些因素都给细粒度图像分类带来极大困难。早期的细粒度图像分类研究大多是基于人工特征的算法，首先借助于标注框完成对前景对象的检测，减少背景噪声的干扰。然后通过部位标注信息(如：头，喙，翅膀)学习部位特征，对部位特征输入到分类网络中得到图像类别的预测。然而由于人工标注的成本较高，且描述主观性强，制约了算法的实用性。目前，基于深度学习的细粒度图像分类方法研究得到快速发展，具体可分为四个方面：1)利用常规图像分类网络的微调；2)部位检测和对齐；3)细粒本文档来自技高网...

【技术保护点】
1.一种多分支神经网络模型的弱监督细粒度图像分类方法，其特征在于，包括如下步骤：/n步骤S1，对给定的细粒度图像数据集，按照一定的比例将其随机划分为训练集和测试集；/n步骤S2，将划分好的数据集进行图像预处理；/n步骤S3，将预处理后的图像输入局部区域定位网络，获得有潜在语义信息的局部区域图像；/n其中，所述局部区域定位网络是对卷积神经网络的改进，是将卷积神经网络中的全连接层修改为全局平均池化层，将预处理后的图像输入到改进后的卷积神经网络中提取特征；/n步骤S4，构建多分支神经网络模型，包括可变形卷积的残差网络和方向响应网络，其中可变形卷积的残差网络分别位于第一和第二分支中，两个分支的输入不同...

【技术特征摘要】
1.一种多分支神经网络模型的弱监督细粒度图像分类方法，其特征在于，包括如下步骤：
步骤S1，对给定的细粒度图像数据集，按照一定的比例将其随机划分为训练集和测试集；
步骤S2，将划分好的数据集进行图像预处理；
步骤S3，将预处理后的图像输入局部区域定位网络，获得有潜在语义信息的局部区域图像；
其中，所述局部区域定位网络是对卷积神经网络的改进，是将卷积神经网络中的全连接层修改为全局平均池化层，将预处理后的图像输入到改进后的卷积神经网络中提取特征；
步骤S4，构建多分支神经网络模型，包括可变形卷积的残差网络和方向响应网络，其中可变形卷积的残差网络分别位于第一和第二分支中，两个分支的输入不同，方向响应网络作为第三分支；
所述可变形卷积的残差网络是对原始残差网络的改进，是通过利用可变形卷积层替换基准残差网络中的普通卷积层，构成可变形卷积的残差网络；
所述方向响应网络是对给定的卷积网络的改进，是将给定卷积神经网络中的普通卷积替换为方向响应卷积，构成方向响应网络；
步骤S5，将预处理后的图像和局部区域图像分别作为第一分支和第二分支的输入，通过可变形卷积的残差网络进行训练，分别计算交叉熵损失；
步骤S6，将局部区域图像作为输入，通过方向响应网络训练，计算交叉熵损失；
步骤S7，组合多分支神经网络模型中三个分支内损失和分支间损失，初始化权重系数，迭代优化分支内损失和分支间损失，直至收敛；
步骤S8，将测试集输入到优化后的多分支神经网络模型，提取不同分支的输出特征，输入到Softmax分类层，获得类别预测结果。


2.如权利要求1所述的一种多分支神经网络模型的弱监督细粒度图像分类方法，其特征在于：所述可变形卷积的残差网络是对ResNet-50的改进，是将ResNet-50网络中conv5_x层的三个3×3卷积层替换为可变形卷积层，构成可变形卷积的残差网络。


3.如权利要求1或2所述的一种多分支神经网络模型的弱监督细粒度图像分类方法，其特征在于：所述步骤S4中可变形卷积的残差网络中可变形卷积表示为：



在输入特征图s上使用网格进行采样，s(p0+pn+Δpn)指p0+pn+Δpn位置处的特征，w(p0)是p0位置的权重，z(p0)即对应图像位置p0的特征，pn是下标为n的图像位置，Δpn为偏移量。


4.如权利要求1所述的一种多分支神经网络模型的弱监督细粒度图像分类方法，其特征在于：所述方向响应网络是对ResNet-18的改进，是将该网络中的普通卷积层替换为方向响应卷积ORConv，构成OR-ResNet-18网络。


5.如权利要求1或4所述的一种多分支神经网络模型的弱监督细粒度图像分类方法，其特征在于：所述步骤S4中定义方向响应卷积为为输入特征，是大小为U×U×O的主动旋转滤波器，滤波器边长为U，通道数为O，在卷积过程中主动旋转O-1次产生O个通道的特征图，输出特征图其中第k个通道计算为：



其中，表示第o个方向的特征图，表示第o个方向旋转角为θk的主动旋转滤波器。


6.如权利要求1所述的一种多分支神经网络模型的弱监督细粒度图像分类方法，其特征在于：步骤S3的具体实现方式如下，
首先，将局部区域定位网络中Softmax层输出的预测概率映射回最后一个卷积层来产生类注意力图，定义属于某个类别c的类注意力图为：



在式(1)中，表示在第k个特征图上第c类的权重，fk(x,y)表示第k个特征图上位置(x,y)的值；
然后根据类注意力图，在...

【专利技术属性】
技术研发人员：边小勇，江沛龄，费雄君，丁胜，张晓龙，李波，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北;42