【技术实现步骤摘要】
本专利技术属于细粒度图像分类，具体涉及一种基于非形变对象特征提取的细粒度图像分类方法。
技术介绍
1、广泛的细粒度分类工作已经被开发出来，以区分一个基本级别类别下的不同子类别的对象。分类骨干网络，如vgg-16和resnet-50，在fgvc中发挥了不可替代的作用。为了提取细微的差异，许多工作都设计了一个网络来定位有辨识度的部分区域。早期的工作是利用零件注释和图像级别的标签来监督网络的学习过程。例如，zhang等人提出了一个零件定位模型，该模型利用r-cnn来检测物体并在几何先验条件下定位其零件。mask-cnn被提出来捕捉物体级和零件级信息。然而，部分注释严重依赖人工，而人工标注通常是昂贵的且不可用的。因此，只需要图像级标签的弱监督网络如今受到了更多的关注。
2、复杂的背景往往会干扰图像的理解与识别，尤其是在细粒度图像分类中，类内差异很大程度上来自于复杂背景的干扰，所以细粒度图像分类任务需要解决的一个关键问题是如何提取关键的对象区域信息来最大可能的避免背景干扰。现有的很多细粒度分类算法通过定位目标区域并在图像上截取对应位置区域来获得目标区域图像，之后提取截取图像的特征进行分类。这种截取的图像往往长宽比例不同，需要将截取图像拉伸到相同的大小以便于后续的批处理。这种拉伸虽然保证了图像的长宽比一致，但会导致严重的目标对象形变问题。这种对象形变问题在数据预处理中初步处理图像时已经存在，在算法中截取目标区域并拉伸图像进一步导致了目标形变问题更加的普遍和严重。这种形变对象往往会给模型带来错误的信息，从而降低模型的泛化能力，给分
3、论文fine-grainedvisualcategorizationbylocalizingobjectpartswithsingleimage提出了一种用于细粒度图像分类的新方法，通过独立于每张图像定位关键对象部分来避免因不同图像中相同对象部分外观的剧烈变化而训练出的部分检测器的不足。
4、然而，其存在的缺陷是：
5、固定对象部分数量的限制：文章中提到，在某些图像中由于遮挡等原因可能没有足够的对象部分可以检测，这可能导致检测到的部分中包含重复或与分类无关的内容。这表明固定部件数量的策略不总是最优的。
6、性能依赖于基础cnn模型：尽管提出的方法在提高分类性能方面取得了进步，但其性能仍然依赖于所使用的基础卷积神经网络(cnn)模型。这意味着模型的最终效果可能受限于基础cnn的能力。
7、计算复杂性和效率：该技术使用的特征图的谱聚类和两类特征的提取会引入额外的计算负担，特别是对于具有大量图像和复杂场景的大规模数据集来说，这会导致过高的算力成本并影响模型的效率。
技术实现思路
1、为了克服上述现有技术存在的不足，本专利技术的目的在于提供一种基于非形变对象特征提取的细粒度图像分类方法，该方法基于cnn提取的原始卷积特征，通过集成高频通道选择、局部判别区域定位和非形变对象区域截取策略构成一个flnet网络分类预测，利用该方法进行分类预测著提高了细粒度视觉分类任务的性能。
2、为了实现上述目的，本专利技术采用的技术方案是：
3、一种基于非形变对象特征提取的细粒度图像分类方法，包括以下步骤；
4、步骤1；通过cnn卷积神经网络提取整个原始输入图像的特征；
5、步骤2，通过高频通道选择模块筛选出对图像分类起关键性作用的通道，即高频通道；
6、步骤3，采用局部判别区域定位模块对步骤2中选择出来的高频通道进行整合并生成掩码，取最具有差别性的连通区域作为后续的截取目标区域；
7、步骤4，通过非形变对象区域截取策略对目标区域进行截取；
8、步骤5，最终对原始图像特征和截取出的判别区域特征的高频通道特征图进行特征融合，在此基础上得到分类结果。
9、所述步骤1中，图像特征即区分图像的关键性质，而特征提取的本质就是对一个给定图像的特征子集通过一个特定的评价标准进行优良性衡量.通过特征选择，原始特征集合中的冗余特征和不相关特征将被除去，而有用特征得以保留。
10、所述步骤2具体为：
11、步骤2a)计算通道间相似度矩阵；
12、
13、这里，fsm表示相似度计算，和分别表示第i个和第j个通道的特征图，h,w分别代表特征图的总长和总宽，h,w则分别代表特征图的第h行和第w列，另外为了满足所有j的归一化约束对相似度矩阵s的每一行进行softmax函数归一化：
14、
15、其中，i＝1，2，...,c，c表示特征图总通道数；
16、步骤2b)计算通道频繁程度；
17、
18、其中frj表示第j个通道的频繁程度，fca表示通道频繁程度计算，i,j分别表示第i个通道和第j个通道，c表示特征图总通道数，在相似度矩阵s的基础上，如果一个通道与较多的通道相似度较高，即频繁程度较高；
19、步骤2c)取频繁程度最高的k个通道作为高频通道。
20、所述步骤2c)具体为：
21、首先对通道频繁程度fr进行排序，然后选取频繁程度最高的k个通道特征图：
22、
23、其中，fse表示上述排序和选择的操作，ij是第k个通道的索引，j＝1,2,...,k，则表示频繁程度第j高的通道特征图。
24、所述步骤3具体为：
25、步骤3a)整合高频通道；
26、对于步骤2c)最终得到的频繁程度前k高的通道特征图进行整合：
27、
28、其中，ffuse表示整合操作，ij是第k个通道的索引，则表示频繁程度第j高的通道特征图，最后得到整合后矩阵sigmoid函数是为了将的所有元素限制在(0,1)范围内，以避免对象的激活值出现较大的差异；
29、步骤3b)计算整合后矩阵上的连通分量的掩码；
30、
31、其中fmask表示计算掩码操作，m0为步骤3a)整合后矩阵，mean表示对矩阵中所有值进行平均计算，由上述公式可推导出一个mask包含多个连通区域om，此处连通区域指矩阵m0中值为1并连通的区域。
32、步骤3c)计算每个连通区域的平均像素值；
33、
34、其中，fave表示计算平均像素值操作，hm和wm分别是连通区域om的高度和宽度，i,j表示连通区域om的第i行和第j列，m＝1,2,...,m，而m是连接区域的总数量，最终通过计算得到每个连通区域的平均像素值
35、步骤3d)选定具有最大平均像素值的连通区域为最具区分性的目标区域；
36、
37、其中find表示选定区域操作，表示第index个连通区域的平均像素值，argmax运算的目的是最终得到平均像素值最大的连通区域的索引ind。此时，平均像素值最大，表示该区域通道注意力最为频繁，即可以作为局部判本文档来自技高网...
【技术保护点】
1.一种基于非形变对象特征提取的细粒度图像分类方法，其特征在于，包括以下步骤；
2.根据权利要求1所述的一种基于非形变对象特征提取的细粒度图像分类方法，其特征在于，所述步骤2具体为：
3.根据权利要求2所述的一种基于非形变对象特征提取的细粒度图像分类方法，其特征在于，所述步骤2c)具体为：
4.根据权利要求1所述的一种基于非形变对象特征提取的细粒度图像分类方法，其特征在于，所述步骤3具体为：
5.根据权利要求4所述的一种基于非形变对象特征提取的细粒度图像分类方法，其特征在于，所述步骤4具体为：
6.根据权利要求5所述的一种基于非形变对象特征提取的细粒度图像分类方法，其特征在于，所述步骤4a)为：
7.根据权利要求5所述的一种基于非形变对象特征提取的细粒度图像分类方法，其特征在于，所述步骤4b)为：
8.根据权利要求7所述的一种基于非形变对象特征提取的细粒度图像分类方法，其特征在于，所述正方形图像将作为后续训练的数据样本，其中，非形变对象特征提取过程将只在训练的第一次迭代后被执行，后续训练不进行循环
...【技术特征摘要】
1.一种基于非形变对象特征提取的细粒度图像分类方法，其特征在于，包括以下步骤；
2.根据权利要求1所述的一种基于非形变对象特征提取的细粒度图像分类方法，其特征在于，所述步骤2具体为：
3.根据权利要求2所述的一种基于非形变对象特征提取的细粒度图像分类方法，其特征在于，所述步骤2c)具体为：
4.根据权利要求1所述的一种基于非形变对象特征提取的细粒度图像分类方法，其特征在于，所述步骤3具体为：
5.根据权利要求4所述的一种基于非形变对象特征提取的细粒...
【专利技术属性】
技术研发人员：赵佩佩，苗启广，丁伟，姚航，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。