基于弱监督及无监督部件检测和分割的细粒度分类方法技术

本发明专利技术公开了一种基于弱监督及无监督部件检测和分割的细粒度分类方法，步骤为：S1、获取数据集训练样本；S2、基于弱监督部件检测方法和无监督部件检测方法，对步骤S1获得的数据集训练样本进行处理，得到部件假设，即部件检测结果；S3、利用步骤S2得到的部件假设，进行部件制导分割，得到更多对细粒度分类有用的部件；S4、根据步骤S3得到的有用的部件，进行细粒度图像分类的操作，得到分类结果。该方法利用部件检测得到的部件假设来指导前景分割以保留更多的对细粒度分类有用的部件，同时抑制背景噪声，从而提升细粒度分类的性能；同时，该方法在实际应用方面的条件限制更少，大大增加了适用的场景和方法的泛用性。

Fine-grained classification method based on weak-supervised and unsupervised component detection and segmentation

【技术实现步骤摘要】
基于弱监督及无监督部件检测和分割的细粒度分类方法
本专利技术涉及医学图像处理
，具体是一种基于弱监督及无监督部件检测和分割的细粒度分类方法。
技术介绍
细粒度视觉分析以其崭新的问题定义和广阔的应用前景引起了学界和工业界的关注，是近年来计算机视觉领域比较活跃的方向之一。从2010年左右细粒度识别的研究出现，到现在短短不到十年的时间里，其研究呈现出如下几个趋势：无论是特征表示，还是分割，定位等技术，从一开始的仅仅利用已有的传统图像分类的方法进行改良移植，到现在的专门为细粒度分类设计的特征表达和分类策略，研究者越来越多地从细粒度视觉分析本身的特点入手研究解决特定问题的技术。多种技术相融合的细粒度识别越来越受到重视，比如结合分割、定位和识别的共生的细粒度识别技术，比单纯的提取特征再识别的传统的方法能够更有效地区分表观特征极其相似的细粒度物体。细粒度分类及其在生物和生理学方面的新问题和新的应用不断被挖掘和研究，比如并不局限于获得更好的识别效果，而是研究人类怎么区分细粒度物体，和机器视觉的关系是怎样的。利用深度学习技术的细粒度识别技术逐渐成为主流方法，深度学习以其对于各种环境变化的极佳的鲁棒性，在细粒度分类中不断取得突破。当然，现有的细粒度视觉分析还存在着一些困难和不足。图2显示了一般的细粒度视觉分析方法框架及相关技术，其存在的问题主要有以下几点：在特征提取方面，已有大量的工作利用多特征融合，中高层语义特征学习和众包学习等多种方法，提取局部的具有判别力的特征。但是仍然存在特征量化误差较大的问题，特征学习方式仍有待改进。因为细粒度分类中每一类物体的数量相对整体类别数量是稀疏的，每一类独有的特征可能在特征学习过程中被稀释，降低特征的判别能力。而现有的细粒度特征提取方式，无论使用底层特征或是特别设计的中高层特征，都没有考虑单类样本在总体类别中的稀疏性。这些特征提取方法大多都是按照特定的规则向特征空间进行投影，其每一次量化过程都会造成量化误差，削弱与其他类别样本在视觉上的联系。如何提取和量化特征以保持样本和各类别之间的联系，增强最终的特征编码的判别能力是需要进一步研究。在结构化描述方面，图模型和树模型等数据结构模型已经可以表示粗略的细粒度物体结构信息，一些基于这些模型的分类方法也取得了不错的效果。鉴于部件对于细粒度分类问题的重要性，已经有许多方法研究如何发现和检测部件，而对于部件之间的层次化关系并没有系统的研究。目前仅有个别文献的层次化部件匹配(Hierarchicalpartmatching)明确提出了这一思想并用于分割，相关研究非常之少，还有许多问题可以研究。比如在狗的种类识别中，狗的头部提供的信息往往要比其足部提供更多的视觉信息。那么在提取对应部件的特征之后，可以按照部件之间重要性的差异或者层次上的关系对齐进行池化。也就是增加具有丰富视觉信息的部件对最终分类结果的影响，而削弱其他部件对分类的影响，从而增强特征的判别力。在部件定位(检测)的过程中，同样存在层次化的关系，比如存在一些部件依附于一个主要的部件。如果能够理清它们之间的关系，就可以首先确定高层次的主要部件或者说置信度更高的部件，然后再确定低层次或者置信度低的部件，从而得到更精确的部件定位结果。部件检测是细粒度视觉分析中提取局部特征的重要手段，研究者基于传统的图像处理技术和最新的深度网络模型提出了多种部件检测方法。但是部件检测性能仍有待提升，尤其对于姿态变化较大的物体。在部件对齐策略中常使用非参数标注传递的方法以及特别设计的基于检测子的参数化方法。参数化模型具有较好的泛化能力，其检测结果较为稳定，但是分类器需要平衡判别能力和泛化能力，使得其对一些极端的情况并不能做出正确的判断。而非参数模型在样本充足的情况下可以提供更为准确的对齐结果，特别是一些非常规的姿态情况下也能够有相当好的效果，但是在样本数量少的情况下得到的结果往往具有较大的误差，并且计算开销会随着样本数量的增加直线上升，限制了该类模型在一些便携移动设备上的应用。所以能否结合参数模型和非参数模型各自的优点，设计一种混合模型解决部件对齐的问题是值得进一步研究的。目前只有少数方法，在描述全局姿态和描述部位时，分别使用了基于检测子的参数模型和基于样例的非参数模型。细粒度视觉分析主要面临着以下几个困难：1)细粒度研究对象是属于同一基本类别的子类物体，其极为相似的外观导致了极小的类间差异，为识别带来困难；2)庞大的类别数量，加上第一个困难，进一步增加了识别的挑战性；3)许多细粒度视觉分析对象，比如生物类，由于其姿态、视觉、光照和尺度等方面的变化，大大增加了类内差异。要有效地进行细粒度视觉分析，必须尽量减少各种变化带来的类内差异，同时准确地分析物体的高度局部化的具有判别力的特征。针对细粒度视觉分析的特点及其面临的困难，领域内相关工作主要集中于研究有效的表观模型和结构模型、部件发现和对齐策略、共生的分割和检测等几个方面。现有的研究表明，图像分类任务的准确率可以通过分割等预处理过程获得提升。这一结论在图像细粒度分类领域也得到了证实。但是一般的图像分割方法并不能很好地利用细粒度研究对象的部件信息，其分割过程往往会丢掉一些部件，将他们错误地分类成为背景。从分析可知，物体的部件在细粒度视觉分析中起到至关重要的作用，他们承载了许多具有判别力的局部特征。如果忽略这些重要的部件或者局部特征，细粒度分类的性能反而会因为分割造成一定的损失。
技术实现思路
本专利技术的目的在于克服现有技术的不足，而提供一种基于弱监督及无监督部件检测和分割的细粒度分类方法，该方法利用部件检测得到的部件假设来指导前景分割以保留更多的对细粒度分类有用的部件，同时抑制背景噪声，从而提升细粒度分类的性能。在实际应用方面的条件限制更少，大大增加了适用的场景和方法的泛用性。实现本专利技术目的的技术方案是：基于弱监督及无监督部件检测和分割的细粒度分类方法，包括如下步骤：S1、获取数据集训练样本；S2、基于弱监督部件检测方法和无监督部件检测方法，对步骤S1获得的数据集训练样本进行处理，得到部件假设，即部件检测结果；S3、利用步骤S2得到的部件假设，进行部件制导分割，得到更多对细粒度分类有用的部件；S4、根据步骤S3得到的有用的部件，进行细粒度图像分类的操作，得到分类结果。步骤S1中，所述的数据集训练样本，采用CUB-200-2011鸟类数据集和StanfordDogs数据集，用于测试基于部件检测和分割的细粒度分类方法，这两个数据集是细粒度视觉分析领域的基准数据集。步骤S2中，所述的弱监督部件检测方法，包括非参数的部件坐标传递和参数化的部件检测；包括如下步骤：(A)非参数的部件坐标传递：在数据集训练样本中搜索和查询图像的姿态最相近的K个近邻样本，求取这些近邻样本的各个部件的平均坐标，并将求得的平均坐标传递给查询图片作为查询图片对应部件的近似位置坐标；(B)参数化的部件检测：为每一个部件训练一个部件检测子，对可能的部件位置的邻域，使用对应该部件的检测子进行滑动窗口搜索得到多个检测子；(C)将部件训练的检测子集合，得到最终的部件检测结果。步骤S2中，所述的无监督部件检测方法，包括如下步骤：(1)将数据集中的样本按照姿态进行聚类，为一个聚类类别发现候选部件，随机地选择一些样本本文档来自技高网...

【技术保护点】
1.基于弱监督及无监督部件检测和分割的细粒度分类方法，其特征在于，包括如下步骤：S1、获取数据集训练样本；S2、基于弱监督部件检测方法和无监督部件检测方法，对步骤S1获得的数据集训练样本进行处理，得到部件假设，即部件检测结果；S3、利用步骤S2得到的部件假设，进行部件制导分割，得到更多对细粒度分类有用的部件；S4、根据步骤S3得到的有用的部件，进行细粒度图像分类的操作，得到分类结果。

【技术特征摘要】
1.基于弱监督及无监督部件检测和分割的细粒度分类方法，其特征在于，包括如下步骤：S1、获取数据集训练样本；S2、基于弱监督部件检测方法和无监督部件检测方法，对步骤S1获得的数据集训练样本进行处理，得到部件假设，即部件检测结果；S3、利用步骤S2得到的部件假设，进行部件制导分割，得到更多对细粒度分类有用的部件；S4、根据步骤S3得到的有用的部件，进行细粒度图像分类的操作，得到分类结果。2.根据权利要求1所述的基于弱监督及无监督部件检测和分割的细粒度分类方法，其特征在于，步骤S1中，所述的数据集训练样本，采用CUB-200-2011鸟类数据集和StanfordDogs数据集，用于测试基于部件检测和分割的细粒度分类方法。3.根据权利要求1所述的基于弱监督及无监督部件检测和分割的细粒度分类方法，其特征在于，步骤S2中，所述的弱监督部件检测方法，包括非参数的部件坐标传递和参数化的部件检测；包括如下步骤：（A）非参数的部件坐标传递：在数据集训练样本中搜索和查询图像的姿态最相近的K个近邻样本，求取这些近邻样本的各个部件的平均坐标，并将求得的平均坐标传递给查询图片作为查询图片对应部件的近似位置坐标；（B）参数化的部件检测：为每一个部件训练一个部件检测子，对可能的部件位置的邻域，使用对应该部件的检测子进行滑动窗口搜索得到多个检测子；（C）将部件训练的检测子集合，得到最终的部件检测结果。4.根据权利要求1所述的基于弱监督及无监督部件检测和分割的细粒度分类方法，其特征在于，步骤S2中，所述的无监督部件检测方法，包括如下步骤：（1）将数据集中的样本按照姿态进行聚类，为一个聚类类别发现候选部件，随机地选择一些样本发现部件，产生部件假设；（2）利用平均分割掩膜过滤部件假设，优化候选部件；（3）为每一聚类类别的部件训练部件检测子，进而...

【专利技术属性】
技术研发人员：庞程，王如月，蓝如师，刘振丙，罗笑南，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西,45