一种基于细粒度分类的耳镜图像辅助诊断方法技术

本发明专利技术公开了一种基于细粒度分类的耳镜图像辅助诊断方法，所述辅助诊断方法如下：输入图像，使用全局分类器，获得全局分类结果，以及显示主体区域的显著性图；使用显著性图，通过局部选择器，选择k张病灶所在的局部图像，并将其输入局部分类器，获得每张局部图像对应的分类结果，求平均后即为局部分类结果；将两个分类结果平均，即得到对该图像的最终诊断结果；本发明专利技术仅要求训练集中的图像有类别标签的标注，不要求有定位信息的标注，相比强监督的细粒度分类方法简化了数据收集与标注过程；本发明专利技术同时融合了全局信息与局部信息，能够处理更细粒度的特征，相对直接使用通用卷积神经网络而言，对耳镜图像有更好的分类性能。

A method of otoscope image aided diagnosis based on fine-grained classification

【技术实现步骤摘要】
一种基于细粒度分类的耳镜图像辅助诊断方法
本专利技术属于计算机视觉及医学图像辅助诊断
，以融合不同尺度的信息为出发点，具体涉及一种基于细粒度分类的耳镜图像辅助诊断方法。
技术介绍
细粒度图像分类的目标为区分一个基本类别下的众多子类，在现有的实践中，包括区分不同种类的鸟，不同型号的汽车、飞机等。为了能够区分外观相近的子类，其关键在于找到具有判别力的局部信息。传统方法上一般需要使用人工标注的特征点辅助寻找这些定位信息，例如人工对鸟类头部、翅膀以及尾部标注出关键点，对数据标注人员的要求较高。已有的公知方法中，也有致力于在弱监督条件下能够寻找出具有关键信息的局部图像的方法，如《两级注意模型在深度卷积神经网络细粒度图像分类中的应用》提出的两级注意力方法，此方法可以在预训练模型的帮助下筛选输入图像的主体部分，并提取出多个关键部位，在聚类后分别输入到深度卷积神经网络中提取特征，拼接后使用支持向量机获得局部分类结果，最后将局部分类结果与使用整张图片获得的全局结果融合，可以提高分类性能。此公知方法的优点在于框架简单而有效，但要求有一个包含目标数据集的预训练模型，大幅度限制了它的使用范围。如果应用的目标领域不在ImageNet的1000种类别之中，将无法筛选输入图像的主体部分。基于医学图像的辅助诊断与细粒度分类的现有实践相似，都要求根据细微的局部差别区分不同的疾病子类，例如使用耳镜图像区分慢性化脓性中耳炎的活动期与静止期。在使用耳镜图像辅助诊断的现有公知方法中，也使用了关键点定位技术，如迈伯勒的《发展中国家中耳炎的鼓膜影像诊断分析》，首先使用人工提取的特征方法定位到锤骨以及鼓膜上，使用人工定义的测量方法获得每个部位的特征数据，再使用决策树分类获得诊断结果，但人工选择的特征由于不一定是最适合分类的，存在性能和鲁棒性的问题。因此在医学图像辅助诊断中也引入了深度学习方法，是用深度卷积神经网络在训练集上仅提供类别标签，训练后的模型在测试集上即有良好的性能，免去了人工调整与设计的局限性，但在特征提取及分类方面，现有的公知方法并没有实现弱监督地利用局部信息，即在仅提供类别标签的情况下，自动识别关键部位，提取局部特征，以提高分类的准确率。为了在仅提供类别标签的情况下，自动识别关键部位，提取局部信息与全局信息融合，提高分类的准确率为此我们提出一种基于细粒度分类的耳镜图像辅助诊断方法。
技术实现思路
本专利技术的目的在于提供一种基于细粒度分类的耳镜图像辅助诊断方法，在仅提供类别标签的情况下，自动识别关键部位，提取局部信息与全局信息融合，提高分类的准确率。为实现上述目的，本专利技术提供如下技术方案：一种基于细粒度分类的耳镜图像辅助诊断方法，所述辅助诊断方法如下：步骤一：输入图像，使用全局分类器，获得全局分类结果，以及显示主体区域的显著性图；步骤二：使用显著性图，通过局部选择器，选择k张病灶所在的局部图像，并将其输入局部分类器，获得每张局部图像对应的分类结果，求平均后即为局部分类结果；步骤三：将两个分类结果平均，即得到对该图像的最终诊断结果。作为本专利技术的一种优选的技术方案，所述全局分类器为使用训练集的整张图像与对应的类别标签训练所得的卷积神经网络。作为本专利技术的一种优选的技术方案，所述显著性图由全局分类器产生，可以显示区域对分类结果的贡献程度，产生方法为在神经网络中分别对每个类别出输节点到输入求偏导，取绝对值后求和，再归一化。作为本专利技术的一种优选的技术方案，所述局部选择器使用区域提取算法为输入的全局图像提取众多候选的局部图像，并根据显著性图为每个局部图像打分，最后返回分数最高的k张局部图像。作为本专利技术的一种优选的技术方案，所述局部分类器为使用训练集中图像提取的局部图像与原全局图像的类别标签训练所得的卷积神经网络。作为本专利技术的一种优选的技术方案，图像提取时使用双线性插值算法对图片进行缩放，利用卷积核对图像进行卷积处理，确定处理后图像各特征图大小。作为本专利技术的一种优选的技术方案，在训练时对输入图像进行数据增强操作，包括：平移、缩放、旋转、左右翻转以及左右拉伸。与现有技术相比，本专利技术的有益效果是：(1)本专利技术仅要求训练集中的图像有类别标签的标注，不要求有定位信息的标注，如关键位置的边界框，关键点，蒙版，相比强监督的细粒度分类方法简化了数据收集与标注过程；(2)本专利技术同时融合了全局信息与局部信息，能够处理更细粒度的特征，相对直接使用通用卷积神经网络而言，对耳镜图像有更好的分类性能；(3)本专利技术图像提取时使用双线性插值算法对图片进行缩放，利用卷积核对图像进行卷积处理，确定处理后图像各特征图大小，提高了图像特征提取的准确度。附图说明图1为本专利技术的细粒度分类方法流程图；图2为本专利技术的实施例中局部选择器的流程与效果图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1和图2，本专利技术提供一种技术方案：一种基于细粒度分类的耳镜图像辅助诊断方法，辅助诊断方法如下：步骤一：输入图像，使用全局分类器，获得全局分类结果，以及显示主体区域的显著性图；步骤二：使用显著性图，通过局部选择器，选择k张病灶所在的局部图像，并将其输入局部分类器，获得每张局部图像对应的分类结果，求平均后即为局部分类结果；步骤三：将两个分类结果平均，即得到对该图像的最终诊断结果。本实施例中，优选的，全局分类器为使用训练集的整张图像与对应的类别标签训练所得的卷积神经网络。本实施例中，优选的，显著性图由全局分类器产生，可以显示区域对分类结果的贡献程度，产生方法为在神经网络中分别对每个类别出输节点到输入求偏导，取绝对值后求和，再归一化。本实施例中，优选的，局部选择器使用区域提取算法为输入的全局图像提取众多候选的局部图像，并根据显著性图为每个局部图像打分，最后返回分数最高的k张局部图像。本实施例中，优选的，局部分类器为使用训练集中图像提取的局部图像与原全局图像的类别标签训练所得的卷积神经网络。本实施例中，优选的，图像提取时使用双线性插值算法对图片进行缩放，利用卷积核对图像进行卷积处理，确定处理后图像各特征图大小。本实施例中，优选的，在训练时对输入图像进行数据增强操作，包括：平移、缩放、旋转、左右翻转以及左右拉伸。全局分类器可以使用深度卷积神经网络实现，包括通用的InceptionV3、ResNet-50以及MobileNet-V2，值得注意的是，可以使用其他任意深度卷积神经网络结构。具体地，在本专利技术实施例中，InceptionV3、ResNet-50由于在ImageNet数据集上预训练的模型支持任意分辨率，因此将输入图像在保持宽高比的情况下缩放使最长本文档来自技高网...

【技术保护点】
1.一种基于细粒度分类的耳镜图像辅助诊断方法，其特征在于：所述辅助诊断方法如下：/n步骤一：输入图像，使用全局分类器，获得全局分类结果，以及显示主体区域的显著性图；/n步骤二：使用显著性图，通过局部选择器，选择k张病灶所在的局部图像，并将其输入局部分类器，获得每张局部图像对应的分类结果，求平均后即为局部分类结果；/n步骤三：将两个分类结果平均，即得到对该图像的最终诊断结果。/n

【技术特征摘要】
1.一种基于细粒度分类的耳镜图像辅助诊断方法，其特征在于：所述辅助诊断方法如下：
步骤一：输入图像，使用全局分类器，获得全局分类结果，以及显示主体区域的显著性图；
步骤二：使用显著性图，通过局部选择器，选择k张病灶所在的局部图像，并将其输入局部分类器，获得每张局部图像对应的分类结果，求平均后即为局部分类结果；
步骤三：将两个分类结果平均，即得到对该图像的最终诊断结果。


2.根据权利要求1所述的一种基于细粒度分类的耳镜图像辅助诊断方法，其特征在于：所述全局分类器为使用训练集的整张图像与对应的类别标签训练所得的卷积神经网络。


3.根据权利要求1所述的一种基于细粒度分类的耳镜图像辅助诊断方法，其特征在于：所述显著性图由全局分类器产生，可以显示区域对分类结果的贡献程度，产生方法为在神经网络中分别对每个类别出输节点到输入求偏导，取绝对值后求和，再归一化。
...

【专利技术属性】
技术研发人员：李远清，肖立超，余晋刚，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44