基于轻量级孪生卷积神经网络的病识别方法技术

本发明专利技术公开了一种基于轻量级孪生卷积神经网络的病识别方法，包括如下步骤：构建细粒度病变特征联合训练模型，包括数据生成器，数据生成器与特征提取器连接，特征提取器与孪生卷积神经网络连接，孪生卷积神经网络与特征判别网络连接；对细粒度病变特征联合训练模型进行训练，基于损失函数值最小的细粒度病变特征联合训练模型生成细粒度病变特征识别模型；将待识别图像输入细粒度病变特征识别模型中，输出对应的皮肤病类别。基于孪生卷积神经网络进行正负样本联合训练的方法，模型可以提取到更具判别性的特征，有效缓解了原始数据集中病变图像特征存在类间差异小，类内差异大情况，增强了模型的特征判别能力。

【技术实现步骤摘要】
基于轻量级孪生卷积神经网络的病识别方法
本专利技术属于病变识别
，更具体地，本专利技术涉及一种基于轻量级孪生卷积神经网络的病识别方法。
技术介绍
医疗关乎人类生命健康，近年来，借助数据驱动的方法辅助医学图像分析诊断得到了越来越多医学图像与计算机视觉领域学术界与工业界的关注，越来越多先进的算法被开发出来辅助人类医生进行疾病诊断。基于机器学习的自动识别模型，主要包括特征提取与分类器训练两个步骤。其中，如何有效对表观特征进行建模直接影响模型最终的性能。在医学图像分析，尤其是识别领域，最常用的分类器是KNN、SVM和LogisticRegression。LogisticRegression和KNN算法简洁而清晰，SVM则有着非常良好的数学理论证明和高维特征下强大的分类能力。因此，在深度学习尚未大规模应用之前，设计良好的特征来训练传统机器学习分类器一直是医学图像分析领域研究者的工作重心。但是，因表观特征非常复杂，手工设计的特征往往需要经验非常丰富的专家来完成。此外，手工设计的特征并不能准确对病变区域外观进行良好表示，因此其泛化性能通常较差，表现为在小型数据集上精度较高，但是将模型应用到实际场景中时，精度就会大幅度降低。近些年来，随着深度学习在计算机视觉取得的突破性进展，越来越多的医学图像分析研究者开始选择深度学习来构建疾病自动识别模型。与传统方法相比，基于深度学习的模型不需要研究者进行复杂的特征设计与分类器选取，深度学习模型可以自动地从数据中进行端到端的学习，并且表现出了强大的特征提取能力。现有的皮肤病辅助诊断方案包括：预处理步骤，用于原始的皮肤病数据集进行增强处理，通过构建区域候选网络来初步筛选出可能的前景区域检测框，通过非极大值抑制对前景区域检测框的得分进行排序，并输出预设个数的检测框作为候选区域输出，在结合特征图和候选区域进一步生成候选区域特征图，然后基于候选区域特征图和后续的全连接层进行皮肤病病变特征的识别与定位。最后，采用数据增强后的数据集对候选区域模型进行微调，即所述迁移学习策略来完成最终识别模型的训练。该方案存在如下问题：a)数据增强和目标检测网络：目标检测网络是一种常用的图像分析任务模型，其实现了对给定图像的目标定位与识别功能，在自然图像目标检测中得到有效的应用，通过结合数据增强手段，扩增了模型的原始训练集。然而，其却有着两个主要的限制：一方面，医学图像标准数据集欠缺并不能过度依赖数据增强策略来缓解，较少的原始数据集通过数据增强技术处理后，其图像虽在数量可以自由成倍扩增，但新增图像样本的有效变化模式仍较为局限，同时，大量的重复性扩增也可能给模型带来过拟合风险。另一方面，基于目标检测网络通常具有较大参数量这一特点，其有效训练往往需要一定规模的原始数据集作为支撑，在医学图像方面实现具有一定难度，同时较大的参数量也给模型部署带来了潜在困难。b)模型训练与特征提取：目标检测网络需要对网络内的不同模型交替进行训练，区域候选特征网络的训练为进一步训练病变特征定位和识别网络提供其所需的候选区域，整个目标检测的网络有效训练需要依赖良好的训练策略，同时由于医学图像病变特征的不规则性和复杂性，也给区域候选特征网络中候选框尺寸的选择上带来了额外的挑战。基于目标检测网络虽然可以实现对皮肤病病变区域的定位和识别，但其特征提取定位和识别方式缺乏一定的可解释性，在一定程度上无法为其病变特征识别提供有效的推理依据。
技术实现思路
本专利技术提供了一种基于轻量级孪生卷积神经网络的病识别方法，旨在改善上述问题。本专利技术是这样实现的，一种基于轻量级孪生卷积神经网络的病识别方法，所述方法具体包括如下步骤：S1、构建细粒度病变特征联合训练模型，包括数据生成器，数据生成器的输出端与特征提取器的输入端连接，特征特征提取器的输出端与孪生卷积神经网络的输入端连接，孪生卷积神经网络中的平均池化层的输出端与特征判别网络的输入端连接；S2、对细粒度病变特征联合训练模型进行训练，基于损失函数值最小的细粒度病变特征联合训练模型生成细粒度病变特征识别模型；S3、将待识别图像输入细粒度病变特征识别模型中，输出对应的皮肤病类别。进一步的，细粒度病变特征联合训练模型具体如下：数据生成器，用于生成训练样本对，训练样本对由设定比例的正样本对及负样本对组成，训练样本对输入特征提取器；特征提取器，用于提取输入训练样本对对应的两组特征向量，分别输入至孪生卷积神经网络的两支分类网络；孪生卷积神经网络，包括两支分类网络，分别判断两组特征向量所述的病变类别，并将其平均池化层的特征向量输出至特征判别网络；特征判别网络，基于两组特征向量判断输入训练样本对是否属于同一病变类别。进一步的，细粒度病变特征识别模型具体如下：特征提取器，用于提取待识别图像的特征向量，分别输入至孪生卷积神经网络中损失函数值小的分类网络；孪生卷积神经网络，损失函数值小的分类网络基于特征向量判断待识别图像对应的病变类别，并进行输出。进一步的，在步骤S3之后还包括：S4、输出用于病变类别的判定类激活图，类激活图的计算公式具体如下：其中，表示特征图的第k通道在第i行第j列处的像素值，表示预测c类的权重向量在第k个通道的数值，表示c类的类激活图在(i,j)的像素数值，relu为线性校正单元，特征图像为特征提取器输出的图像。进一步的，损失函数具体如下：Ltotal＝ALfocal+BLfocal+CLcross式中：yi、pi分别代表真实标签值和对应预测标签的概率，γ是用来平衡难易区分的样本对损失函数的贡献的超参数，特征判别层使用Lcross作为损失函数，对于孪生卷积神经网络成使用Lfocal作为损失函数。进一步的，正样本对及负样本对的构建方法具体如下：从增强数据集读取的一组训练图像数据X，以及对应的类别标签Y；对集合X中的元素依次进行遍历，在集合X找到第一个与其具有相同标签的元素，若不存在与其相同标签的元素，则跳过该元素，执行下一个元素的匹配过程，直至完成所有元素匹配；构建与集合X相同的集合X′，在集合X′中，将相同标签的两个匹配元素的索引互换，构建相同病变类型但病变特征表现不同的正样本对，将集合X′中将未匹配到的元素按照索引值从大到小的方向逆向互换位置，构建不同病变类别的负样本对；从增强数据集中随机读取一组图像数据为X，以及对应的类别标签Y，再从增强数据集中随机读取另一组图像数据为X′，以及对应的类别标签Y′，两组数据(X，Y)、(X′，Y′)中负样本对将占主要比例，负样本对构建完成。本专利技术提供的基于轻量级孪生卷积神经网络的皮肤病识别方法具有如下有益技术效果：1)通过轻量级卷积模块构建了具有两个并行分支结构的孪生卷积神经网络，达到了端到端训练模型的同时，显著降低了模型参数量，缓解了深度学习方法对小样本数据集不适应性情况；2)为了增强模型的特征判别能力，本技术方案提出了基于孪生卷积神经网络进行正负样本联合训练的本文档来自技高网...

【技术保护点】
1.一种基于轻量级孪生卷积神经网络的病识别方法，其特征在于，所述方法具体包括如下步骤：/nS1、构建细粒度病变特征联合训练模型，包括数据生成器，数据生成器的输出端与特征提取器的输入端连接，特征特征提取器的输出端与孪生卷积神经网络的输入端连接，孪生卷积神经网络中的全局平均池化层的输出端与特征判别网络的输入端连接；/nS2、对细粒度病变特征联合训练模型进行训练，基于损失函数值最小的细粒度病变特征联合训练模型生成细粒度病变特征识别模型；/nS3、将待识别图像输入细粒度病变特征识别模型中，输出对应的皮肤病类别。/n

【技术特征摘要】
1.一种基于轻量级孪生卷积神经网络的病识别方法，其特征在于，所述方法具体包括如下步骤：
S1、构建细粒度病变特征联合训练模型，包括数据生成器，数据生成器的输出端与特征提取器的输入端连接，特征特征提取器的输出端与孪生卷积神经网络的输入端连接，孪生卷积神经网络中的全局平均池化层的输出端与特征判别网络的输入端连接；
S2、对细粒度病变特征联合训练模型进行训练，基于损失函数值最小的细粒度病变特征联合训练模型生成细粒度病变特征识别模型；
S3、将待识别图像输入细粒度病变特征识别模型中，输出对应的皮肤病类别。


2.如权利要求1所述基于轻量级孪生卷积神经网络的病识别方法，其特征在于，细粒度病变特征联合训练模型具体如下：
数据生成器，用于生成训练样本对，训练样本对由设定比例的正样本对及负样本对组成，训练样本对输入特征提取器；
特征提取器，用于提取输入训练样本对对应的两组特征向量，分别输入至孪生卷积神经网络的两支分类网络；
孪生卷积神经网络，包括两支分类网络，分别判断两组特征向量所述的病变类别，并输出至特征判别网络；
特征判别网络，基于两组特征向量判断输入训练样本对是否属于同一病变类别。


3.如权利要求1所述基于轻量级孪生卷积神经网络的病识别方法，其特征在于，细粒度病变特征识别模型具体如下：
特征提取器，用于提取待识别图像的特征向量，分别输入至孪生卷积神经网络中损失函数值小的分类网络；
孪生卷积神经网络，损失函数值小的分类网络基于特征向量判断待识别图像对应的病变类别，并进行输出。


4.如权利要求1所述基于轻量级孪生卷积神经网络的病识别方法，其特征在于，在步骤S3之后还包括：
S4、输出用于病变类别...

【专利技术属性】
技术研发人员：丁坤，徐劲松，高云峰，曹雏清，
申请(专利权)人：哈尔滨工业大学芜湖机器人产业技术研究院，
类型：发明
国别省市：安徽;34