基于多尺度感知损失的医学图像分类方法和装置制造方法及图纸

本发明专利技术涉及一种基于多尺度感知损失的医学图像分类方法和装置，采用卷积神经网络对医学图像进行处理，还包括：将卷积神经网络的输出分别传输给至少两个类激活图和分类器；将所述至少两个类激活图的输出传输给用于进一步挖掘所述至少两个类激活图的输出中被关注区域的第一损失函数；将所述分类器的输出传输给用于增加所述被关注区域的权重，并减小所述不被关注区域的权重第二损失函数；将所述第一损失函数的输出和所述第二损失函数的输出融合在一起获得分类后的图像。本发明专利技术第一损失函数会促使模型更准确地关注致病所在的区域。第二损失函数有助于增加难识别类疾病的损失权重而减小易识别类疾病的损失权重，从而增强卷积网络对难识别样本的分类。

【技术实现步骤摘要】
基于多尺度感知损失的医学图像分类方法和装置
本专利技术涉及图像分类领域，具体是关于一种基于多尺度感知损失的医学图像分类方法和一种基于多尺度感知损失的医学图像分类装置。
技术介绍
分类是根据训练数据集中的数据所表现出的类特性，为每个类找到一种准确的描述方法，由此生成类描述或模型，并用其对新的数据进行分类。而这种类描述是对源数据的过滤、提取及概念等，能够反映客观事物的一般规律。医学图像数据分类就是根据历史临床确诊病例的影像图像样本数据，结合专家知识形成的类描述，并依此对未知类别的临床影像图像进行分类、预测，辅助医生进行临床影像分析、诊断。然而，在运用深度学习进行分类的同时，容易面临过拟合等关键问题。许多研究者提出了有效的正则化解决方案，如Dropout、L1、L2、Weightdecay等。损失函数是深度学习框架下非常重要的一个部分，用来评判预测结果和真实结果之间的差异，从而引导网络向做出更准确预测的方向调整参数。解决过拟合问题的主要方法有损失函数的正则化，减弱高阶参数的影响，以获得更有类别区分力的特征分布。Lin等人(LinTY，GoyalP，GirshickR，etal.Focallossfordenseobjectdetection[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervision.2017：2980-2988.)提出了FocalLoss，它通过引入调制项来修正交叉熵损失，以集中学习复杂样本，并减轻许多容易产生的负面影响。在医学图像分类分类研究领域，Guo等人(GuoX，YuanY.Semi-supervisedWCEimageclassificationwithadaptiveaggregatedattention[J].Medicalimageanalysis，2020，64：101733.)提出了一种具有Jensen-Shannon散度(JS)损失的判别角损失(DA)函数，它利用DA损失分别最小化从两个分支提取的特征的类内角距离，最大化特征的类间角距离。通过JS损失将两个分支的预测概率分布收敛为相似分布，最大限度地降低了误分类概率，并实现稳健的异常分类。虽然现有的方法已经取得了很大的成功，但在医学图像领域的应用中，对于图像变换前后多标签分类模型视觉呈现的相应部分不一致，如何促使模型更准确地关注致病所在的区域，样本正负类别不平衡等问题，目前还没有很好的解决方案。
技术实现思路
针对上述问题，本专利技术的目的是提供一种基于多尺度感知损失的医学图像分类方法和装置，该方法采用一个感知损失函数和一个多标签平衡损失函数，所述感知损失函数可以帮助模型学习更好的视觉一致性特征表达，所述多标签平衡损失函数可以减少每种疾病和受控简单类样本中正负类别不平衡的问题。为实现上述目的，本专利技术采取以下技术方案：一种基于多尺度感知损失的医学图像分类方法，采用卷积神经网络对所述医学图像进行处理，还包括：S1：将所述卷积神经网络的输出分别传输给至少两个类激活图和分类器；S2：将所述至少两个类激活图的输出传输给第一损失函数；所述第一损失函数用于进一步挖掘所述至少两个类激活图的输出中被关注区域；S3：将所述分类器的输出传输给第二损失函数；所述第二损失函数用于增加难识别类疾病的损失权重，并减小易识别类疾病的损失权重；S4：将所述第一损失函数的输出和所述第二损失函数的输出融合在一起获得分类后的医学图像。所述的基于多尺度感知损失的医学图像分类方法，优选地，还包括所述步骤S2将所述至少两个类激活图的输出传输给第一损失函数中，所述类激活图的公式为：其中Sn表示第n个类激活图，w∈Rn×k表示全连接层的权重，k表示通道数量，f∈Rn×H×W表示特征图。所述的基于多尺度感知损失的医学图像分类方法，优选地，所述步骤S2将所述至少两个类激活图的输出传输给第一损失函数中，所述第一损失函数为感知损失函数，所述感知损失函数公式为：其中，Lper表示感知损失函数，c表示标签的类别数，Si表示第i个类别的类激活图，为变换后第i个类别的类激活图。所述的基于多尺度感知损失的医学图像分类方法，优选地，所述步骤S3将所述分类器的输出传输给第二损失函数中，所述第二损失函数为多标签平衡损失函数，所述多标签平衡损失函数公式为：其中，Lbal表示多标签平衡损失函数，m是多个标签的总数，j表示不同类型疾病的每个标签，αj表示平衡因子，其中xj表示第j个类别的数量，表示网络判断第j种疾病患病的概率值，参数Pj为难易样本因子。所述的基于多尺度感知损失的医学图像分类方法，优选地，所述步骤S4中的将所述第一损失函数的输出和所述第二损失函数的输出融合在一起获得分类后的医学图像，包括：L＝αLper+Lbal其中，L表示多尺度感知损失函数；Lper表示感知损失函数，Lbal表示多标签平衡损失函数，α表示感知损失函数和多标签平衡损失函数之间的权衡系数。所述的基于多尺度感知损失的医学图像分类方法，优选地，还包括：步骤S5：将所述步骤S2中的第一损失函数的输出和/或步骤S3中的第二损失函数的输出反馈到所述卷积神经网路中，用于调整所述卷积神经网络的参数，以获得更精准分类后的医学图像；或者：将所述步骤S2中的第一损失函数的输出和步骤S3中的第二损失函数的输出融合后的输出反馈到所述卷积神经网路中，用于调整所述卷积神经网络的参数，以获得更精准分类后的医学图像。另一方面，本专利技术还提供一种基于多尺度感知损失的医学图像分类装置，包括卷积神经网络层，还包括：至少两个类激活图：用于得到被关注区域的注意力图，促使所述图像分类装置只关注所述被关注区域概率高的部分；分类器：用来预测图像可能有所述被关注区域的概率；第一损失函数：用于进一步挖掘所述至少两个类激活图的输出中所述被关注区域；第二损失函数：用于增加难识别类疾病的损失权重，并减小易识别类疾病的损失权重；融合单元：用于融合所述第一损失函数和所述第二损失函数以得到分类后的医学图像；所述卷积神经网络层的输出连接所述至少两个类激活图的输入，所述分类器的输入；所述至少两个类激活图的输出分别连接所述第一损失函数的输入；所述分类器的输出连接所述第二损失函数的输入；所述第一损失函数的输出和所述第二损失函数的输出连接所述融合单元。所述的基于多尺度感知损失的医学图像分类装置，优选地，所述至少两个类激活图的输出分别连接所述第一损失函数的输入中，所述类激活图的公式为：其中Sn表示第n个类激活图，w∈Rn×k表示全连接层的权重，k表示通道数量，f∈Rn×H×W表示特征图。所述的基于多尺度感知损失的医学图像分类装置，优选地，所述第一损失函数为感知损失函数，所述感知损失函数公式为：其中，Lper表示感知损失函数，c表示标签的类别数，Si表示第i个类别的类激活图，本文档来自技高网...

【技术保护点】
1.一种基于多尺度感知损失的医学图像分类方法，采用卷积神经网络对所述医学图像进行处理，其特征在于，还包括：/nS1：将所述卷积神经网络的输出分别传输给分类器和至少两个类激活图；/nS2：将所述至少两个类激活图的输出传输给第一损失函数；所述第一损失函数用于进一步挖掘所述至少两个类激活图的输出中被关注区域；/nS3：将所述分类器的输出传输给第二损失函数；所述第二损失函数用于增加难识别类疾病的损失权重，并减小易识别类疾病的损失权重；/nS4：将所述第一损失函数的输出和所述第二损失函数的输出融合在一起获得分类后的医学图像。/n

【技术特征摘要】
1.一种基于多尺度感知损失的医学图像分类方法，采用卷积神经网络对所述医学图像进行处理，其特征在于，还包括：
S1：将所述卷积神经网络的输出分别传输给分类器和至少两个类激活图；
S2：将所述至少两个类激活图的输出传输给第一损失函数；所述第一损失函数用于进一步挖掘所述至少两个类激活图的输出中被关注区域；
S3：将所述分类器的输出传输给第二损失函数；所述第二损失函数用于增加难识别类疾病的损失权重，并减小易识别类疾病的损失权重；
S4：将所述第一损失函数的输出和所述第二损失函数的输出融合在一起获得分类后的医学图像。


2.根据权利要求1所述的基于多尺度感知损失的医学图像分类方法，其特征在于，所述步骤S2将所述至少两个类激活图的输出传输给第一损失函数中，所述类激活图的公式为：



其中Sn表示第n个类激活图，w∈Rn×k表示全连接层的权重，k表示通道数量，f∈Rn×H×W表示特征图。


3.根据权利要求1所述的基于多尺度感知损失的医学图像分类方法，其特征在于，所述步骤S2将所述至少两个类激活图的输出传输给第一损失函数中，所述第一损失函数为感知损失函数，所述感知损失函数公式为：



其中，Lper表示感知损失函数，c表示标签的类别数，Si表示第i个类别的类激活图，为变换后第i个类别的类激活图。


4.根据权利要求1所述的基于多尺度感知损失的医学图像分类方法，其特征在于，所述步骤S3将所述分类器的输出传输给第二损失函数中，所述第二损失函数为多标签平衡损失函数，所述多标签平衡损失函数公式为：



其中，Lbal表示多标签平衡损失函数，m是多个标签的总数，j表示不同类型疾病的每个标签，αj表示平衡因子，其中xj表示第j个类别的数量，表示网络判断第j种疾病患病的概率值，参数Pj为难易样本因子。


5.根据权利要求3或4所述的基于多尺度感知损失的医学图像分类方法，其特征在于，所述步骤S4中的将所述第一损失函数的输出和所述第二损失函数的输出融合在一起获得分类后的医学图像，包括：
L＝αLper+Lbal
其中，L表示多尺度感知损失函数；Lper表示感知损失函数，Lbal表示多标签平衡损失函数，α表示感知损失函数和多标签平衡损失函数之间的权衡系数。


6.根据权利要求1所述的基于多尺度感知损失的医学图像分类方法，其特征在于，还包括：
步骤S5：将所述步骤S2中的第一损失函数的输出和/或步骤S3中的第二损失函数的输出反馈到所述卷积神经网路中，用于调整所述卷积神经网络的参数，以获得更精准分类后的医学图像；
或者：将所述步骤S2中的第一损失函数的输出和步骤S3中的第二损失函数的输出融合后的输出反馈到所述卷积神经网路中，用于调整所述卷...

【专利技术属性】
技术研发人员：李秀，许菁，刘玉涛，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44