医学图像的分类方法及其分类装置制造方法及图纸

本发明专利技术公开了一种医学图像的分类方法及其分类装置，其涉及数字图像处理技术领域，方法包括：使用迁移学习将在自然图像数据集训练好的深度学习模型迁移到医学图像领域得到医学图像分类的基础模型；在医学图像分类的基础模型上构建基于类激活映射的深度注意力分支网络；在医学图像分类的基础模型上构建基于灰度共生矩阵的损失加权模块；将医学图像分类的基础模型上的基于灰度共生矩阵的损失加权模块和基于类激活映射的深度注意力分支网络建立融合以得到融合后的医学图像分类模型；对融合后的医学图像分类模型进行训练得到医学图像自动分类模型；通过医学图像自动分类模型对待分类图像进行自动分类。本申请能够能够用于医学图像的精准分类。医学图像的精准分类。医学图像的精准分类。

【技术实现步骤摘要】
医学图像的分类方法及其分类装置


[0001]本专利技术涉及数字图像处理
，特别涉及一种医学图像的分类方法及其分类装置。

技术介绍

[0002]医学图像的分类对疾病的临床诊断和评估具有重要意义。传统手工提取特征的方法过程繁琐，泛化性不强，对于正常和病变区域之间高度相似的图像分类结果较差。而且，由于病变区域通常只占图像中的一小部分，这导致深度卷积神经网络缺乏聚焦有意义的病变部位的能力。另外，医学图像数据集中通常存在高度的类别不平衡问题，很难得到灵敏度良好的分类模型。因此，医学图像的准确分类仍然存在很大的挑战。

技术实现思路

[0003]为了克服现有技术的上述缺陷，本专利技术实施例所要解决的技术问题是提供了一种医学图像的分类方法及其分类装置，其能够用于医学图像的精准分类，很好地解决医学图像分类任务中普遍存在的小目标识别和类别极度不平衡的问题。
[0004]本专利技术实施例的具体技术方案是：
[0005]一种医学图像的分类方法，所述医学图像的分类方法包括：
[0006]使用迁移学习将在自然图像数据集训练好的深度学习模型迁移到医学图像领域得到医学图像分类的基础模型；
[0007]在医学图像分类的基础模型上构建基于类激活映射的深度注意力分支网络；
[0008]在医学图像分类的基础模型上构建基于灰度共生矩阵的损失加权模块；
[0009]将医学图像分类的基础模型上的基于灰度共生矩阵的损失加权模块和基于类激活映射的深度注意力分支网络建立融合以得到融合后的医学图像分类模型；
[0010]对融合后的医学图像分类模型进行训练得到医学图像自动分类模型；
[0011]通过医学图像自动分类模型对待分类图像进行自动分类。
[0012]优选地，在步骤使用迁移学习将在自然图像数据集训练好的深度学习模型迁移到医学图像领域得到医学图像分类的基础模型中，还包括：在训练好的深度学习模型最后添加一个全连接层,并且全连接层的神经元的个数和分类的类别保持一致，如此适应性的得到医学图像分类的基础模型。
[0013]优选地，在步骤在医学图像分类的基础模型上构建基于类激活映射的深度注意力分支网络中，其包括：
[0014]类激活映射具有的卷积层、全局平均池和全连接层作为最后三层，类激活映射中的高响应值位置表示病变区域，在全局平均池之后，获得最后一个卷积层的每个特征图的平均值，然后使用全连接层的权重对特征图的平均值进行加权求和，以得到类激活映射，具体如下：
[0015][0016]其中，f
k
(x,y)是最后一个卷积层中特征图位置(x,y)的值，k是特征图的数量，是类别c的全连接层权重，CAM
c
(x,y)表示类别c的类激活映射。
[0017]优选地，在步骤在医学图像分类的基础模型上构建基于类激活映射的深度注意力分支网络中，其还包括：
[0018]在深度注意力分支网络中将全连接层替换为K
×1×
1卷积层，K为类别数，K
×1×
1表示卷积核为1
×
1并带有K个通道；
[0019]将在全局平均池之后获得的最后一个卷积层上每个特征图的平均值作为每个类别的置信度得分，注意力分支从K个类别置信度图中生成注意力图。
[0020]优选地，在步骤在医学图像分类的基础模型上构建基于类激活映射的深度注意力分支网络中，其还包括：
[0021]基于注意力图和特征提取器输出的特征图得到注意机制的输出，具体如下：
[0022]g
′
(X
i
)＝(1+M(X
i
))
·
g(X
i
)
[0023]其中，g(X
i
)是特征提取器输出的特征图，M(X
i
)是注意力图，g
′
(X
i
)是注意机制的输出。
[0024]优选地，在步骤在医学图像分类的基础模型上构建基于灰度共生矩阵的损失加权模块中，具体为：
[0025]利用灰度共生矩阵计算图像的熵，熵值反映了图像的无序性，具体如下：
[0026][0027]其中，P表示灰度共生矩阵，P中的每个条目对应于一对灰度级i和j的出现次数，Entropy表示图像的熵；
[0028]根据恶性病变的平均熵值，将大于该平均熵值的良性病变的损失加权进行增加。
[0029]优选地，在步骤将医学图像分类的基础模型上的基于灰度共生矩阵的损失加权模块和基于类激活映射的深度注意力分支网络建立融合以得到融合后的医学图像分类模型中，
[0030]深度注意力分支网络采用灰度共生矩阵指导的损失加权策略以端到端的方式进行训练，总的损失函数如下：
[0031]L
total
(X
i
)＝βL
att
(X
i
)+L
pre
(X
i
)
[0032]其中，L
att
(X
i
)是具有输入样本X
i
的注意分支的损失，L
pre
(X
i
)是预测分支的损失，L
total
(X
i
)是二个损失的简单加权总和，β表示控制注意分支损失权重，β＝0.5；
[0033]通过灰度共生矩阵指导的损失加权和二进制交叉熵损失的组合来计算每个分支的损失L
bra
，具体如下：
[0034][0035]其中，y
i
是标签，p
i
是分支预测输出，ω
i
是灰度共生矩阵指导的权重。
[0036]优选地，在步骤对融合后的医学图像分类模型进行训练得到医学图像自动分类模型中，将输入图像随机裁剪为预设的固定大小，并且进行随机水平翻转、竖直翻转方法进行数据增强，之后再使用随机梯度下降来优化融合后的医学图像分类模型中的网络参数。
[0037]一种医学图像的分类装置，包括存储器和处理器，存储器中存储计算机程序，所述
计算机程序在被所述处理器执行时，实现以下步骤：如上述任一所述的医学图像的分类方法。
[0038]本专利技术的技术方案具有以下显著有益效果：
[0039]本申请中的医学图像的分类方法及其分类装置是一种基于灰度共生矩阵的损失加权和基于类激活映射的深度注意力分支网络的图像分类技术，首先使用迁移学习将在自然图像数据集训练好的深度学习模型迁移到医学图像领域，提高医学图像分类的基础模型中网络的特征提取能力，然后在类激活映射的基础上设计了深度注意力分支网络,通过引入带有注意力机制的可视化解释分支来扩展医学图像分类的基础模型，此外，为了解决类不平衡问题，本申请中应用了一种新的基于灰度共生矩阵的损失加权，该应用能够将图像的纹理信息引入到损失函数中。因此，本申请能够达到医学图像精准分类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医学图像的分类方法，其特征在于，所述医学图像的分类方法包括：使用迁移学习将在自然图像数据集训练好的深度学习模型迁移到医学图像领域得到医学图像分类的基础模型；在医学图像分类的基础模型上构建基于类激活映射的深度注意力分支网络；在医学图像分类的基础模型上构建基于灰度共生矩阵的损失加权模块；将医学图像分类的基础模型上的基于灰度共生矩阵的损失加权模块和基于类激活映射的深度注意力分支网络建立融合以得到融合后的医学图像分类模型；对融合后的医学图像分类模型进行训练得到医学图像自动分类模型；通过医学图像自动分类模型对待分类图像进行自动分类。2.根据权利要求1所述的医学图像的分类方法，其特征在于，在步骤使用迁移学习将在自然图像数据集训练好的深度学习模型迁移到医学图像领域得到医学图像分类的基础模型中，还包括：在训练好的深度学习模型最后添加一个全连接层,并且全连接层的神经元的个数和分类的类别保持一致，如此适应性的得到医学图像分类的基础模型。3.根据权利要求1所述的医学图像的分类方法，其特征在于，在步骤在医学图像分类的基础模型上构建基于类激活映射的深度注意力分支网络中，其包括：类激活映射具有的卷积层、全局平均池和全连接层作为最后三层，类激活映射中的高响应值位置表示病变区域，在全局平均池之后，获得最后一个卷积层的每个特征图的平均值，然后使用全连接层的权重对特征图的平均值进行加权求和，以得到类激活映射，具体如下：其中，f
k
(x,y)是最后一个卷积层中特征图位置(x,y)的值，k是特征图的数量，是类别c的全连接层权重，CAM
c
(x,y)表示类别c的类激活映射。4.根据权利要求3所述的医学图像的分类方法，其特征在于，在步骤在医学图像分类的基础模型上构建基于类激活映射的深度注意力分支网络中，其还包括：在深度注意力分支网络中将全连接层替换为K
×1×
1卷积层，K为类别数，K
×1×
1表示卷积核为1
×
1并带有K个通道；将在全局平均池之后获得的最后一个卷积层上每个特征图的平均值作为每个类别的置信度得分，注意力分支从K个类别置信度图中生成注意力图。5.根据权利要求4所述的医学图像的分类方法，其特征在于，在步骤在医学图像分类的基础模型上构建基于类激活映射的深度注意力分支网络中，其还包括：基于注意力图和特征提取器输出的特征图得到注意机制的输出，具体如下：g
′
(X
i
)＝(1+M(X
i
))
·
g(X
...

【专利技术属性】
技术研发人员：丁赛赛，左文琪，
申请(专利权)人：苏州斯玛维科技有限公司，
类型：发明
国别省市：