糖尿病视网膜病变图像分类方法及系统技术方案

本发明专利技术公开了糖尿病视网膜病变图像分类方法及系统，属于医学图像处理技术领域，本发明专利技术要解决的技术问题为糖尿病视网膜病变图像分类的准确性低以及CNN网络存在对视网膜图像的全局理解不够的局线性，采用的技术方案为：该方法具体如下：数据集获取及图像预处理：将糖尿病视网膜病变图像的原始数据集进行图像预处理，并对补丁数据集进行图像预处理；数据集特征提取；通道特征及全局特征提取；通道

【技术实现步骤摘要】
糖尿病视网膜病变图像分类方法及系统


[0001]本专利技术涉及医学图像处理
，具体地说是一种糖尿病视网膜病变图像分类方法及系统。

技术介绍

[0002]目前数据统计显示，20
‑
79岁的全球成年人中，有10.5％患有糖尿病，人数达到5.73亿，并且人数还在快速增长，而超过30％糖尿病患者会被糖尿病视网膜病变(DR)困扰。根据病变不同阶段将DR分为五类，无DR、轻度DR、中度DR、重度DR和增殖性DR，诊断依据主要根据识别视网膜图像中的微小特征，如微动脉瘤、出血和渗出物等。由于医疗资源不平衡以及偏远地区条件有限，容易导致早期患者无法得知自己的病情，而在目前医学治疗手段中，早期诊断异常重要。
[0003]人工检查糖尿病视网膜病变是一个繁琐且要求较高的过程，随着人工智能在医疗领域的发展，机器学习与深度学在的尿病视网膜病变检测中得以应用，疾病的分类检测可以辅助医生完成疾病的早期诊断，但是其准确度仍然有待提升。同时，CNN模型在眼底图像特征提取具有一定的局限性，主要原因是卷积运算只能从局部邻域中提取特征，而准确的分类需要网络关注图像中分布不均匀的众多微小病变。这使得模型难以保留视网膜中微小病变的所有特征，因此如何提高糖尿病视网膜病变图像分类的准确性，同时提高对视网膜图像的全局理解的准确性是目前亟待解决的技术问题。

技术实现思路

[0004]本专利技术的技术任务是提供一种糖尿病视网膜病变图像分类方法及系统，来解决糖尿病视网膜病变图像分类的准确性低以及CNN网络存在对视网膜图像的全局理解不够的局线性的问题。
[0005]本专利技术的技术任务是按以下方式实现的，一种糖尿病视网膜病变图像分类方法，该方法具体如下：
[0006]数据集获取及图像预处理：将糖尿病视网膜病变图像的原始数据集进行图像预处理，并对补丁数据集进行图像预处理；
[0007]数据集特征提取：使用xception作为主干网络一对原始数据集进行特征提取得到原始数据集特征BS1，使用resnet50作为主干网络二对补丁数据集进行特征提取得到补丁数据集特征BS2；
[0008]通道特征及全局特征提取：将主干网络一xception中提取到的原始数据集特征BS1随机丢弃20％得到原始数据集随机特征B
Ein
，将原始数据集随机特征B
Ein
输入到通道注意力模块ECA中获得通道特征B
out
；将主干网络二resnet50中提取到的特征补丁数据集特征BS2随机丢弃20％得到补丁数据集随机特征M
nin
，将补丁数据集随机特征M
nin
输入到非局部注意力模块NAM(Non
‑
local Neural Networks)中获得全局特征M
out
；
[0009]通道
‑
全局特征以及全局
‑
通道特征提取：将通道特征B
out
输入到非局部注意力模
块NAM中，对通道特征B
out
进行全局位置特征提取，获得通道
‑
全局特征MB
out
；将全局特征M
out
输入到通道注意力模块ECA中，对全局特征M
out
进行通道特征提取，获得全局
‑
通道特征BM
out
；
[0010]特征融合：将通过主干网络一xception和主干网络二resnet50得到原始数据集特征BS1和补丁数据集特征BS2分别随机丢弃50％后与通道特征B
out
、全局特征M
out
、通道
‑
全局特征MB
out
及全局
‑
通道特征BM
out
进行融合得到融合特征RC
out
；
[0011]类别特征提取：将融合特征RC
out
放入类别注意力模块CAB中获得类别特征Q
cout
；
[0012]特征分类：将类别特征Q
cout
与融合特征RC
out
进行再次融合得到最终融合特征，并将最终融合特征一维化后输入全连接层，通过softmax激活函数完成糖尿病视网膜病变图像的分类。
[0013]作为优选，数据集获取及图像预处理具体如下：
[0014]使用DDR数据集以及Messidor数据集分别作为五分类与二分类的数据集；
[0015]图像预处理具体如下：
[0016]由于糖尿病视网膜病变的分级是通过视网膜中微血管瘤与出血点以及渗出来实现，因此，为了在常规的视网膜图像中更好的提取视网膜图像特征，我们去除数据集图像背景噪声，最大的保留视网膜区域；
[0017]利用数据增强技术丰富图像数据，具体为：
[0018]糖尿病视网膜病变的分类判断依据很大权重来自于视网膜图像上的微动脉瘤，眼底图像眼睛中圆形的局部毛细血管扩张；对原始数据集进行切割，将常见的病灶局部范围切割作为补丁，利用补丁图像成立一个新的补丁数据集；补丁数据集忽略掉全部黑色的边缘噪声，使其专注更细微的病灶特征；
[0019]在训练集中，针对图像进行缩放、增大变换：设置缩放因子为1/255，缩放的目的是把图像的长和宽放大或缩小，改变的图像的整体大小，并不是剪切图片；在增强图像过程中，随机对尺寸进行0.45倍的放大或缩小，起到增强图像的作用，最后将图像再次进行水平方向的翻转；
[0020]其中，旋转范围代表着图像在训练期间随机旋转的角度(绕图像的中心旋转)；高度位移代表着图像在垂直方向上有0.2％幅度的移动；宽度位移与高度位移同理，只是角度从垂直方向变成水平方向0.2％幅度的变化。
[0021]更优地，通道特征及全局特征提取具体如下：
[0022]通过添加不同的注意力模块ECA来重点关注不同的方向，提取更多维度特征以及更具针对性的特征，通过注意力模块ECA的无需降维的局部跨通道交互机制，提取更多来自主干网络一xception特征中的通道信息，将原始数据集随机特征B
Ein
进行逐通道全局平均池化；
[0023]GAP层生成1
×1×
C的特征向量后，通过得到自适应卷积核尺寸进行一维卷积层进行跨通道信息交互，得到第二个1
×1×
C特征向量；
[0024]其中，C表示通道维度，决定一维卷积卷积核的大小；
[0025]将注意力模块ECA的映射过程用δ
e
表示，注意力模块ECA模块输出的通道特征B
out
的公式如下：
[0026][0027]其中，表示元素操作，即将相应的元素逐个相乘；
[0028]通过引入非局部注意力模块NAM收集上文信息增强像素级表示能力，非局部注意力模块NAM考虑了所有特征点及区域进行加权计算，克服了卷积神经网络关注局部特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种糖尿病视网膜病变图像分类方法，其特征在于，该方法具体如下：数据集获取及图像预处理：将糖尿病视网膜病变图像的原始数据集进行图像预处理，并对补丁数据集进行图像预处理；数据集特征提取：使用xception作为主干网络一对原始数据集进行特征提取得到原始数据集特征BS1，使用resnet50作为主干网络二对补丁数据集进行特征提取得到补丁数据集特征BS2；通道特征及全局特征提取：将主干网络一xception中提取到的原始数据集特征BS1随机丢弃20％得到原始数据集随机特征B
Ein
，将原始数据集随机特征B
Ein
输入到通道注意力模块ECA中获得通道特征B
out
；将主干网络二resnet50中提取到的特征补丁数据集特征BS2随机丢弃20％得到补丁数据集随机特征M
nin
，将补丁数据集随机特征M
nin
输入到非局部注意力模块NAM中获得全局特征M
out
；通道
‑
全局特征以及全局
‑
通道特征提取：将通道特征B
out
输入到非局部注意力模块NAM中，对通道特征B
out
进行全局位置特征提取，获得通道
‑
全局特征MB
out
；将全局特征M
out
输入到通道注意力模块ECA中，对全局特征M
out
进行通道特征提取，获得全局
‑
通道特征BM
out
；特征融合：将通过主干网络一xception和主干网络二resnet50得到原始数据集特征BS1和补丁数据集特征BS2分别随机丢弃50％后与通道特征B
out
、全局特征M
out
、通道
‑
全局特征MB
out
及全局
‑
通道特征BM
out
进行融合得到融合特征RC
out
；类别特征提取：将融合特征RC
out
放入类别注意力模块CAB中获得类别特征Q
cout
；特征分类：将类别特征Q
cout
与融合特征RC
out
进行再次融合得到最终融合特征，并将最终融合特征一维化后输入全连接层，通过softmax激活函数完成糖尿病视网膜病变图像的分类。2.根据权利要求1所述的糖尿病视网膜病变图像分类方法，其特征在于，数据集获取及图像预处理具体如下：使用DDR数据集以及Messidor数据集分别作为五分类与二分类的数据集；图像预处理具体如下：去除数据集图像背景噪声，最大的保留视网膜区域；利用数据增强技术丰富图像数据，具体为：对原始数据集进行切割，将常见的病灶局部范围切割作为补丁，利用补丁图像成立一个新的补丁数据集；补丁数据集忽略掉全部黑色的边缘噪声，使其专注更细微的病灶特征；在训练集中，针对图像进行缩放、增大变换：设置缩放因子为1/255，缩放的目的是把图像的长和宽放大或缩小，改变的图像的整体大小；在增强图像过程中，随机对尺寸进行0.45倍的放大或缩小，起到增强图像的作用，最后将图像再次进行水平方向的翻转；其中，旋转范围代表着图像在训练期间随机旋转的角度；高度位移代表着图像在垂直方向上有0.2％幅度的移动；宽度位移与高度位移同理，只是角度从垂直方向变成水平方向0.2％幅度的变化。3.根据权利要求1或2所述的糖尿病视网膜病变图像分类方法，其特征在于，通道特征及全局特征提取具体如下：通过注意力模块ECA的无需降维的局部跨通道交互机制，提取来自主干网络一xception特征中的通道信息，将原始数据集随机特征B
Ein
进行逐通道全局平均池化；
GAP层生成1
×1×
C的特征向量后，通过得到自适应卷积核尺寸进行一维卷积层进行跨通道信息交互，得到第二个1
×1×
C特征向量；其中，C表示通道维度，决定一维卷积卷积核的大小；将注意力模块ECA的映射过程用δ
e
表示，注意力模块ECA模块输出的通道特征B
out
的公式如下：其中，表示元素操作，即将相应的元素逐个相乘；通过引入非局部注意力模块NAM收集上文信息增强像素级表示能力，非局部注意力模块NAM考虑了所有特征点及区域进行加权计算，得到对于输入图像的全局特征M
out
；通过输入到非局部注意力模块NAM的主干网络二resnet50得到的补丁数据集的补丁数据集随机特征M
nin
，通过θ和变为θ(M
nin
)与φ(M
nin
)，θ和是1*1的卷积层，特征图通过θ或后，宽度和高度保持不变，通道减半，将θ(M
nin
)与φ(M
nin
)相乘并进行softmax运算获取加权相关矩阵，得到像素相关性权重图M
n
′
in
，公式如下：其中，表示θ和这两个位置之间的相似性权重；将M
n
′
in
与通过计算位置的特征的g(M
nin
)进行矩阵乘法将相关性融合进特征图得到注意力图M
n
″
in
，公式如下：其中，g是1*1的卷积层；将得到的注意力图M
n
″
in
通过一个1*1的卷积后，与补丁数据集随机特征M
nin
进行矩阵相加，得到最终的非局部注意力模块的输出全局特征M
out
，公式如下：其中，表示元素乘法操作，表示元素加法操作。4.根据权利要求3所述的糖尿病视网膜病变图像分类方法，其特征在于，通道
‑
全局特征以及全局
‑
通道特征提取具体如下：将通道特征B
out
放入非局部注意力模块NAM中，再次对通道特征进行非局部特征提取，得到带有提取到通道特征的通道
‑
全局特征MB
out
，公式如下：将全局特征M
out
放入通道注意力...

【专利技术属性】
技术研发人员：成金勇，任志远，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：