一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法技术

本发明专利技术提供一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法，其特征在于：首先，对数据集中的原始眼底图像进行医学图像适用的预处理；其次，构建基于语义分割的注意力网络模型进行特征提取；然后，构建病灶感知模块、特征保持模块、特征融合模块和头部注意力模块从所提特征中抽取病灶相关信息，生成病灶检测概率图；最终，由输入的眼底彩照，利用此注意力模型所得病灶检测概率图引导眼病筛查，获得带有糖尿病性视网膜病变病灶信息的眼底照片识别结果。本发明专利技术可以有效获取眼底照片中相关病灶信息，在自动筛查糖尿病性视网膜病变的同时生成具有可解释性的病灶检测概率图，可较好地辅助眼科医生诊断，具有广阔的临床应用前景。前景。前景。

【技术实现步骤摘要】
一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法


[0001]本专利技术涉及计算机视觉、数字图像处理和眼科临床医学的多学科交叉技 术领域，具体的，涉及一种基于注意力模型的糖尿病性视网膜病变病灶图像 识别方法。

技术介绍

[0002]糖尿病性视网膜病变是一种由糖尿病所引起的视网膜并发症，如不及时 治疗，存在不可逆转的视力丧失或失明风险。一般而言，病变初期不会导致 视力障碍，因而患者自身难以察觉，可能错失就诊最佳时机，进而导致病情 恶化。当前，通过眼底拍照是可以有效筛查视网膜病变。因此常态化大规模 的筛查十分必要。然而当前仍缺少经验丰富的读图医生，阻碍了大规模筛查。 近年深度学习在图像分类、目标检测和语义分割等计算机视觉领域取得了高 速的发展，且在医学领域取得了一定的成果，有望缓解医生读图负担，解决 部分地区医疗资源紧缺现状。因此开发基于深度学习的糖尿病性视网膜病变 病图像识别方法显得十分重要，极具实用价值和学术研究价值。
[0003]为了满足大规模筛选任务的需要，精确的分类和分割算法是实现疾病自 动筛查和病灶分割的关键部分。然而，这些任务面临三个挑战。首先，微动 脉瘤作为糖尿病视网膜病变最早出现的病灶，但是所占视网膜的空间极小。 其次，与糖尿病视网膜病变无关的干扰容易被卷积和非线性运算放大，最终 影响筛查结果。第三，病变掩码标注数据的分布极不平衡，数据分布不均衡 往往会极大地抑制模型的泛化能力。因此，研究基于深度学习的糖尿病视网 膜病变病灶图像识别方法是有意义的且富有挑战性的。
[0004]为此，需要提出一种基于注意力模型的糖尿病性视网膜病变病灶图像识 别方法，提出这种方法的目的在于：
[0005]1、设计特定的特征提取模块来获取既对微小病灶区域敏感又能抵抗无关 干扰的特征，以检测出眼底彩照中的病灶，为自动糖尿病视网膜病变筛查提 供可解释性依据；
[0006]2、引导模型从分布极不平衡的数据中逐步学习病变特征，提高模型泛化 能力，以有效完成糖尿病视网膜病变筛查任务，推动人工智能在眼科临床领 域的发展。
[0007]因此，有效且准确地检测眼底彩照中糖尿病视网膜病变病灶和预测患病 概率的方法对于计算机视觉领域和眼科临床领域的发展都会有很大的促进作 用。

技术实现思路

[0008]针对上述挑战和目的，本专利技术提供一种基于注意力模型的糖尿病性视网 膜病变病灶图像识别方法。
[0009]本专利技术通过以下技术方案予以实现：
[0010]一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法，包括以 下步骤：
[0011]S1、获取糖尿病性视网膜病变眼底彩照数据集，对原始图像进行医学图 像预处理；
[0012]S2、构建基于语义分割的注意力网络模型进行特征提取；
[0013]S3、构建病灶感知模块、特征保持模块、特征融合模块和头部注意力模 块从所提特征中抽取病灶相关信息，生成病灶检测概率图；
[0014]S4、由输入的眼底彩照，利用此注意力模型所得病灶检测概率图引导眼 病筛查，获得带有糖尿病性视网膜病变病灶信息的眼底照片识别结果。
[0015]优选的，步骤S1中，所述糖尿病视网膜病变眼底彩照数据集包括：正常 眼底彩照和非增殖期糖尿病视网膜病变眼底彩照，并包含图像级患病标签以 及像素级微动脉瘤、出血、硬性渗出和软性渗出四种相关病灶掩码标注；其 中非增殖期糖尿病视网膜病变包括轻度、中度、重度三种级别。
[0016]优选的，步骤S1中，所述对原始图像预处理包括：
[0017]A.裁剪图像四周多余的黑色背景，以得到正方形图像；
[0018]B.将样本图像由RGB颜色空间转换到Lab色彩空间，针对亮度层L通道 做限制对比度的自适应直方图增强，再转换回RGB颜色空间，以此增强图像 细节；
[0019]C.缩放图像尺寸为统一大小以便于输入模型；
[0020]D.使用最大最小标准化做归一化处理使像素值分布在[0,1]区间以加快模 型训练速度；
[0021]E.对训练集中图像采用随机角度中心旋转、随机垂直翻转和随机水平翻转 做数据增广以防止过拟合。
[0022]优选的，步骤S2中，所述基于语义分割的注意力网络模型采用编码器
‑ꢀ
解码器结构。采用ResNet
‑
50作为编码器提取图像低级特征，采用步骤S3中 所述病灶感知模块、特征保持模块、特征融合模块和头部注意力模块四部分 组成解码器。
[0023]优选的，编码器四个分层分别输出四个不同尺度和深度的低级特征 与之对应的，解码器输出四个不同尺度的病灶高级特征 对应关系如下：
[0024][0025]其中，为编码器最后一层所输出的深度最深的特征，即深层语义特征， 和分别代表第i个病灶感知模块、特征融合模块和特征保 留模块操作，每个模块之间均不共享权值，f
HAM
(
·
)代表头部注意力模块操作； 由四个病灶高级特征经过核大小为3
×
3卷积和Sigmoid激活函数层操作f
out
(
·
) 生成四个不同尺度的四种病灶检测概率图
[0026]优选的，病灶感知模块操作通过方向感知特征提取和自注意力机制获取 病灶信息，得到病灶感知高级特征x
dec
，具体公式如下：
[0027][0028]其中，x1是由病灶感知模块的输入x经过核大小为3
×
3的卷积层操作 f
conv
(
·
)得到，f
h
(
·
)和f
v
(
·
)分别代表核大小为3
×
1的水平卷积和核大小为1
×
3的 垂直卷积操作以获取方向信息，f
ort
(
·
)代表一个核大小为1
×
1的卷积操作，得 到方向感知特征x
ort
；x
att
为x经过全局注意力提取得到的维度为1
×1×
C的全局 注意力特征图；i,j,c分别代表特征图不同维度的索引，x
ort
与x
att
做Hadamard 乘积得到病灶高级特征x
dec
。
[0029]优选的，全局注意力提取计算公式如下：
[0030][0031]其中，x2是由病灶感知模块的输入x经过核大小为1
×
1的卷积层操作 f
conv
(
·
)得到，H和W分别代表x2的高和宽，i,j,c分别代表特征图不同维度的 索引，e为自然常数；f
g
(
·
)代表两次核大小为1
×
1的卷积层操作；x
g
和x
att
分 别为病灶感知模块的全局特征和相应的全局注意力特征图。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法，其特征在于，包括如下步骤：S1、获取糖尿病性视网膜病变眼底彩照数据集，对原始图像进行医学图像的预处理；S2、构建基于语义分割的注意力网络模型进行特征提取；S3、构建病灶感知模块、特征保持模块、特征融合模块和头部注意力模块从所提特征中抽取病灶相关信息，生成病灶检测概率图；S4、由输入的眼底彩照，利用所述注意力模型所得病灶检测概率图引导眼病筛查，获得带有糖尿病性视网膜病变病灶信息的眼底照片识别结果。2.根据权利要求1所述的一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法，其特征在于，步骤S1中所述糖尿病性视网膜病变眼底彩照数据集包括：正常眼底彩照和非增殖期糖尿病视网膜病变眼底彩照，并包含图像级患病标签以及像素级微动脉瘤、出血、硬性渗出和软性渗出四种相关病灶掩码标注；其中非增殖期糖尿病视网膜病变包括轻度、中度、重度三种级别。3.根据权利要求1所述的一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法，其特征在于，步骤S1中所述对原始图像进行医学图像的预处理包括：A.裁剪图像四周多余的黑色背景，以得到正方形图像；B.将样本图像由RGB颜色空间转换到Lab色彩空间，针对亮度层L通道做限制对比度的自适应直方图增强，再转换回RGB颜色空间，以此增强图像细节；C.缩放图像尺寸为统一大小以便于输入模型；D.使用最大最小标准化做归一化处理使像素值分布在[0,1]区间以加快模型训练速度；E.对训练集中图像采用随机角度中心旋转、随机垂直翻转和随机水平翻转做数据增广以防止过拟合。4.根据权利要求1所述的一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法，其特征在于：步骤S2中所述基于语义分割的注意力网络模型采用编码器
‑
解码器结构；采用ResNet
‑
50作为编码器提取图像低级特征；采用步骤S3中所述病灶感知模块、特征保持模块、特征融合模块和头部注意力模块四部分组成解码器。5.根据权利要求4所述的一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法，其特征在于，编码器四个分层分别输出四个不同尺度和深度的低级特征与之对应的解码器输出四个不同尺度的病灶高级特征对应关系如下：其中，为编码器最后一层所输出的深度最深的特征，即深层语义特征，和分别代表第i个病灶感知模块、特征融合模块和特征保留模块操作，各个模块之间均不共享权值，f
HAM
(
·
)代表头部注意力模块操作；由四个病灶高级特征经过核大小为3
×
3卷积和Sigmoid激活函数层操作f
out
(
·
)生成四个不同尺度的四种病灶
检测概率图6.根据权利要求5所述的一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法，其特征在于，所述病灶感知模块操作通过方向感知特征提取和自注意力机制获取病灶信息，得到病灶感知高级特征x
dec
，具体公式如下：其中，x1是由病灶感知模块的输入x经过核大小为3
×
3的卷积层操作f
conv
(
·
)得到，f
h
(
·
)和f
v
(
·
)分别代表核大小为3
×
1的水平卷积和核大小为1
×
3的垂直卷积操作以获取方向信息，f
ort
(
·
)代表一个核大小为1
×
1的卷积操作，得到方向感知特征x
ort
；x
att
为x经过全局注意力提取得到的维度为1
×1×
C的全局注意力特征图；i,j,c分别代表特征图不同维度的索引，x
ort
与x
att
做Hadamard乘积得到病灶高级特征x
dec
。7.根据权利要求6所述的一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法，其特征在于，所述全局注意力提取计算公式如下：其中，x2是由病灶感知模块的输入x经过核大小为1
×
1的卷积层操作f
conv
(
·
)得到，H和W分别代表x2的高和宽，i,j,c分别代表特征图不同维度的索引，e为自然常数；f
g
(
·
)代表两次核大小为1
×
1的卷积层操作；x

【专利技术属性】
技术研发人员：夏雪，占锟，方玉明，姜文晖，
申请(专利权)人：江西财经大学，
类型：发明
国别省市：