一种基于注意力机制的早产儿视网膜图像分类方法和装置制造方法及图纸

本发明专利技术公开了一种基于注意力机制的早产儿视网膜图像分类方法和装置，包括步骤：将待识别的二维视网膜眼底图像进行预处理，得到预处理后的二维视网膜眼底图像；将预处理后的二维视网膜眼底图像输入到预先训练好的深度注意力网络模型中，输出图像的分类结果识别出早产儿视网膜病变ROP图像；所述深度注意力网络模型为在原始ResNet18网络的第三个残差层和第四个残差层后分别添加互补残差注意力模块和通道注意力SE模块。本发明专利技术能够获取丰富且重要的全局和局部信息，使得网络能够学习到正确的病变特征，从而使得分类网络能较好解决病变与背景之间极大的数据不平衡问题，进而提高深度注意力网络模型的分类性能。

A retinal image classification method and device for premature infants based on attention mechanism

【技术实现步骤摘要】
一种基于注意力机制的早产儿视网膜图像分类方法和装置
本专利技术涉及视网膜图像分类
，具体涉及一种基于注意力机制的早产儿视网膜图像分类方法和装置。
技术介绍
早产儿视网膜病变(RetinopathyofPrematurity,ROP)是一种视网膜血管增生性疾病，主要见于早产儿(胎龄小于32周)和低出生体重儿(体重低于1500克)及高水平的氧气补充，是全球儿童致盲的主要原因。由于成像质量受焦点、光照、眼球运动等因素的影响，早产儿视网膜眼底彩照图像存在质量非常低、病变区域与背景分布不平衡等问题，因此基于视网膜眼底彩照的ROP自动识别存在很大的挑战性。近年来，随着深度学习的迅速发展，许多基于卷积神经网络(ConvolutionalNeuralNetworks，CNN)的深度学习方法应用于医学图像分析。Worrall等人使用ImageNet预训练的GoogLeNet网络对ROP中是否存在附加疾病(即血管的迂曲和膨胀)进行了分类，识别出异常和正常图像，这是首次尝试使用深度神经网络来识别附加疾病。Wang等人利用ImageNet上预训练的Inception-v2网络识别ROP的存在和严重程度。Zhang等人使用在ImageNet上预训练的VGG16网络来识别ROP。但是，大多数基于CNN(卷积神经网络)的方法都没有考虑ROP图像中疾病特征与背景分布不平衡导致ROP图像分类不准确的问题。
技术实现思路
为解决现有技术中的不足，本专利技术提供一种基于注意力机制的早产儿视网膜图像分类方法和装置，解决了现有技术没有考虑ROP图像中疾病特征与背景分布不平衡导致ROP图像分类不准确的问题。为了实现上述目标，本专利技术采用如下技术方案：一种基于注意力机制的早产儿视网膜图像分类方法，包括步骤：将待识别的二维视网膜眼底图像进行预处理，得到预处理后的二维视网膜眼底图像；将预处理后的二维视网膜眼底图像输入到预先训练好的深度注意力网络模型中，输出图像的分类结果识别出早产儿视网膜病变ROP图像；所述深度注意力网络模型为在原始ResNet18网络的第三个残差层和第四个残差层后分别添加互补残差注意力模块和通道注意力SE模块。进一步的，所述互补残差注意力模块包括：通道注意力SE模块、最大池化层、平均池化层、二维卷积层、sigmoid层；SE模块用于将输入的特征图在通道维度上重新标定得到新的特征图，重新标定后的新的特征图以通道为单位通过最大池化层、平均池化层分别进行最大池化和平均池化操作，并将两者的结果在通道方向进行合并，再经过一个二维卷积和sigmoid激活函数得到特征图空间权重，再将特征图空间权重与原始ResNet18网络的第三个残差层的输出特征图进行点积，得到点积后的特征图，将第三个残差层的输出特征图乘以残差因子1-E后与点积之后的特征图进行相加，得到输出的特征图；E为：互补残差注意力模块中SE模块计算得到的特征图的权重系数。进一步的，所述通道注意力SE模块包括：全局平均池化层、两个1*1卷积层、修正线性单元层和sigmoid层；将高度、宽度和通道数分别为h、w和C的特征图先经过全局平均池化层进行压缩操作，压缩得到C*1*1大小的特征图，再经过一个的卷积得到大小的特征图，r表示压缩率，接着经过一个修正线性单元层，进行了非线性变化操作，得到了新的的特征图；再经过一个C*1*1的卷积得到大小为C*1*1的特征图，再经过sigmoid激活函数，得到C个特征图的权重系数E，最后将输入的特征图与得到的C个特征图的权重系数E进行点积，得到经过选择后的具有病变特征信息的特征图。进一步的，所述深度注意力网络模型训练过程为：1)将正常和异常的二维眼底图像按比例分为训练数据集和验证数据集，并进行预处理操作，对训练数据集中的图像数据进行数据增强；2)将ResNet18网络在ImageNet数据集上训练的权重迁移至预先构建的深度注意力网络模型上，将训练数据集中的图像输入到迁移后的深度注意力网络模型，进行一次前向传播，得到每一分类的得分值，通过softmax激活函数，得出每一类的预测值，并计算所述预测值与真实分类值之间的交叉熵损失函数loss值，用Adam优化算法来最小化所述交叉熵损失函数loss值；3)通过验证数据集验证模型，保存验证数据集上准确率最好的模型，得到训练好的深度注意力网络模型。进一步的，所述预测值与真实分类值之间的交叉熵损失函数loss值通过下述公式计算：其中，L表示预测值与真实分类值之间的交叉熵损失函数loss值，m表示训练过程中样本总数量，x表示输入的训练数据集中的图像，y表示真实分类值，a表示深度注意力网络模型的预测值，σ表示softmax激活函数，z表示得分值。进一步的，所述预处理操作包括：下采样和减均值。一种基于注意力机制的早产儿视网膜图像分类装置，包括：预处理模块，用于将待识别的二维视网膜眼底图像进行预处理，得到预处理后的二维视网膜眼底图像；识别模块，用于将预处理后的二维视网膜眼底图像输入到预先训练好的深度注意力网络模型中，输出图像的分类结果识别出早产儿视网膜病变ROP图像；所述深度注意力网络模型为在原始ResNet18网络的第三个残差层和第四个残差层后分别添加互补残差注意力模块和通道注意力SE模块。进一步的，所述互补残差注意力模块包括：通道注意力SE模块、最大池化层、平均池化层、二维卷积层、sigmoid层；SE模块用于将输入的特征图在通道维度上重新标定得到新的特征图，重新标定后的新的特征图以通道为单位通过最大池化层、平均池化层分别进行最大池化和平均池化操作，并将两者的结果在通道方向进行合并，再经过一个二维卷积和sigmoid激活函数得到特征图空间权重，再将特征图空间权重与原始ResNet18网络的第三个残差层的输出特征图进行点积，得到点积后的特征图，将第三个残差层的输出特征图乘以残差因子1-E后与点积之后的特征图进行相加，得到输出的特征图；所述E为：互补残差注意力模块中SE模块计算得到的特征图的权重系数。进一步的，所述通道注意力SE模块包括：全局平均池化层、两个1*1卷积层、修正线性单元层和sigmoid层；将高度、宽度和通道数分别为h、w和C的特征图先经过全局平均池化层进行压缩操作，压缩得到C*1*1大小的特征图，再经过一个的卷积得到大小的特征图，r表示压缩率，接着经过一个修正线性单元层(ReLU激活函数)，进行了非线性变化操作，得到了新的的特征图；再经过一个C*1*1的卷积得到大小为C*1*1的特征图，再经过sigmoid激活函数，得到C个特征图的权重系数E，最后将输入的特征图与得到的C个特征图的权重系数E进行点积，得到经过选择后的具有病变特征信息的特征图。进一步的，所述深度注意力网络模型训练过程为：1)将正常和异常的二维眼底图像按比例分为训练数据集和验证数据集，并进行预处理操作，对训练数据集中的图像数据进行数据增强；2)将ResNet18网络在ImageNet数据集上训练的权本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的早产儿视网膜图像分类方法，其特征在于：包括步骤：/n将待识别的二维视网膜眼底图像进行预处理，得到预处理后的二维视网膜眼底图像；/n将预处理后的二维视网膜眼底图像输入到预先训练好的深度注意力网络模型中，输出图像的分类结果识别出早产儿视网膜病变ROP图像；/n所述深度注意力网络模型为在原始ResNet18网络的第三个残差层和第四个残差层后分别添加互补残差注意力模块和通道注意力SE模块。/n

【技术特征摘要】
1.一种基于注意力机制的早产儿视网膜图像分类方法，其特征在于：包括步骤：
将待识别的二维视网膜眼底图像进行预处理，得到预处理后的二维视网膜眼底图像；
将预处理后的二维视网膜眼底图像输入到预先训练好的深度注意力网络模型中，输出图像的分类结果识别出早产儿视网膜病变ROP图像；
所述深度注意力网络模型为在原始ResNet18网络的第三个残差层和第四个残差层后分别添加互补残差注意力模块和通道注意力SE模块。


2.根据权利要求1所述的一种基于注意力机制的早产儿视网膜图像分类方法，其特征是：所述互补残差注意力模块包括：通道注意力SE模块、最大池化层、平均池化层、二维卷积层、sigmoid层；SE模块用于将输入的特征图在通道维度上重新标定得到新的特征图，重新标定后的新的特征图以通道为单位通过最大池化层、平均池化层分别进行最大池化和平均池化操作，并将两者的结果在通道方向进行合并，再经过一个二维卷积和sigmoid激活函数得到特征图空间权重，再将特征图空间权重与原始ResNet18网络的第三个残差层的输出特征图进行点积，得到点积后的特征图，将第三个残差层的输出特征图乘以残差因子1-E后与点积之后的特征图进行相加，得到输出的特征图；E为：互补残差注意力模块中SE模块计算得到的特征图的权重系数。


3.根据权利要求1或2所述的一种基于注意力机制的早产儿视网膜图像分类方法，其特征是：所述通道注意力SE模块包括：全局平均池化层、两个1*1卷积层、修正线性单元层和sigmoid层；将高度、宽度和通道数分别为h、w和C的特征图先经过全局平均池化层进行压缩操作，压缩得到C*1*1大小的特征图，再经过一个的卷积得到大小的特征图，r表示压缩率，接着经过一个修正线性单元层，进行了非线性变化操作，得到了新的大小的特征图；再经过一个C*1*1的卷积得到大小为C*1*1的特征图，再经过sigmoid激活函数，得到C个特征图的权重系数E，最后将输入的特征图与得到的C个特征图的权重系数E进行点积，得到经过选择后的具有病变特征信息的特征图。


4.根据权利要求1所述的一种基于注意力机制的早产儿视网膜图像分类方法，其特征是：所述深度注意力网络模型训练过程为：
1)将正常和异常的二维眼底图像按比例分为训练数据集和验证数据集，并进行预处理操作，对训练数据集中的图像数据进行数据增强；
2)将ResNet18网络在ImageNet数据集上训练的权重迁移至预先构建的深度注意力网络模型上，将训练数据集中的图像输入到迁移后的深度注意力网络模型，进行一次前向传播，得到每一分类的得分值，通过softmax激活函数，得出每一类的预测值，并计算所述预测值与真实分类值之间的交叉熵损失函数loss值，用Adam优化算法来最小化所述交叉熵损失函数loss值；
3)通过验证数据集验证模型，保存验证数据集上准确率最好的模型，得到训练好的深度注意力网络模型。


5.根据权利要求4所述的一种基于注意力机制的早产儿视网膜图像分类方法，其特征是：所述预测值与真实分类值之间的交叉熵损失函数loss值通过下述公式计算：



其中，L表示预测值与真实分类值之间的交叉熵损失函数loss值，m表示训练过程中样本总数量，x表示输入的训...

【专利技术属性】
技术研发人员：陈新建，彭圆圆，朱伟芳，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏;32