基于双线性池化与注意力机制的细粒度眼底图像分级算法制造技术

本发明专利技术公开了一种基于双线性池化与注意力机制的细粒度眼底图像分级算法，所述细粒度眼底图像分级算法使用两组非同源的CNN提取眼底数据集络图片特征，将两组不同CNN模型的输出作为输入，通过补充交叉熵损失函数计算损失反向传播网络，最后得到的网络结构去进行测试。这种双线性池化结构结合注意力机制的神经网络模型，是一种新颖糖尿病视网膜病变眼底图像分级分类方法。本发明专利技术基于双线性池化模型与注意力机制模块相结合的糖尿病视网膜病变眼底图像分级检测算法是一种准确高效的自动检测和分类算法，对临床有着极其重要的价值，具有广阔的应用场景。

【技术实现步骤摘要】
基于双线性池化与注意力机制的细粒度眼底图像分级算法
本专利技术属于智能医学影像处理领域，涉及一种基于双线性池化与注意力机制的细粒度眼底图像分级算法。
技术介绍
深度学习是机器学习和人工智能研究的最新趋势之一。它也是当今最流行的科学研究趋势之一。深度学习方法为计算机视觉和机器学习领域带来了革命性的进步。近年来，深度学习方法在医学影像处理中得到了广泛的关注。对于一些特定的任务，深度学习方法已经显示出可以与医学专家相匹敌或超越医学专家的表现。在眼底图像中，可以观测到视网膜病变病灶有微动脉瘤、出血、硬渗出物、棉絮状渗出点和新生血管。根据眼底病变严重程度可将糖尿病视网膜病变分为正常、轻微、中等、严重、增生五个等级。眼底图像病灶种类繁多，患病等级划分标准复杂。有时相邻等级的眼底图像病灶相似，同一等级眼底图像病灶差异很大(见图1)，人工判别病变分级往往是不准确且困难的。大部分只能通过医生的估算，并且费时费力。如何高效精准的对视网膜病变进行分级是眼底图像分析领域中一个重要挑战。在视网膜病变分级中，存在严重的样本不均衡问题。在临床医学中，每个级别的病患数量差异大，病情较重的患者数量占总体检查人数的很小部分，从而使数据中较轻患者和未患病样本数量过多(详情见图2)。样本不均衡会使网络训练在不同类别时的表现不一，训练出的网络不具有鲁棒性。糖尿病视网膜病变眼底图像作为一种多因素导致的疾病，病变种类和病变程度都会导致病变等级的改变，而所有的病变眼底图像特征极其相似，仅在某些出血点或动脉瘤等病变点上有所区别，本质上是一种细粒度图像分割，传统的卷积神经网络并不能对其进行高效率识别。
技术实现思路
为了解决目前糖尿病视网膜眼底病变图像分级困难以及数据集中存在的样本不均衡问题，本专利技术提供了一种基于双线性池化与注意力机制的细粒度眼底图像分级算法。本专利技术的目的是通过以下技术方案实现的：一种基于双线性池化与注意力机制的细粒度眼底图像分级算法，包括如下步骤：步骤一、获取数据集下载来自Kaggle’sDiabeticRetinopathyDetectionChallenge(EyePACS)数据集；步骤二、数据集预处理使用Opencv将步骤一中获取到的图像尺寸调整为512×512，将数据集中的过度曝光图像进行去噪处理，并对图像的无用部分进行裁切，使最终得到的图像均包含实验有用信息；步骤三、搭建非同源卷积神经网络使用ResNet50和DenseNet121搭建非同源卷积神经网络用于双线性池化，具体步骤如下：(1)对于两个不同的信息流，将ResNet50和DenseNet121两个网络模型的输出特征fA(l,I)∈RT×M和fB(l,I)∈RT×N进行如下操作：x＝vec(δ(I))∈RMN×1；z＝y/||y||2∈RMN×1；其中，M和N为通道数，fA(l,I)和fB(l,I)表示输入到双线性池化中的两个特征向量，bilinear表示SumPooling操作，vec表示将矩阵转化为向量操作，x表示特征向量，sign表示归一化操作，z为最终得到的融合向量；(2)双线性池化通过下列计算形成全局图像描述符：其中，s表示位置，xs是CNN输出的特征向量；(3)对于两组特征X和Y作如下推导：其中，B(X),B(Y)表示两个特征向量，表示低维向量投影；(4)创建一个低维近似来实现降维的目的，则：步骤四、引入注意力机制模块(1)对输入特征图进行全局平均池化：其中，H和W是特征图的高和宽，x(i,j)表示特征图的每个像素，ν为注意力机制的输出；(2)将得到的特征向量经过两个全连接层和激活函数处理：y＝F(v,W)＝δ(W2σ(W1v))；其中，W1和W2表示全连接层的权重，v是全局平均池化后得到的特征向量，σ表示ReLU激活函数，δ表示Sigmoid激活函数；(3)将特征向量y逐通道与输入特征图x相乘，得到的注意力特征图即为输出特征图；步骤五、损失函数的选取使用补充交叉熵损失函数来计算网络的反向传播损失，补充交差熵损失函数的计算公式如下：其中，为交叉熵，λ为调节因子，为补充熵，N为mini-batch中的样本数，K为类别总数，表示给定输入样本的类别估计概率向量，g为groudtruth类别的序号，表示第i个给定输入样本为g类的预测概率；步骤六、训练神经网络使用Pytorch对搭建的网络模型进行训练；步骤七、生成预测文件针对测试集，生成预测的csv文件，进行指标测试。相比于现有技术，本专利技术具有如下优点：1、本专利技术提出的基于深度学习CNN的双线性池化神经网络模型与注意力机制模块相结合的针对糖尿病视网膜病变眼底图像分级检测分类算法，使用两组非同源的CNN提取眼底数据集络图片特征，将两组不同CNN模型的输出作为输入，通过补充交叉熵损失函数计算损失反向传播网络，最后得到的网络结构去进行测试。这种双线性池化结构结合注意力机制的神经网络模型，是一种新颖糖尿病视网膜病变眼底图像分级分类方法。2、本专利技术基于双线性池化模型与注意力机制模块相结合的糖尿病视网膜病变眼底图像分级检测算法是一种准确高效的自动检测和分类算法，对临床有着极其重要的价值，具有广阔的应用场景。附图说明图1为糖尿病视网膜病变数据集图像，(a)Ⅰ级糖网图像，(b)Ⅰ级糖网图像，(c)Ⅱ级糖网图像；图2为训练集和测试集各类别图像分布图；图3为糖尿病视网膜病变眼底图像分级训练框架；图4为本专利技术所使用的注意力模块示意图。具体实施方式下面结合附图对本专利技术的技术方案作进一步的说明，但并不局限于此，凡是对本专利技术技术方案进行修改或者等同替换，而不脱离本专利技术技术方案的精神和范围，均应涵盖在本专利技术的保护范围中。本专利技术提供了一种基于双线性池化与注意力机制的细粒度眼底图像分级算法，所述算法包括如下步骤：步骤一：获取数据集下载来自Kaggle’sDiabeticRetinopathyDetectionChallenge(EyePACS)数据集。步骤二：数据集预处理使用Opencv将步骤一中获取到的图像尺寸调整为512×512，将数据集中的一些过度曝光图像进行去噪处理，并对图像的无用部分进行裁切，使最终得到的图像均包含实验有用信息。步骤三：搭建非同源卷积神经网络搭建非同源卷积神经网络用于双线性池化，使用的卷积神经网络分别为ResNet50和DenseNet121，具体的网络模型见图3。对于两个不同的信息流，将ResNet50和DenseNet121两个网络模型的输出特征fA(l,I)∈RT×M和fB(l,I)∈RT×N进行如下操作：x＝ve本文档来自技高网...

【技术保护点】
1.一种基于双线性池化与注意力机制的细粒度眼底图像分级算法，其特征在于所述细粒度眼底图像分级算法包括如下步骤：/n步骤一、获取数据集/n下载来自Kaggle’s Diabetic Retinopathy Detection Challenge数据集；/n步骤二、数据集预处理/n使用Opencv将步骤一中获取到的图像尺寸调整为512×512，将数据集中的过度曝光图像进行去噪处理，并对图像的无用部分进行裁切，使最终得到的图像均包含实验有用信息；/n步骤三、搭建非同源卷积神经网络/n使用ResNet50和DenseNet121搭建非同源卷积神经网络用于双线性池化；/n步骤四、引入注意力机制模块/n(1)对输入特征图进行全局平均池化：/n

【技术特征摘要】
1.一种基于双线性池化与注意力机制的细粒度眼底图像分级算法，其特征在于所述细粒度眼底图像分级算法包括如下步骤：
步骤一、获取数据集
下载来自Kaggle’sDiabeticRetinopathyDetectionChallenge数据集；
步骤二、数据集预处理
使用Opencv将步骤一中获取到的图像尺寸调整为512×512，将数据集中的过度曝光图像进行去噪处理，并对图像的无用部分进行裁切，使最终得到的图像均包含实验有用信息；
步骤三、搭建非同源卷积神经网络
使用ResNet50和DenseNet121搭建非同源卷积神经网络用于双线性池化；
步骤四、引入注意力机制模块
(1)对输入特征图进行全局平均池化：



其中，H和W是特征图的高和宽，x(i,j)表示特征图的每个像素，ν为注意力机制的输出；
(2)将得到的特征向量经过两个全连接层和激活函数处理：
y＝F(v,W)＝δ(W2σ(W1v))；
其中，W1和W2表示全连接层的权重，v是全局平均池化后得到的特征向量，σ表示ReLU激活函数，δ表示Sigmoid激活函数；
(3)将特征向量y逐通道与输入特征图x相乘，得到的注意力特征图即为输出特征图；
步骤五、选择损失函数
使用补充交叉熵损失函数来计算网络的反向传播损失；
步骤六、训练神经网络
使用Pytorch对搭建的网络模型进行训练；
步骤七、生成预测文件
针对测试集，生成预测的csv文件，进行指标测试。


2.根据权利要求1所...

【专利技术属性】
技术研发人员：刘萍萍，金百鑫，杨晓康，周求湛，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22