一种基于无归一化深度残差与注意力机制的肠道病灶辅助诊断方法技术

一种基于无归一化深度残差与注意力机制的肠道病灶辅助诊断方法，首先将原始肠道数据集随机划分为训练集、验证集和测试集，并进行预处理；然后将训练集直接输入到网络中，此网络主要由三个部分组成：特征提取器、注意力分支和感知分支；结合注意力分支和感知分支两个分支的损失函数之和对网络进行端到端方式的训练，生成最优模型；再输入测试集图像对最优模型进行检验，使用准确率Accuracy，敏感度Sensitivity，特异度Specificity三个指标来评估最优模型的性能。本发明专利技术相对于经典的ResNet网络具有更优的效果，很好地提升了分类的性能，能够更好地应用在肠道病灶的辅助诊断上，具有更好的实际工程应用价值。

【技术实现步骤摘要】
一种基于无归一化深度残差与注意力机制的肠道病灶辅助诊断方法
本专利技术涉及医学图像处理
，利用肠道内窥镜检查图像进行肠道病灶的辅助诊断。具体涉及一种基于无归一化深度残差与注意力机制的肠道图像处理方法。
技术介绍
肠道息肉、溃疡等是引发早期肠道癌变的主要危险因素。肠道癌前病变筛查对于早期肠癌预防很重要。肠道内窥镜检查是筛查和预防癌变的主要方法。临床上，肠道内窥镜检查的准确性与医生的经验很相关，操作难度较大，且容易造成误诊或漏诊。为了提高肠道内窥镜检查的准确性和有效性，国内外研究人员提出了很多用于肠道病灶辅助诊断的方法，主要包括：利用图像分割提取分割区域的几何特征，结合支持向量机等分类方法实现病变识别；通过提取图像的颜色和纹理特征，实现息肉的识别；或者结合尺度不变特征变换法和K均值聚类、显著图和直方图等方法，获得图像的综合特征，实现图像分类等。基于以上方法得到的辅助诊断模型，其准确性、敏感度和特异度能达到80％以上，但这些方法依赖于手动特征的提取，算法复杂耗时且精度不高，难以达到临床的需求。深度学习算法识别效率高，速度快，可以应对多种复杂的诊断场景。卷积神经网络(ConvolutionalNeuralNetworks,CNN)利用网络结构自动提取图像特征并分类，所学习到的特征对数据的内在信息更具代表性，特征提取和分类同时进行、全局优化训练参数少、泛化能力强等优点。虽然已经提出了很多深层CNN用于图像识别任务，并获得了较好的性能，但这些方法大多使用整个图片来训练模型，对局部病变区域的细微特征提取不到位，而结直肠疾病的病灶边缘与正常组织壁十分类似，颜色纹理特征也不足够明显，病灶大小形状差异大，病灶类间相似性大。因此，结直肠疾病图案的识别分类仍然是一项非常具有挑战性的任务。
技术实现思路
为了克服现有CNN对局部病变区域的细微特征提取不到位，类内病灶大小形状差异大，病灶边缘与正常组织壁边界模糊，多种良性病灶类间相似性大的问题，本专利技术提出一种基于无归一化深度残差与注意力机制的肠道病灶辅助诊断方法。本专利技术解决其技术问题所采用的技术方案是：一种基于无归一化深度残差与注意力机制的肠道病灶辅助诊断方法，所述方法包括以下步骤：步骤1：输入图像数据集X＝{x1,x2,...,xn}，其中，X矩阵表示数据集，n表示总样本数量，xi∈R224×224×3表示输入图像三个通道像素值构成的特征向量，(xi,yi)表示样本i，yi表示样本类别标签，其值为0表示正常，其值为1表示息肉，其值为2表示溃疡，当训练出一个分类模型后，以图像的特征向量xi为输入，预测输出的结果标签是0，1还是2，从而可以判断图片中是否正常、有息肉或者有溃疡；步骤2：采用无归一化的ResNet基线模型的前四层作为特征提取器，从输入图像提取特征，输出特征图，特征提取器的后三层由多个引入ScaledWeightStandardization的无归一化Bottleneck残差块串联而成；利用的主干网络在初始化的时候抑制残差分支，并使用ScaledWeightStandardization来消除均值偏移现象，确保残差分支保持方差，消除Batch维度内训练样本之间的相关性，这确保了网络具有ReLU激活函数的同时每通道激活函数不会随网络深度的增长而丢失信号，使网络训练和推理阶段偏差较小；ScaledWeightStandardization与中心权重标准化密切相关，其重新参数化卷积层，如下：其中的均值μ和方差σ是通过卷积滤波器的扇入范围计算的。用高斯权值初始化底层参数W，而γ是一个固定常数，在整个训练过程中，将这种约束作为网络前向传播中的可微操作；步骤3：注意力分支结构和作用以及注意力图的生成过程如下：3.1由于肠道图像中病灶边缘与正常组织壁边界模糊，构建一个注意力分支来聚焦病灶区域，其卷积层ConvolutionLayers是用无归一化Bottleneck残差块来构建的，无归一化Bottleneck残差块的第一个3×3卷积层的步幅设置为1，以保持特征图的分辨率；为了可以在前向传播过程中可视化注意力图，引入基于响应的视觉解释模型来应用注意力，构建一个注意力分支结构，生成注意力图，注意力图中的高亮位置就是聚焦病灶区域的位置，通过引入此注意力分支，网络在聚焦于图像重要位置的同时被训练，并提高了其分类性能；3.2为了生成注意力图，注意力分支基于类激活映射(ClassActivationMapping,CAM)构建顶层，该顶层由卷积层和全局平均池化(globalaveragepooling,GAP)组成，CAM是一个代表性的基于响应的视觉解释，可以使用卷积层的响应获得每个类别的注意力图，然而，CAM在训练过程中不能生成注意力图，因为注意力图是在训练后通过将K×H×W特征图的加权和与最后一个全连接层的权重相乘生成的；提出利用一个K×1×1卷积层来代替全连接层，经过K×1×1卷积层后，再利用GAP和Softmax函数输出类概率分数Prob.score，同时，注意力分支用K×H×W特征图生成注意力图，为了聚集K个特征图，将这些特征图用1×1×1卷积层卷积，生成1×H×W特征图，再用Sigmoid函数对1×H×W特征图进行归一化，生成注意力图；步骤4：注意力机制将注意力图应用于特征提取器输出的K个特征图，并输出K个特征图g'(xi)。g(xi)是特征提取器输出的特征图，M(xi)是注意力分支输出的注意力图，g'(xi)是注意力机制输出的特征图，输入到感知分支；注意力机制在特定通道C上将注意力图M(xi)和特征图g(xi)作点积，再将点积结果与特征图g(xi)求和，得到g'(xi)，这可以在注意力图的峰值处突出显示特征图，同时防止注意力图的较低值区域降为零，g'(xi)表示为式(2)，感知分支接收从注意力机制输出的特征图g'(xi)，输入到分类器Classifier的卷积层，再利用Softmax激活函数输出最终类概率分数Prob.score；g'(xi)＝(1+M(xi))·g(xi)(2)步骤5：使用注意力分支和感知分支两个分支的损失之和L(xi)，作为训练损失，通过Softmax函数和交叉熵的结合来计算每个分支的训练损失，用Latt(xi)表示输入样本为xi时的注意力分支损失，Lper(xi)表示输入样本为xi时的感知分支损失，总损失函数L(xi)表示为式(3)，训练时，将224×224的肠道图像输入到特征提取器，使用Adam优化器优化参数，StepLR机制调整学习率，结合损失函数对网络进行端到端的训练，得到最优的模型，再输入测试集图像对最优模型进行检验，使用准确率Accuracy，敏感度Sensitivity，特异度Specificity三个指标来评估最优模型的性能，三个指标分别表示为式(4)，式(5)，式(6)；L(xi)＝Latt(xi)+Lper(xi)(3)其中，TP、TN、FP、FN分别表示真阳性、真阴性、假阳性、假阴性的数量。本专利技术的网本文档来自技高网...

【技术保护点】
1.一种基于无归一化深度残差与注意力机制的肠道病灶辅助诊断方法，其特征在于，所述方法包括以下步骤：/n步骤1：输入图像数据集X＝{x

【技术特征摘要】
1.一种基于无归一化深度残差与注意力机制的肠道病灶辅助诊断方法，其特征在于，所述方法包括以下步骤：
步骤1：输入图像数据集X＝{x1,x2,...,xn}，其中，X矩阵表示数据集，n表示总样本数量，xi∈R224×224×3表示输入图像三个通道像素值构成的特征向量，(xi,yi)表示样本i，yi表示样本类别标签，其值为0表示正常，其值为1表示息肉，其值为2表示溃疡，当训练出一个分类模型后，以图像的特征向量xi为输入，预测输出的结果标签是0，1还是2，从而可以判断图片中是否正常、有息肉或者有溃疡；
步骤2：采用无归一化的ResNet基线模型的前四层作为特征提取器，从输入图像提取特征，输出特征图，特征提取器的后三层由多个引入ScaledWeightStandardization的残差块串联而成；
利用的主干网络在初始化的时候抑制残差分支，并使用ScaledWeightStandardization来消除均值偏移现象，确保残差分支保持方差，消除Batch维度内训练样本之间的相关性，这确保了网络具有ReLU激活函数的同时每通道激活函数不会随网络深度的增长而丢失信号，使网络训练和推理阶段偏差较小；ScaledWeightStandardization与中心权重标准化密切相关，其重新参数化卷积层，如下：



其中的均值μ和方差σ是通过卷积滤波器的扇入范围计算的。用高斯权值初始化底层参数W，而γ是一个固定常数，在整个训练过程中，将这种约束作为网络前向传播中的可微操作；
步骤3：注意力分支结构和作用以及注意力图的生成过程如下：
3.1由于肠道图像中病灶边缘与正常组织壁边界模糊，构建一个注意力分支来聚焦病灶区域，其卷积层ConvolutionLayers是用残差块来构建的，残差块的第一个3×3卷积层的步幅设置为1，以保持特征图的分辨率；为了可以在前向传播过程中可视化注意力图，通过引入基于响应的视觉解释模型来应用注意力，构建一个注意力分支结构，生成注意力图，注意力图中的高亮位置就是聚焦病灶区域的位置，通过引入此注意力分支，网络在聚焦于图像重要位置的同时被训练，并提高了其分类性能；
3.2为了生成注意力图，注意力分支基于类激活映射(ClassActivationMapping,CAM)构建顶层，该顶层由卷积层和全局平均池化(globalaveragepooling,GAP)组成，CA...

【专利技术属性】
技术研发人员：李胜，程珊，何熊熊，夏瑞瑞，王栋超，郝明杰，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33