基于残差卷积与多头自注意力的CXR图像分类方法及系统技术方案

本发明专利技术提供基于残差卷积与多头自注意力的CXR图像分类方法及系统，方法包括：以MSARC

【技术实现步骤摘要】
基于残差卷积与多头自注意力的CXR图像分类方法及系统


[0001]本专利技术涉及医学检验图像处理领域，具体涉及基于残差卷积与多头自注意力的CXR 图像分类方法及系统。

技术介绍

[0002]COVID
‑
19是一种由严重急性呼吸综合征冠状病毒
‑
2(severe acute respiratorysyndrome coronavirus 2,SARS
‑
CoV
‑
2)感染引起的新型传染病，其早期临床特征主要以 发热、干咳、乏力等为主，少数伴有流鼻涕、腹泻等症状，严重者会引起呼吸困难和器 官功能衰竭，甚至会导致死亡。由于基因序列具有不稳定性，COVID
‑
19已经发现了多种变异毒株，如阿尔法(AIpha)、贝塔(Beta)、伽马(Gamma)、 德尔塔(Delta)、奥密克戎(Omicron)等，这些变异毒株的传播速度更快、传染性更高、隐匿性更强。
[0003]由于COVID
‑
19具有传播速度快、传染性高、隐匿性强的特点，因此如何快速准确 地识别和检测新型冠状病毒是阻止新冠病毒传播的关键。目前，COVID
‑
19的检测方法主要包括核酸检测和医学影像检测。核酸检测通过采用逆转录聚合酶链式反应 (reverse transcription
‑
polymerase chain reaction，RT
‑
PCR)技术检测病毒片段，检测结 果呈阳性的为确诊患者。然而核酸测试存在耗时较长、灵敏性较低、假阴性过高以及需 要专用测试盒等缺点，使得检测过程中存在一定的局限性。在医学影像检测中，用于肺部检测的诊治手段主要有胸部X射线(Chest X Ray，CXR)和CT图像。但是基于CXR 和CT图像的人工分析和诊断过程对医护人员的专业知识依赖性很高，对图像特征分析 比较耗时，早期不易观察到隐匿病变，且难以区分其他病毒性肺炎和细菌性肺炎。出于 这一迫切需要，专家们建议利用计算机辅助检测来代替人工诊断以提高检测效率，有助 于医生更快地做出诊断。
[0004]近年来，随着人工智能的发展，深度学习方法在医疗领域中取得了较好的成就，尤 其是卷积神经网络(Convolutional Neural Networks,CNN)在解决医学图像处理和识别 时的效果尤为显著。诸多研究表明，CNN具有优异的特征提取能力，能够准确提取到不同尺度大小的图像特征。现有文献中披露的技术 方案中未采用轻量级卷积模块进行局部特征的提取，易产生梯度消失及网络退化，其参 数量及计算量也较多，算法复杂度较高，降低了该现有技术的适用性以及图像分类的准确率。
[0005]目前大多数方法的基本思想是基于卷积神经网络和大数据集的迁移学习。然而，在 不同的场景应用中，Transformer的性能一般要优于CNN。Transformer是目前最先进的 序列编码器，其核心思想是自注意力。Rao等通过引入自注意力机制使CNN能够更多 地关注语义重要的区域以及具有全局信息的长期依赖性。Lin等提出了一种自适应的注 意力网络(AANET)，该方法首先利用可变形ResNet处理适应COVID
‑
19射线特征的多样性，其次通过自我注意机制对非局部交互进行建模，学习丰富的上下文信息来检测 形状复杂的病变区域，有效地提高了识别效率。Aboutalebi等提出一种多尺度编码器
‑ꢀ
解码器自我注意机制(MEDUSA)用于解决图像外观的重叠问题，通过向局部注意提供 全局远程空间上下文，提高了自我注意模块的建模能力，并使它们能够在不同尺度上提 高选择性注意，该方法在多个
数据集上获得了较好的性能。公开号为CN114331849A的现有专利文献《一种跨模态核磁共振超分网络及图像超分辨率方法》通过引入T1WI核磁共振图像作为辅助信息重建高分辨率T2WI图像，实现不同模态之间的信息交流与互补。将T2WI模态图像的低高频信息重建任务分而治之，利用卷积的局部感知特性及可变形网络的全局感知特性来感知特征，但该现有文献中披露的技术方案中对图像数据处理得到的图像特征缺乏全局依赖，图像数据的特征的表达能力较低，且特征之间位置的相关性较弱。
[0006]现有技术存在梯度消失、网络退化、算法复杂度较高、特征相关性弱以及分类有效性较低的技术问题。

技术实现思路

[0007]本专利技术所要解决的技术问题在于：如何解决现有技术中梯度消失、网络退化、算法复杂度较高、特征相关性弱以及分类有效性较低的技术问题。
[0008]本专利技术是采用以下技术方案解决上述技术问题的：基于残差卷积与多头自注意力的CXR图像分类方法包括：
[0009]S1、预处理胸部CXR图像以得到预处理CXR图像，在预置MSARC
‑
Net模型的初始阶段Stage0，将预处理CXR图像依次经过预置卷积、BN层、RELU激活函数以及MaxPooling层，据以得到预设形状特征图，其中，预置MSARC
‑
Net模型包括：初始阶段Stage0、第一阶段Stage1、第二阶段Stage2、第三阶段Stage3及第四阶段Stage4；
[0010]S2、在第一阶段Stage1及第二阶段Stage2中，将预设形状特征图输入至轻量型残差卷积L
‑
RConv模块，据以处理得到残差卷积特征图，其中，轻量型残差卷积L
‑
RConv模块采用ResNet50网络中的bottleneckresidualblock结构，轻量型残差卷积L
‑
RConv模块包括第一残差卷积网络ConvBlock及第二残差卷积网络IdentityBlock；
[0011]第一阶段Stage1中依次设置第一残差卷积网络ConvBlock及不少于2个的第二残差卷积网络IdentityBlock，第二阶段Stage2中依次设置第一残差卷积网络ConvBlock、不少于2个的第二残差卷积网络IdentityBlock，步骤S2包括：
[0012]S21、当步长为1时，利用第一残差卷积网络ConvBlock对预设形状特征图进行降维，以得到降维特征图；
[0013]S22、当步长为2时，利用第一残差卷积网络ConvBlock执行下采样操作，以增加感受野，并获取下采样特征图，将下采样特征图与预置滤波器进行卷积，以输出新张量，堆叠处理每个通道的新张量，逐点卷积深层输出特征，以对下采样特征图进行线性叠加；
[0014]S23、当预置形状特征图的输入维度不等于输出维度时，以第一残差卷积网络ConvBlock通过一个1
×
1的卷积及BN层进行维度变换，使得预置形状特征图的最终维度相等；
[0015]S24、当输入维度等于输出维度时，以第二残差卷积网络IdentityBlock串联学习预设形状特征图的特征信息，经第一阶段Stage1及第二阶段Stage2中轻量型残差卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于残差卷积与多头自注意力的CXR图像分类方法，其特征在于，所述方法包括：S1、预处理胸部CXR图像以得到预处理CXR图像，在预置MSARC
‑
Net模型的初始阶段Stage0，将所述预处理CXR图像依次经过预置卷积、BN层、RELU激活函数以及MaxPooling层，据以得到预设形状特征图，其中，所述预置MSARC
‑
Net模型包括：所述初始阶段Stage0、第一阶段Stage1、第二阶段Stage2、第三阶段Stage3及第四阶段Stage4；S2、在所述第一阶段Stage1及所述第二阶段Stage2中，将所述预设形状特征图输入至轻量型残差卷积L
‑
RConv模块，据以处理得到残差卷积特征图，其中，所述轻量型残差卷积L
‑
RConv模块采用ResNet50网络中的bottleneck residual block结构，所述轻量型残差卷积L
‑
RConv模块包括：第一残差卷积网络Conv Block及第二残差卷积网络Identity Block；所述第一阶段Stage1中依次设置所述第一残差卷积网络Conv Block及不少于2个的所述第二残差卷积网络Identity Block，所述第二阶段Stage2中依次设置所述第一残差卷积网络Conv Block、不少于2个的所述第二残差卷积网络Identity Block，所述步骤S2包括：S21、当步长为1时，利用所述第一残差卷积网络Conv Block对所述预设形状特征图进行降维，以得到降维特征图；S22、当步长为2时，利用所述第一残差卷积网络Conv Block执行下采样操作，以增加感受野，并获取下采样特征图，将所述下采样特征图与预置滤波器进行卷积，以输出新张量，堆叠处理每个通道的所述新张量，逐点卷积深层输出特征，以对所述下采样特征图进行线性叠加；S23、当所述预置形状特征图的输入维度不等于输出维度时，以所述第一残差卷积网络Conv Block通过一个1
×
1的卷积及BN层进行维度变换，使得所述预置形状特征图的最终维度相等；S24、当输入维度等于输出维度时，以所述第二残差卷积网络Identity Block串联学习所述预设形状特征图的特征信息，经所述第一阶段Stage1及所述第二阶段Stage2中所述轻量型残差卷积L
‑
RConv模块的处理，得到所述残差卷积特征图；S3、所述第二阶段Stage2的所述轻量型残差卷积L
‑
RConv模块后设置一个多头自注意力MSAs模块，以将所述残差卷积特征图输入至多头自注意力MSAs模块，利用Transformer对所述残差卷积特征图进行多头自注意力学习，以获取所述残差卷积特征图中的全局信息，据以建立特征长距离依赖关系，根据所述特征长距离依赖关系融合所述所述残差卷积特征图中的局部特征与全局特征，以得到融合特征，所述步骤S3包括：S31、同时并行运行k个SA操作，采用缩放点乘积注意力进行特征向量之间的相似度计算，以在所述特征向量之间建立长距离依赖关系；S32、以所述多头自注意力MSAs模块连接k个单头自注意力，其中，所述第三阶段Stage3中包括：不少于2个的所述轻量型残差卷积L
‑
RConv模块及不少于2个的所述多头自注意力MSAs模块，所述第四阶段Stage4中包括：不少于2个的所述轻量型残差卷积L
‑
RConv模块及不少于2个的所述多头自注意力MSAs模块，依次利用所述第二阶段Stage2的所述多头自注意力MSAs模块、所述第三阶段Stage3及所述所述第四阶段Stage4处理获取所述融合特征；S4、采用全局平均池化GAP整合所述融合特征中的全局空间信息；S5、利用所述全局空间信息，通过多层感知机MLP进行图像分类，以得到类别置信图，据以得到胸部图像处理结果，将所述下采样特征图与预置滤波器进行卷积，以输出新张量，堆
叠处理每个通道的张量进行堆叠，逐点卷积深层输出特征，以进行线性叠加；S6、利用Grad
‑
CAM对所述预置MSARC
‑
Net模型的所述胸部图像处理结果进行可视化，采用类激活热力图展示所述胸部CXR图像中的像素位置敏感数据，据以判定获取胸片识别分类数据。2.根据权利要求1所述的基于残差卷积与多头自注意力的CXR图像分类方法，其特征在于，所述步骤S23中，所述第一残差卷积网络ConvBlock的计算逻辑包括：H(x)＝F(x)+x。3.根据权利要求1所述的基于残差卷积与多头自注意力的CXR图像分类方法，其特征在于，所述步骤S24中，所述第二残差卷积网络Identity Block的计算逻辑包括：H(x)＝F(x)+G(x)。4.根据权利要求1所述的基于残差卷积与多头自注意力的CXR图像分类方法，其特征在于，所述步骤S24还包括：S241、令输入特征图为x，令Identity Block左侧的3个卷积块、所述BN层及所述RELU为F(x)，据以处理得到第一残差卷积处理结果及第二残差卷积处理结果；S242、将所述第一残差卷积处理结果及所述第二残差卷积处理结果相加，经过1个所述RELU激活函数处理，以得到输出特征图。5.根据权利要求1所述的基于残差卷积与多头自注意力的CXR图像分类方法，其特征在于，所述步骤S24中，所述第一残差卷积网络Conv Block的右侧加设一1
×
1卷积层G(x)，据以调整匹配输入维度与输出维度的差异性；在所述第一阶段Stage1中依次设置1个所述第一残差卷积网络Conv Block及2个所述第二残差卷积网络Identity Block；在所述第二阶段Stage2中依次设置1个所述第一残差卷积网络Conv Block、2个所述第二残差卷积网络Identity Block以及1个所述多头自注意力MSAs模块。6.根据权利要求1所述的基于残差卷积与多头自注意力的CXR图像分类方法，其特征在于，所述步骤S31中，利用下述逻辑，采用缩放点乘积注意力进行向量之间的相似度计算，以在特征向量之间建立长距离依赖关系：式中，X表示输入序列，SA(
×
)表示SA操作，d表示头部的维度；所述第三阶段Stage3及所述第四阶段Stage4中，在第一层设置1个所述第一残差卷积网络Conv Block，其后依次交叠设置不少于2个的所述多头自注...

【专利技术属性】
技术研发人员：陈辉，张甜，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：