基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法技术

本发明专利技术公开了一种基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，包括对数据集中的图像数据进行预处理，然后将预处理后的数据集划分为训练集、验证集和测试集；建立具有自适应卷积与Transformer混合结构的低剂量CT图像恢复网络，用于低剂量CT图像的恢复；利用训练集对恢复网络进行训练，并在训练过程中使用验证集来防止网络过拟合，根据在训练过程中验证集的表现与所选用的复合损失函数的指标情况，实时调整恢复网络的参数，得到训练好的恢复网络；再将测试集输入到训练好的恢复网络中，得到恢复后的图像。本发明专利技术有效地实现了低剂量CT图像的去噪。明有效地实现了低剂量CT图像的去噪。明有效地实现了低剂量CT图像的去噪。

【技术实现步骤摘要】
基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法


[0001]本专利技术属于医疗图像处理领域，具体是一种基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法。

技术介绍

[0002]计算机断层扫描（Computed Tomography，CT）技术能够无侵入的对人体特定部位进行快速精准扫描而被广泛应用于医疗诊断、图像引导手术和放射治疗。如今，低剂量已经逐渐成为CT设备研发的一项重要参考指标，然而辐射剂量的降低常常会产生大量噪声，导致CT成像质量的严重下降，内部组织结构难以判别。
[0003]对于如何提高低剂量CT（Low
‑
dose CT，LDCT）图像质量的问题，现有的方法主要有：投影域滤波算法、迭代重建算法和后处理方法，现有研究大多集中在图像后处理方法。近年来，随着神经网络和深度学习在图像处理领域的快速发展，卷积神经网络被应用于低剂量CT的后处理中。采用深度卷积神经网络结构，将低剂量CT图像映射到相应的正常剂量CT（Normal
‑
Dose CT，NDCT）图像，与传统方法相比，在视觉效果与评价指标上都显示出了比传统算法更好的结果。因此基于深度学习的低剂量CT图像恢复算法研究被越来越多地应用于CT图像恢复任务中。
[0004]一方面，现阶段研究方法大多基于CNN卷积神经网络，例如文献《A Low
‑
Dose CT Image Denoising Method Combining Multistage Network and Edge Protection》中将边缘保护与多阶段网络相结合构建了一种新型的多阶段网络用于低剂量CT图像恢复。但这一类方法侧重于网络结构的精细化设计，虽然与传统方法相比较，去噪效果以及性能有了明显的提高，但基本的卷积层也有其局限性：首先，卷积操作过于关注局部特征，对于捕获长程相关性是不够有效的；其次，对于图像的不同部位，使用相同的卷积核来恢复图像可能会损失CT图像的细节，导致恢复图像效果不理想。

技术实现思路

[0005]针对现有技术的不足，本专利技术拟解决的技术问题是，提供一种基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法。
[0006]本专利技术解决所述技术问题的技术方案是，提供一种基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，该恢复方法包括以下步骤：步骤1、对数据集中的图像数据进行预处理，然后将预处理后的数据集划分为训练集、验证集和测试集；步骤2、建立具有自适应卷积与Transformer混合结构的低剂量CT图像恢复网络，用于低剂量CT图像的恢复；所述恢复网络包括由前至后的一个图像特征提取模块、N个编码Transformer模块、N个解码Transformer模块和一个图像重建模块；每个编码Transformer模块和解码
Transformer模块均由两层串联的Transformer layer组成；每层Transformer layer均包括由前至后的一个W
‑
MSA运算或SW
‑
MSA运算以及一个NFE模块；NFE模块包括由前至后的全连接层、深度卷积层、线性变换层和逐像素卷积层；相邻两层Transformer layer中分别使用W
‑
MSA运算和SW
‑
MSA运算；W
‑
MSA运算采用将特征图均等划分窗口的窗口划分方式，并在窗口内部进行注意力运算；SW
‑
MSA运算采用将特征图沿中心点方向移动1/2个窗口单位，再与固定的窗口重叠的窗口划分方式，并在窗口内部进行注意力运算；步骤3、利用训练集对恢复网络进行训练，并在训练过程中使用验证集来防止网络过拟合，根据在训练过程中验证集的表现与所选用的复合损失函数的指标情况，实时调整恢复网络的参数，得到训练好的恢复网络；再将测试集输入到训练好的恢复网络中，得到恢复后的图像。
[0007]与现有技术相比，本专利技术的有益效果在于：（1）本专利技术将CNN、Transformer的混合编解码结构与W
‑
MSA/SW
‑
MSA机制相结合，构建了一种CNN
‑
Transformer的混合网络用于图像恢复，有效地利用CNN和Transformer在提取特征方面的各自优势，将卷积提取的局部特征引入到Transformer中并与Transformer提取的深层特征连接，确保Transformer模块关注全局信息，以全分辨率处理输入图像的特征，避免上下采样可能会造成的信息损失，有效地实现了高分辨率低剂量CT图像的去噪。
[0008]（2）本专利技术在相邻两层Transfomer layer中交替使用两种不同窗口划分方式，并分别采用W
‑
MSA与SW
‑
MSA运算，将W
‑
MSA和SW
‑
MSA运算结合，得到了W
‑
MSA/SW
‑
MSA机制，并通过划分非重叠窗口的方式来计算MSA，避免计算量与输入低剂量CT图像的高度宽度成二次关系，同时有效地获得图像的整个窗口之间的信息交互，避免静止窗口可能导致的信息浪费，大大降低了计算量。
[0009]（3）本专利技术使用基于多维度卷积的NFE模块。采用深度卷积与逐像素卷积相结合的方式，使用通道方向的深度卷积来提供局部上下文信息的通道级像素聚合，将局部信息作为补充引入到Transformer layer的全局操作层面中，并在引入MSA全局权值后使用像素级卷积来对输出特征提供跨通道的像素级的信息聚合，分别提取通道级与像素级的特征，在深度方向和空间维度上细化卷积，建立像素空间和通道位置之间的信息交互，增强局部信息在Transformer结构中的表达，避免MLP可能会带来的信息损失，提升恢复图像的细粒度。
[0010]（4）本专利技术使用了MSE loss和Edge loss组合而成的复合损失函数，约束神经网络在兼顾于去噪性能的同时关注于低剂量CT图像中的边缘细节，从而达到一定的保护边缘的效果，避免单一的MSE损失函数会造成图像过于平滑的问题。
[0011]（5）本专利技术对恢复网络进行了验证和评估，并进行了消融实验。结果显示该网络能够有效的对低剂量CT图像进行去噪，并能够较清晰的保留图像中各组织结构的细节信息。
附图说明
[0012]图1为本专利技术的方法整体流程图；图2为本专利技术的恢复网络的结构示意图；图3为本专利技术的W
‑
MSA/SW
‑
MSA过程示意图；图4为本专利技术的NFE模块的结构示意图；
attention，移位窗口
‑
多头自注意力）运算来实现W
‑
MSA/SW
‑
MSA（Window/ShiftedWindow
‑
Multiheadselfattention，窗口/移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，该恢复方法包括以下步骤：步骤1、对数据集中的图像数据进行预处理，然后将预处理后的数据集划分为训练集、验证集和测试集；步骤2、建立具有自适应卷积与Transformer混合结构的低剂量CT图像恢复网络，用于低剂量CT图像的恢复；所述恢复网络包括由前至后的一个图像特征提取模块、N个编码Transformer模块、N个解码Transformer模块和一个图像重建模块；每个编码Transformer模块和解码Transformer模块均由两层串联的Transformer layer组成；每层Transformer layer均包括由前至后的一个W
‑
MSA运算或SW
‑
MSA运算以及一个NFE模块；NFE模块包括由前至后的全连接层、深度卷积层、线性变换层和逐像素卷积层；相邻两层Transformer layer中分别使用W
‑
MSA运算和SW
‑
MSA运算；W
‑
MSA运算采用将特征图均等划分窗口的窗口划分方式，并在窗口内部进行注意力运算；SW
‑
MSA运算采用将特征图沿中心点方向移动1/2个窗口单位，再与固定的窗口重叠的窗口划分方式，并在窗口内部进行注意力运算；步骤3、利用训练集对恢复网络进行训练，并在训练过程中使用验证集来防止网络过拟合，根据在训练过程中验证集的表现与所选用的复合损失函数的指标情况，实时调整恢复网络的参数，得到训练好的恢复网络；再将测试集输入到训练好的恢复网络中，得到恢复后的图像。2.根据权利要求1所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤1中的预处理的具体步骤如下：S11、加载数据集中的所有图像数据对，再从图像数据对中提取出各自对应的HU像素值；所述图像数据对由低剂量CT图像X和与之对应的正常剂量CT图像Y构成；正常剂量CT图像作为标签；S12、将图像数据对中的图像中超出圆柱形边界的HU像素值设置为0，对应于空气的HU像素值，得到图像中剩余人体组织的HU像素值；S13、将剩余人体组织的HU像素值进行图像单位线性校准，获取校准后的实际图像数据值；S14、将校准后的实际图像数据值截取至观察脏器所需的窗位，小于下限的数据值赋值为下限，大于上限的数据值赋值为上限；然后再对截取后的实际图像数据值进行归一化，再将归一化后的图像数据对进行存储，得到预处理后的数据集。3.根据权利要求1所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤2中，低剂量CT图像的恢复过程是的逆映射，图像恢复的目标是寻找将低剂量CT图像X映射到正常剂量CT图像Y的函数F，使得代价函数最小化；其中，表示去噪过程；F为的最佳近似值，该恢复过程由恢复网络实现。4.根据权利要求1所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢
复方法，其特征在于，步骤2中，相邻两层Transformerlayer的运算过程如式（1）所示：（1）式（1）中，、、分别表示窗口注意力机制过程、位移窗口注意力机制过程与NFE过程；X
F
表示多维通道特征；表示第j层Transformerlayer的输入特征；H、W分别为宽度、高度；M表示窗口的大小；表示第j层经过W
‑
MSA运算的输出特征；为第j层的注意力权值；表示第j层Transformerlayer的输出；表示第j+1层经过SW
‑
MSA运算的输出特征；为第j+1层的注意力权值；表示第j+1层Transformerlayer的输出；k为W
‑
MSA运算和SW
‑
MSA运算的注意力头的数量；每个注意力头对应的维度为d
k
=C/k，其中C为隐藏通道数，分别表示第k个头的query、key和value的投影矩阵。5.根据权利要求4所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤2中，NFE模块的具体计算过程是：形状为HW
×
C
in
的输入特征或首先通过全连接层，将输入通道C
in
映射到隐藏通道C中；再通过激活函数层和重整形将形状为HW
×
C的展平特征扩展成形状为的特征图，其中h
’
=sqrt（HW），H、W分别为宽度、高度，R为特征空间的维度；再依据隐藏通道C进行通道深度方向的卷积，获得局部特征；再通过线性变换层、激活函数层以及重整形恢复整形到展平特征，将特征维度恢复成m∈R
HW
×
C
；再将经过W
‑
MSA运算或SW
‑
MSA运算后的注意力权值与展平特征进行残差连接；再对残差连接的结果使用逐像素卷积来获得同时具有全局高维信息与局部低秩信息的输出。6.根据权利要求1所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤2中，图像特征提取模块由至少三个卷积层构成；每个卷积层的卷积核大小为3
×
3、步长为1；图像重建模块由至少三个反卷积层构成，反卷积层的数量与图像特征提取模块的卷积层数量相同；每个反卷积层的卷积核大小为3
×
3、步长为1。
7.根据权利要求1所述的基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，其特征在于，步骤2中，低剂量CT图像的恢复过程是：低剂量CT图像X首先通过图像特征提取模块处理成多维通道特征X
F
；再通过编码Transformer模块进行编码处理，然后通过解码Transformer模块进行解码处理；然后将多维通道特征X
F
与解码Transformer模块的输出采用残差学习方式进行连接，将叠加过残差特征的结果作为解码Transformer模块的最终输出X
DO
，再经过图像重建模...

【专利技术属性】
技术研发人员：张男男，周峰，郭志涛，李晓增，杨济恺，袁萍修，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：