基于多尺度自注意力生成对抗网络的LDCT图像去噪方法技术

本发明专利技术涉及基于多尺度自注意力生成对抗网络的LDCT图像去噪方法。本发明专利技术通过构建训练所需的CT图像数据集；然后基于GAN框架构建去噪模型，构建基于Transformer的编码器

【技术实现步骤摘要】
基于多尺度自注意力生成对抗网络的LDCT图像去噪方法


[0001]本专利技术属于医学图像去噪
，涉及一种基于多尺度自注意力的生成对抗(GAN)LDCT图像去噪方法。

技术介绍

[0002]计算机断层扫描是一种可靠且无创的医学图像成像模式，有助于发现人体的病理异常，肿瘤、心血管疾病、肺结节、内伤和骨折等。除了诊断方面以外，CT在指导各种临床治疗方面也大有用处，如放射治疗和手术等。
[0003]然而反复的CT扫描过程中的X射线辐射可能对人体有害，可能导致免疫功能下降、代谢异常、生殖器损伤，增加白血病、癌症、遗传疾病的风险。所以需要尽可能降低X射线辐射剂量，同时还要保证CT图像质量满足诊断需求。然而，在进行CT扫描时，若穿透过病人到达探测器的光子不足，生成得CT图像就会产生严重的条纹伪影和散斑噪声，具体表现为或亮或暗的直线，这种情况在进行低剂量CT扫描时更为明显。CT图像的质量下降严重影响诊断的准确性，尤其是对小面积、形状细微的早期的病变的诊断。因此非常有必要对医学图像预处理中的去噪技术进行分析和研究，在尽可能低的辐射剂量下，对噪声区域和细微结构纹理进行准确的区分，并对噪声区域进行高效的去噪处理，从而获得与常规剂量CT图像(NDCT)质量相近的CT图像。
[0004]过去的几十年里，提出了很多低剂量CT(LDCT)恢复方法，这些传统方法可以分为三大类：正弦域滤波(sinogram domain filtering)、迭代重建(iterative reconstruction)和图像域恢复(image domain restoration)，这些传统的LDCT去噪算法对提高去噪图像的质量起到了重要的作用。随着深度学习的兴起，卷积神经网络(CNN)被广泛应用于图像去噪领域。由于CNN强大的特征学习能力和特征映射能力，基于CNN的LDCT图像去噪网络取得了很好的效果,但仍然存在去噪图像过度平滑而导致关键细节丢失或引入了新的噪声等问题。其中损失函数的选择对图像的去噪效果起到了决定性的作用。通过传统的像素级损失函数如均方误差(MSE)来计算生成的去噪图像与NDCT图像对应像素点误差的平方和的均值，旨在取可能输出的平均值来适应预测中的不确定性。因为LDCT图像中的噪声呈现出不同尺度、不同方向和不同密度分布等特征，所以通过这种方式训练生成的去噪图像通常会发生模糊、过度平滑、缺少纹理细节的问题。

技术实现思路

[0005]本专利技术目的在于提供一种基于多尺度自注意力生成对抗网络的LDCT图像去噪方法；利用生成对抗网络GAN的对抗性损失，在训练期间动态的测量去噪图像和正常剂量图像之间的相似性，结合均方误差和平均绝对误差(MAE)，保证去噪图像的去噪效果的同时还能保留有更多的结构和纹理信息，提高低剂量CT图像的去噪效果。
[0006]使用编码器
‑
解码器结构的生成器，构建了基于Transformer的局部增强的自注意力模块(Local enhanced Transformer，简称Leformer)来替代原有的卷积层；在保留
Transformer的多头注意力机制的同时，提出了一种局部增强模块，使得网络不仅能够学习全局信息也能捕获局部信息。
[0007]构建包含多尺度特征提取模块的判别器，通过提取图像相同尺度下的多尺度特征来扩展模块中的感受野。采用Canny边缘检测算法计算图像梯度，在图像梯度域中计算生成的去噪图像和常规剂量图像之间的平均绝对误差，结合生成对抗网络的对抗性损失和图像域的像素级损失，来增强去噪网络去除伪影和获取图像边缘信息的能力。
[0008]本专利技术具体步骤如下：
[0009]步骤一、构建低剂量CT图像配对数据集：
[0010]获取多组不同部位的常规剂量CT图像，将泊松噪声添加到每个图像中，模拟对应于常规剂量图像的低剂量CT图像；构建CT图像数据集(I
LD
,I
ND
)，其中I
LD
是低剂量CT图像，I
ND
是与低剂量图像匹配的常规剂量CT图像；
[0011]步骤二、构建低剂量CT图像去噪模型：
[0012]基于GAN框架构建去噪模型，即去噪模型包括生成器结构和判别器结构；通过生成器G将低剂量CT图像I
LD
映射到对应的常规剂量CT图像I
ND
，从而达到去除噪声的目的，即I
ND
≈I
gen
＝G(I
LD
)，I
gen
表示去噪后的图像。
[0013]步骤1、构建去噪模型生成器：
[0014]生成器为基于Transformer的编码器
‑
解码器结构；编码器包括一个词元化模块(Tokenization)、两个连续的Leformer模块加下采样层组合，解码器包括两个连续的上采样层加Leformer模块组合以及一个反词元化模块(DeTokenization)；编码器和解码器通过一个Leformer模块相连接；在编码器和解码器中相对应的Leformer模块之间存在跳跃连接，避免梯度消失问题同时，在解码器阶段可以保留更多的图像结构和纹理细节；
[0015]词元化模块将输入的CT图像拉伸为由n个一维的词元(Token)组成的词元序列：词元化模块将输入的CT图像拉伸为由n个一维的词元(Token)组成的词元序列：其中，n表示词元的个数，d
a
为每个词元的长度；
[0016]基于Transformer结构的Leformer模块不仅能学习全局信息，还拥有捕获局部信息的能力；Leformer模块有两个处理阶段：
[0017]在第一阶段，词元序列经过一个层归一化层(Layer Norm)后，进入多头自注意力模块(MSA)，输出具体来说，在多头自注意力模块中，词元序列T
a
乘以三种不同得权值矩阵W
Q
、W
K
、W
V
得到三类张量，分别称为Q、K、V，继而多头自注意力模块的输出表达式为：其中，MSA表示多头自注意力机制，为张量K的长度；
[0018]在第二阶段，词元序列经过一个层归一化层后进入局部增强模块(Local Enhance)中，首先使用一个线性投影层(MLP)增加其特征维数，接着使用反词元化模块将词元序列转换为二维特征图，然后使用连续的两个残差的3x3卷积加Leaky ReLU组合来获取二维特征中的局部信息，随后使用词元化模块将二维特征图还原为词元序列，最后使用一个线性投影层还原其特征维数，输出词元序列经过Leformer模块的表达式为：
[0019]T
′
b
＝MSA(LN(T
a
))+T
a
；T
b
＝LE(MLP(T
′
b
))+T
′
b
；
[0020]上式中，LN为层归一化层，LE表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度自注意力生成对抗网络的LDCT图像去噪方法，其特征在于：具体包括如下步骤：步骤一、构建低剂量CT图像配对数据集：获取多组不同部位的常规剂量CT图像，将泊松噪声添加到每个图像中，模拟对应于常规剂量图像的低剂量CT图像；构建CT图像数据集(I
LD
,I
ND
)，其中I
LD
是低剂量CT图像，I
ND
是与低剂量图像匹配的常规剂量CT图像；步骤二、构建低剂量CT图像去噪模型：基于GAN框架构建去噪模型，即去噪模型包括生成器和判别器；通过生成器G将低剂量CT图像I
LD
映射到对应的常规剂量CT图像I
ND
，得到去噪后的图像I
gen
；步骤1、构建去噪模型生成器：生成器为基于Transformer的编码器
‑
解码器结构：编码器包括一个词元化模块、两个连续的局部增强的自注意力模块加下采样层组合，解码器包括两个连续的上采样层加局部增强的自注意力模块组合以及一个反词元化模块，编码器和解码器通过一个局部增强的自注意力模块相连接；在编码器和解码器中相对应的局部增强的自注意力模块之间存在跳跃连接，避免梯度消失问题同时，在解码器阶段可以保留更多的图像结构和纹理细节；步骤2、构建去噪模型判别器：判别器包括三个模块：第一个模块为一个卷积核大小为3x3，步长为2的卷积层和一个批量归一化层以及一个Leaky ReLU激活函数，在减少网络的计算量的同时还起到了扩大感受野的作用；第二个模块为多尺度特征提取模块，通过提取图像相同尺度下的多尺度特征来扩展模块中的感受野，从而提高判别器的鉴别能力；第三个模块为1个卷积核大小为3x3，步长为1的卷积层和一个sigmoid激活函数；输出为判别器对输入图像真假的判断，判别器的输入图像越与常规剂量CT图像相似，则输出越接近于1；步骤三、数据预处理：将步骤一构建的数据集划分为训练集，验证集与测试集；将训练集和验证集的每组配对图像随机裁剪至设定大小的图像块，获取图像的局部信息并扩充样本量；步骤四、训练去噪模型并对模型进行优化：依照GAN框架的训练模式对去噪模型进行训练，将低剂量CT图像输入到生成器后得到生成的去噪图像，随后将常规剂量CT图像和去噪图像输入到判别器当中进行处理，最后输出对于去噪图像的真假判断，使用最小二乘损失函数来计算对抗性损失，去噪网络的生成器的损失函数表达式为：L
G
＝αL
gen
+βL
canny
+γL
pixel
；；；上式中，L
G
表示生成器G的整体损失函数，α、β、γ为超参数，分别表示L
gen
、L
canny
和L
pixel
的权重，通过调整其值来控制这三个损失函数的重要性；L
gen
表示生成器的损失函数，
表示一个数据批量中第i个由G生成的去噪图像；L
canny
表示由经Canny边缘检测算法处理后的梯度图像的L1损失函数，canny()为Canny边缘检测算法，表示一个数据批量中第i个常规剂量CT图像；L
pixel
表示与的MSE损失函数；去噪网络的判别器的损失函数上式中，L
D
表示判别器的损失函数，D为图像域判别器，表示一个数据批量中第i个常规剂量CT图像，为一个数据批量中第i个由G生成的去噪图像；使用Adam优化器来更新网络的权重参数，在训练过程中，生成器和判别器进行交替训练；针对训练过后的去噪模型采用客观标准与主观判断相...

【专利技术属性】
技术研发人员：张聚，龚伟伟，应长钢，上官之博，马栋，王奔，程芸，
申请(专利权)人：杭州师范大学，
类型：发明
国别省市：