基于混合表征学习的低剂量CT图像去噪方法技术

本发明专利技术涉及一种基于混合表征学习的低剂量CT图像去噪方法。本发明专利技术使用编码器和解码器对称式结构，在每个编码器和解码器阶段，分别加入混合表征块，将卷积映射信息传递给自注意力模块，实现窗口内部和窗口间的信息交互，同时与Canny算子处理的图像增强信息进行拼接，最大程度的在不破坏原有部位局部信息的前提下更好的实现降噪功能。结合均方误差与基于Resnet的多尺度感知函数最终输出噪声图像与低剂量CT图进行残差处理，在保证去噪图像的去噪效果的同时还能保留有更多的细节纹理信息，提高低剂量CT图像的去噪效果。本发明专利技术能够较好的捕获全局信息和局部细节信息及解决边缘模糊问题，强化了CT图像的细节纹理。强化了CT图像的细节纹理。强化了CT图像的细节纹理。

【技术实现步骤摘要】
基于混合表征学习的低剂量CT图像去噪方法


[0001]本专利技术属于医学图像去噪
，涉及一种基于混合表征学习的低剂量CT图像去噪方法。

技术介绍

[0002]现代医疗诊断的手段发展迅速，其中最重要的工具之一是计算机断层扫描(CT)，它是一种可靠且无创的医学图像成像方式，有助于发现人体的病理异常，头颈部、心血管、胸部、腹部及盆部等疾病。除了诊断方面以外，CT在指导各种临床治疗方面也大有用处，如放射治疗和手术等。但反复的CT扫描过程中的X射线辐射可能对人体产生一定的危害，可能导致免疫功能下降、代谢异常、生殖器损伤，增加白血病、癌症、遗传疾病的风险。所以近几年越来越多的检查采用的低剂量CT(LDCT)的方法来进行。它主要是在保证CT图像质量能满足诊断需求的基础上，减少CT扫描中的x射线剂量。但这样会导致诸如噪声增加、边缘、角落和尖锐特征对比度降低以及图像过度平滑等问题。
[0003]近年来，关于LDCT的去噪问题开始了广泛的研究。这些方法可大致分类三类：1.基于滤波器的方法：在同一个图像中具有很多相似的图像块，可以通过非局部相似块堆叠的方式去除噪声，如基于非局部自相似的图像去噪(NLM)算法、基于块匹配的3D滤波(BM3D)算法、小波变换等。2.基于模型的方法：如：LNLTV算法。它是一种局部和非局部全变分复合正则化图像去噪模型,同时利用了图像局部结构和非局部相似性,将全变分(total variation,TV)模型和NLTV(nonlocal total variation)模型结合起来以减轻它们的缺点,并充分利用这两种模型的优点来对图像进行去噪处理。3.基于学习的方法：深度网络的方法的出现，比基于滤波、基于模型和传统的基于学习的方法获得了更有前景的去噪结果，现已成为主流方法。此方法侧重于学习有噪声图像到干净图像的潜在映射，由于CNN强大的特征学习能力和特征映射能力，基于CNN的LDCT图像去噪网络取得了很好的效果,但仍然存在去噪图像过度平滑而导致关键细节丢失从而影响病灶部位的正确分析的风险。VIT(vision transformer)通过全局自注意捕获数据中的长期依赖关系，成为了计算机视觉领域的又一大突破。
[0004]基于此，越来越多的transformer结构在图像领域出现，并取得了不错的效果，在医学图像去噪领域也是如此。最近也有许多研究在尝试用CNN与transformer融合，也取得了一定的效果。但两者的前后结合可能会存在参数权值共享所导致的部分信息不准确的情况。
[0005]因此，单纯的卷积神经网络在局部特征提取方面具有优势，而存在全局建模能力弱的问题。基于窗口的自注意力机制通过复杂的空间变换和长距离特征依赖性，构成了全局表示。但其可能忽略了局部特征细节。从而可能导致CT图像过度的平滑，细节纹理信息较少的情况，从而影响诊断。

技术实现思路

[0006]本专利技术目的在于提供一种基于混合表征学习的低剂量CT图像去噪方法；将CT图像先进行边缘强化处理，再利用深度卷积与局部窗口自注意进行交互，从而获取窗口内与窗内之间的CT图像信息，结合均方误差与基于Resnet的多尺度感知函数最终输出噪声图像与低剂量CT图进行残差处理，在保证去噪图像的去噪效果的同时还能保留有更多的细节纹理信息，提高低剂量CT图像的去噪效果。
[0007]使用编码器和解码器对称式结构，在每个编码器和解码器阶段，分别加入混合表征块Mixed Block，将卷积映射信息传递给自注意力模块，实现窗口内部和窗口间的信息交互，同时与Canny算子处理的图像增强信息进行拼接，最大程度的在不破坏原有部位局部信息的前提下更好的实现降噪功能。同时，通过跳跃连接，对每个输出解码块与其对应位置的输入编码块在通道上进行融合，通过底层信息与高层信息的融合，从而保留住更多的纹理细节。其次，还可以防止出现网络梯度消失的问题，提升训练速度。
[0008]本专利技术具体步骤如下：
[0009]步骤一、构建低剂量CT数据集：
[0010]挑选一定数量的患者，并选取其不同部位上的低剂量CT图像和其对应的正常剂量CT图像，插入泊松噪声直到接近全剂量下25％的噪声水平，组成CT图像数据集(x，y)。其中x为低剂量CT图像，而y为x对应的正常剂量CT图像。
[0011]步骤二、构建去噪网络模型：
[0012]基于混合表征块Mixed Block学习构建对称式编码
‑
解码网络模型，该网络模型包括预处理块(Pre
‑
processing)、输入映射块(Input Projection)、输入编码块(MED)、中间层混合表征块(Mixed Block)、输出解码块(MEU)和输出映射块(Output Projection)。
[0013]在图像预处理阶段，输入图像经过Canny算子滤波生成边缘特征增强的图像，该图像作为辅助信息流入后续网络块，以凸显图像边缘特征，增加模型的感受野。
[0014]考虑到直接将低剂量CT图像输入神经网络模型处理后会出现图像过度平滑、部分细节特征丢失等情况，设计了基于Canny算子的图像预处理层，以强化图像边缘特征。具体地，经过Canny算子滤波后的图像会直接拼接至输入映射块，编码块和解码块，作为辅助特征来实现图像去噪。
[0015]输入映射块包括多层感知机MLP，通过两层神经元将输入映射到固定维度，便于后续进行表征运算。
[0016]输入编码块包括输入混合表征块、边缘增强特征层、可分离卷积和下采样层；首先将输入映射块的输出作为查询集Query、键Key和值Value输入至混合表征块进行表征学习，并将Canny算子处理后的边缘增强特征图与表征结果进行级联后，通过一个可分离卷积，最后将其输入下采样层来实现输入模块的编码，其中下采样卷积核为3
×
3，步幅为2，填充为1。
[0017]中间层混合表征块包括窗口自注意力(WSA)和深度卷积(Dwconv)，窗口自注意力能够减少对于窗口外部的依赖，在高效计算的同时捕捉特征空间窗口内部的相关性。深度卷积则在不改变卷积通道数的前提下，对每个通道进行单独卷积操作以挖掘通道信息。
[0018]设计中间层混合表征块，通过通道层和空间层的双向交互，不仅解决了窗口自注意力机制存在感受野有限，同时也消除了深度卷积权值共享带来的不足，实现了窗口内部
和窗口间的纹理信息交互和信息增益，有效增墙了CT图像的全局建模能力。在实际配置中，注意力模块窗口尺寸为7
×
7，深度卷积的卷积核大小为3
×
3。
[0019]输出解码块MEU包括上采样层、边缘增强特征层、可分离卷积和输出混合表征块；首先经过卷积核为4
×
4，步幅为2的上采样操作。因为在反卷积过程中，如果卷积核大小不能被步长整除时，反卷积可能会出现棋盘效应。然后同样的拼接上由Canny算子处理过的边缘特征图像，通过一个可分离卷积，最后加上一个混合表征块Mixed Block来学习更多纹本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于混合表征学习的低剂量CT图像去噪方法，其特征在于：具体包括如下步骤：步骤一、构建低剂量CT数据集：挑选一定数量的患者，并选取其不同部位上的低剂量CT图像和其对应的正常剂量CT图像，插入泊松噪声直到接近全剂量下25％的噪声水平，组成CT图像数据集(x，y)；其中x为低剂量CT图像，而y为x对应的正常剂量CT图像；步骤二、构建去噪网络模型：基于混合表征学习构建对称式编码
‑
解码网络模型；该模型包括预处理块、输入映射块、输入编码块、中间层混合表征块、输出解码块和输出映射块；在图像预处理阶段，输入图像经过Canny算子滤波生成边缘特征增强的图像，该图像作为辅助信息流入后续网络块，以凸显图像边缘特征，增加模型的感受野；输入映射块包括多层感知机：通过两层神经元将输入映射到固定维度，便于后续进行表征运算；输入编码块包括输入混合表征块、边缘增强特征层、可分离卷积和下采样层：首先将输入映射块的输出作为查询集、键和值输入至混合表征块进行表征学习，并将Canny算子处理后的边缘增强特征图与表征结果进行级联后，通过一个可分离卷积，最后将其输入下采样层来实现输入模块的编码；中间层混合表征块包括窗口自注意力和深度卷积；窗口自注意力能够减少对于窗口外部的依赖，在高效计算的同时捕捉特征空间窗口内部的相关性；深度卷积则在不改变卷积通道数的前提下，对每个通道进行单独卷积操作以挖掘通道信息；设计中间层混合表征块，通过通道层和空间层的双向交互，不仅解决了窗口自注意力机制存在感受野有限，同时也消除了深度卷积权值共享带来的不足，实现了窗口内部和窗口间的纹理信息交互和信息增益，有效增强了CT图像的全局建模能力；输出解码块包括上采样层、边缘增强特征层、可分离卷积和输出混合表征块，首先经过上采样操作，然后同样的拼接上由Canny算子处理过的边缘特征图像，通过一个可分离卷积，最后加上一个混合表征块来学习更多纹理的特征知识；输入混合表征块、中间层混合表征块和输出混合表征块结构相同；在输入编码块与输出解码块之间采用跳跃连接，在对称式结构中，每个输出解码块与其对应位置的输入编码块在通道上进行融合，通过底层信息与高层信息的融合，从而保留住更多的纹理细节；其次，还能防止出现网络梯度消失的问题，加速网络训练；输出映射块包括一层MLP，将输出映射到1
×
H
×
W，还原原始图像大小；步骤三、数据增强：为进一步增加训练样本数量，对收集的数据集进行水平
‑
垂直翻转或随机裁剪构造更多数量的图像；步骤四、模型优化：采用两个损失函数进行模型优化，以进一步提升模型的性能；首先，使用均方误差MSE将误差收敛到最小值，该损失函数L1表达式为：L1是用于评估模型去噪后的图像与真实图像之间的像素级相似度，以及模型是否能够
准确还原原始图像；其中R(x
i
)表示低剂量噪声图像x
i
经过残差学习映射出的纯噪声图像；y
i
表示低剂量噪声图像x
i
对应的正常剂量的CT图像；其次，基于Resnet的多尺度感知函数用于实现低剂量图片与噪声图片的残差功能，该损失函数L2表达式为：损失函数L2用于评估模型预测的图像与真实图像之间的结构相似性；其中α是采用经典特征提取网络Resnet50作为特征提取器，是Resnet50在ImageNet数据集上在...

【专利技术属性】
技术研发人员：张聚，叶列立，王奔，叶智毅，龚伟伟，应长钢，
申请(专利权)人：杭州师范大学，
类型：发明
国别省市：