一种基于生成对抗网络的胸部X光片超分辨率和去噪方法技术

本发明专利技术公开了一种基于生成对抗网络的胸部X光片超分辨率和去噪方法，包括：(1)收集胸部X光片，进行预处理后构建训练集；(2)构建胸部X光片的生成对抗网络；所述的生成对抗网络包括生成器、判别器、VGG16网络；(3)采用训练集对生成对抗网络进行训练，得到训练完成的生成对抗网络模型；(4)将含有噪声且需要超分辨率的待处理胸部X光片进行预处理后，作为所述生成对抗网络模型的生成器的输入，生成去除噪声并且分辨率加倍的超分辨率图片，完成对待处理胸部X光片的超分辨率和去噪处理。本发明专利技术的方法可以在最大程度上保留医学图像细节纹理的同时对图片进行超分辨率和去噪处理。同时对图片进行超分辨率和去噪处理。同时对图片进行超分辨率和去噪处理。

【技术实现步骤摘要】
一种基于生成对抗网络的胸部X光片超分辨率和去噪方法


[0001]本专利技术属于图像超分辨率和去噪领域技术，尤其涉及一种基于生成对抗网络的胸部X光片超分辨率和去噪方法。

技术介绍

[0002]胸部X光片(Chest X-ray)是一种价格低廉，并且快速易得的医学影像技术。相较于计算机断层扫描技术(Computer Tomography，CT)，传统的胸部X光片不仅价格便宜，并且辐射量低，现在医学研究表明，有1.5％～2％的肿瘤可能是由高剂量CT辐射导致。特别是在诸如肺炎、气胸、心力衰竭、骨折等疾病的早期诊断上，X射线都有较为广泛的应用。
[0003]虽然胸部X光片在医疗检查中起到越来越重要的作用，但是胸部X光片在生成过程中，不仅会收到各种类型和程度的噪声影响，并且还存在伪影。这不但会降低筛选出疾病的概率，并且还会一定程度上干扰医生对疾病的诊断和分析。因此对胸部X光片进行去噪和超分辨率就具有十分重要的意义，此外，在生成图像的过程中会一定程度上降低原始图像的质量，这可能导致人或机器做出错误的决策。
[0004]在近几年的研究以及专利技术专利中，图像复原技术主要有两种：基于传统的数字图像处理方法以及深度学习方法。其中离散小波是传统方法之一，小波分解与重构方法的主要优点是算法简单、计算速度快，但是对于不同的噪声参数和不同的噪声类型的鲁棒性很差；双边滤波器也是基于传统方法的图像复原技术之一，相比于上者，提高了对于去除高斯白噪声能力，但对于图像的高频边缘部分去噪效果不明显；还有利用剪切变换、曲波变换和离散余弦非局部图像的去噪方法，但是不能有效去除医学图像中的噪声伪影；非局部均值正则化方法是现在主流的去噪方法之一，可以显著提高低质量医学图片的质量；块匹配和三维变换域协同滤波(BM3D)方法，通过将相似的2D图像片段分组到3D数据阵列中，在有效抑制噪声伪影同时进一步减少了时间，但也会造成图像细节纹理的丢失。
[0005]随着深度学习的发展，深度学习技术在数字图像和计算机视觉应用越来越广泛，其中去噪自编码器和卷积去噪网络在医学图像的去噪得到了广泛的应用，这种模型的特点是通过训练大量数据进而学习到图像中的噪声分布，但模型对不同噪声效果的鲁棒性不同，测试去噪效果也不同；自从2014年GAN(Generative Adversarial Network)的提出，GAN在生成清晰图片上面展现出了强大的能力，甚至在最近的研究中可以生成1024
×
1024的高分辨率图片。

技术实现思路

[0006]本专利技术提供了一种基于生成对抗网络的胸部X光片超分辨率和去噪方法，训练一个生成网络可以在最大程度上保留医学图像细节纹理的同时对图片进行超分辨率和去噪处理。
[0007]本专利技术的技术方案如下：
[0008]一种基于生成对抗网络的胸部X光片超分辨率和去噪方法，包括以下步骤：
[0009](1)收集胸部X光片，进行预处理后构建训练集；所述的胸部X光片包括清晰高分辨率图片和对应的低分辨率含噪声图片；
[0010](2)构建胸部X光片的生成对抗网络；所述的生成对抗网络包括：
[0011]生成器，根据输入生成虚假(Fake)图片，所述的虚假图片为去除噪声并且分辨率加倍的超分辨率图片；
[0012]判别器，用于判别所述的训练集中的清晰高分辨率图片与生成器生成的虚假图片；
[0013]VGG16网络，用于构建感知损失函数正则项；
[0014](3)将所述训练集中的低分辨率含噪声图片作为输入，对构建的生成对抗网络进行训练；在训练过程中生成器不断生成虚假图片，将生成的虚假图片和所述训练集中的清晰高分辨率图片不断在判别器中进行对抗，最终直至生成对抗网络收敛且判别器分辨不出虚假图片和清晰高分辨率图片，得到训练完成的生成对抗网络模型(X-Ray Super-Resolution And Denoising Using Generative Adversarial Network：X-SDGan)；
[0015](4)将含有噪声且需要超分辨率的待处理胸部X光片进行预处理后，作为所述生成对抗网络模型的生成器的输入，生成去除噪声并且分辨率加倍的超分辨率图片，完成对待处理胸部X光片的超分辨率和去噪处理。
[0016]所述的预处理包括对胸部X光片进行旋转、缩放以及归一化。
[0017]所述的生成器包括：
[0018]多尺度浅层纹理特征提取模块，包括卷积层和激活函数层，用于抓取图片的浅层纹理特征，并将浅层纹理特征输出至深层纹理特征提取及噪声消除模块；
[0019]深层纹理特征提取及噪声消除模块，由稠密网络块组成，所述稠密网络块包括卷积层和激活函数层，用于提取图像深层纹理特征并消除噪声；
[0020]超分辨率模块，由上采样块组成，所述上采样块包括卷积层、反卷积层以及激活函数层，用于上采样并扩大图片的分辨率。
[0021]多尺度浅层特征提取模块通过使用三种不同尺寸大小的卷积核对输入图像进行卷积操作，三种不同尺寸大小的卷积核大小分别为(1
×
1)、(3
×
3)和(5
×
5)，由于卷积核不同的大小有不同的感受野，可以更好的提取浅层特征的图像纹理细节。其中(1
×
1)卷积核的卷积步长为1，填充为0，输出通道为64；(3
×
3)卷积核的卷积步长为1，填充为1，输出通道为64；(5
×
5)卷积核的卷积步长为1，填充为2，输出通道为64；这样设置的好处是不会改变输入图片的尺寸大小。其中为了减少大卷积计算量，分别在(3
×
3)和(5
×
5)的卷积前加上(1
×
1)的卷积，最后将三个卷积所提取的图像信息通过特征融合方式concat在一起。
[0022]深层纹理特征及噪声消除模块由6个稠密网络块组成，6个稠密网络块依次连接并将每个稠密网络块输出的结果都乘一个残差系数；每个稠密网络块由5部分组成，前4部分由(3
×
3)的卷积层和PRelu激活函数组成，其中(3
×
3)的卷积步长为1，填充为1，输出通道为64；第5部分由(3
×
3)的卷积组成，无激活函数，卷积步长为1，填充为1，输出通道为64。最后将每一层的输出与后面的所有输出相连接即每个层都会接受其前面所有层作为额外的输出。优选将残差系数设置为0.2。
[0023]超分辨率模块由3个Up模块和2个Down模块组成，各个模块采用交叉连接的方式连接。其中Up模块分别在头部，中部，尾部，再将Up模块的输入与下一个Up模块的输入连接；
Down模块也同样采取这种连接方式。每个Up模块内部由4部分组成：分别为2个卷积块和2个反卷积块，连接方式同样是交叉连接的方式，并将卷积块的输出与下一个卷积块的输出相减；反卷积块的输出与下一个反卷积块的输出相加。Down模块内部由3个卷积块和一个反卷积块组成，以(卷积—卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的胸部X光片超分辨率和去噪方法，其特征在于，包括以下步骤：(1)收集胸部X光片，进行预处理后构建训练集；所述的胸部X光片包括清晰高分辨率图片和对应的低分辨率含噪声图片；(2)构建胸部X光片的生成对抗网络；所述的生成对抗网络包括：生成器，根据输入生成虚假图片，所述的虚假图片为去除噪声并且分辨率加倍的超分辨率图片；判别器，用于判别所述的训练集中的清晰高分辨率图片与生成器生成的虚假图片；VGG16网络，用于构建感知损失函数正则项；(3)将所述训练集中的低分辨率含噪声图片作为输入，对构建的生成对抗网络进行训练；在训练过程中生成器不断生成虚假图片，将生成的虚假图片和所述训练集中的清晰高分辨率图片不断在判别器中进行对抗，最终直至生成对抗网络收敛且判别器分辨不出虚假图片和清晰高分辨率图片，得到训练完成的生成对抗网络模型；(4)将含有噪声且需要超分辨率的待处理胸部X光片进行预处理后，作为所述生成对抗网络模型的生成器的输入，生成去除噪声并且分辨率加倍的超分辨率图片，完成对待处理胸部X光片的超分辨率和去噪处理。2.根据权利要求1所述的基于生成对抗网络的胸部X光片超分辨率和去噪方法，其特征在于，所述的预处理包括对胸部X光片进行旋转、缩放以及归一化。3.根据权利要求1所述的基于生成对抗网络的胸部X光片超分辨率和去噪方法，其特征在于，所述的生成器包括：多尺度浅层纹理特征提取模块，包括卷积层和激活函数层，用于抓取图片的浅层纹理特征，并将浅层纹理特征输出至深层纹理特征提取及噪声消除模块；深层纹理特征提取及噪声消除模块，由稠密网络块组成，所述稠密网络块包括卷积层和激活函数层，用于提取图像深层纹理特征并消除噪声；超分辨率模块，由上采样块组成，所述上采样块包括卷积层、反卷积层以及激活函数层，用于上采样并扩大图片的分辨率。4.根据权利要求3所述的基于生成对抗网络的胸部X光片超分辨率和去噪方法，其特征在于，多尺度浅层特征提取模块通过使用三种不同尺寸大小的卷积核对输入图像进行卷积操作，卷积核大小分别为(1
×
1)、(3
×
3)和(5
×
5)；其中(1
×
1)卷积核的卷积步长为1，填充为0，输出通道为64；(3
×
3)卷积核的卷积步长为1，填充为1，输出通道为64；(5
×
5)卷积核的卷积步长为1，填充为2，输出通道为64；最后将三个卷积核所提取的图像信息通过特征融合方式合并在一起；深层纹理特征及噪声消除模块由6个稠密网络块组成，6个稠密网络块依次连接并将每个稠密网络块输出的结果都乘一个残差系数；每个稠密网络块由5部分组成，前4部分由(3
×
3)的卷积层和PRelu激活函数组成，其中(3
×
3)的卷积步长为1，填充为1，输出通道为64；第5部分由(3
×
3)的卷积组成，卷积步长为1，填充为1，输出通道为64；最后将每一层的输出与后面的所有输出相连接即每个层都会接受其前面所有层作为额外的输出；超分辨率模块由3个Up模块和2个Down模块组成，其中Up模块分别在头部、中部、尾部，再将前一个Up模块的输入与下一个Up模块的输入连接，前一个Down模块的输入与下一个
Down模块的输入连接；每个Up模块内部由4部分组成：分别为2个卷积块和2个反卷积块，连接方式是交叉连接的方式，并将前一个卷积块的输出与下一个卷积块的输出相减，前一个反卷积块的输出与下一个反卷积块的输出相加；Down模块内部由3个卷积块和一个反卷积块组成，以卷积-卷积-反卷积-卷积的方式连接，并将第一个卷积的输出与反卷积...

【专利技术属性】
技术研发人员：金燕，姜智伟，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：