一种基于生成对抗网络的太赫兹图像超分辨率重建方法技术

本发明专利技术属于深度学习图像处理领域，公开了一种基于生成对抗网络的太赫兹图像超分辨率重建方法，该方法主要包括下列步骤：首先通过一种空域及频域模拟退化图像处理方法建立太赫兹超分辨率图像数据集，利用数据集对多尺度超分辨率生成对抗网络MSISR

【技术实现步骤摘要】
一种基于生成对抗网络的太赫兹图像超分辨率重建方法


[0001]本专利技术属于太赫兹成像及其图像质量提升
，具体涉及一种基于生成对抗网络的太赫兹图像超分辨率重建方法。

技术介绍

[0002]太赫兹(Terahertz,THz)是指频率从100GHz至10000GHz(10THz)，相应波长从3mm到3μm，介于毫米波和红外光之间的区域的电磁波，其光子能量较低但却具备较高的穿透力。由于这个频段的电磁波位于宏观电子学至微观光子学过渡的区域，具有一些独有的特性。故太赫兹成像技术具有巨大前景，是研究的热点，其在无损检测、生物医学、安全检查等方面，太赫兹成像有着不可替代的优势。
[0003]然而太赫兹波图像存在着很多问题，造成成像结果并不理想。实际应用中，造成太赫兹图像结果不理想的原因有很多：首先是由于波源波动以及传感器噪声，造成其图像噪声非常复杂；其次是多路电磁波在探测器内发生相互干涉，造成图像存在条纹干扰和严重的伪影现象；还有波源功率较低，造成图像对比度低，图像颜色变化不明显，太赫兹相机分辨率低，造成太赫兹图像分辨率较低。
[0004]单图超分辨率(Single Image Super Resolution，SISR)算法，是指从低分辨率 (Low Resolution，LR)图像中恢复高分辨率(High Resolution，HR)图像的过程，同时细化图像细节，提升图像质量。
[0005]近年来，单图超分辨率方法也逐渐被应用于太赫兹图像超分辨率领域。然而，传统卷积神经网络由于网络层数较深，随着训练迭代次数的增多，会造成越发严重的过拟合现象，这一现象可能会加深伪影对图像的影响。此外，传统的深度学习超分方法的图像退化模型，采用高斯退化加降采样的方法得到低分辨率图像。然而，图像超分的预假设退化模型与真实图像的退化方式不匹配时，模型的性能会下降，甚至出现负面效果现象，因此在模拟数据集上训练的单张图像超分辨率(Single Image SuperResolution，SISR)算法在实际应用场景下往往效果不佳。

技术实现思路

[0006]本专利技术针对上述目前太赫兹图像分辨率较低的问题，提供了一种基于生成对抗网络的太赫兹图像超分辨率方法。首先利用开源图像数据库，通过空域频域模拟退化算法得到的太赫兹退化图像数据集。然后，基于小波自适应阈值去噪，双边滤波，形态学增强，以及其他预处理方法，对得到太赫兹图像进行噪声和边缘平滑处理。然后基于深度学习网络MSISR
‑
GAN(Multi
‑
Scale Improved SuperResolution
‑
Generative Adversarial Network)，结合太赫兹退化图像数据集，进行网络训练。最终实现结合太赫兹图像的多尺度特征，并进行图像超分辨率重建，提升图像的空间分辨率。经过超分的图像结果可应用于其他图像处理任务，例如图像分类、语义分割、目标检测等。
[0007]本专利技术可以在少量数据图像的情况下，实现太赫兹图像的多尺度特征融合，并进
行超分辨率重建，达到了比较好的效果。该方法同样可用于受电磁波干扰、噪声严重的其他成像图像的超分辨率问题。
[0008]本专利技术的目的主要由以下技术方案来实现：
[0009]S1：通过DF2K图像数据库建立高分辨率图像库，并将数据库图像分割成为 400x400的小图像，便于网络模型训练；
[0010]S2：使用基于空间域及时域退化模型的方法，对高分辨率图像进行模糊处理和噪声模拟。得到太赫兹成像过程中，由于波源波动干扰及传感器测量噪声引起退化的低分辨率图像；
[0011]S3：将上述经过空域退化的图像，转化为频域图像，并在频域的高频部分加入加性掩膜或者乘性掩膜，加性掩膜是指在图像特征频域同时加一定的幅值，乘性掩膜是指在图像特征频域同时乘一定的幅值。通过以上方法改变频域图像特征频率系数使之变大，进而得到含有条纹伪影的模拟太赫兹成像图像，保证在频域模拟图像退化；
[0012]S4：重复S2和S3操作对图像进行二阶退化，得到模拟太赫兹低分辨率图像。
[0013]S5：将S1和S4得到的高分辨率图像和低分辨率图像对应，建立模拟太赫兹图像数据集；
[0014]S6：设计MSISR
‑
GAN网络模型结构；
[0015]S7：利用S5得到的模拟太赫兹图像数据集，以及S6设计的MSISR
‑
GAN网络的生成器模型，将低分辨率图像作为输入，高分辨率图像作为标签图像。采用基于残差网络和多尺度结构块的超分辨率模型MSResnet训练迭代的epoch为1000 次得到生成对抗网络生成器的预训练模型；
[0016]S6：利用S5得到的预训练模型，将低分辨率图像作为输入，高分辨率图像作为标签图像，对超分辨率生成对抗网络MSISR
‑
GAN的生成器和判别器进行交叠训练，并选取每个epoch训练过程中，所有iteration最好的训练结果并保存模型，交叠训练过程的epoch设置为10000。使深度神经网络ISR
‑
GAN学习到低分辨率太赫兹图像和高分辨率太赫兹图像之间的映射关系；
[0017]S7：采集低分辨率太赫兹连续波图像；
[0018]S8：对于获取到的原始太赫兹低分辨率图像，通过图像预处理算法去除噪声和冗杂信息，平滑边缘，得到质量得到提升的太赫兹图像；
[0019]S9：将S8得到的超分辨率图像送入S6得到的网络中进行结果验证，并通过Set5， Set14，BSD300测试集对PSNR和SSIM两个有参评价指标进行模型评估；所述步骤S5，包括如下步骤：
[0020]S10：生成模型由三部分组成：浅层特征提取、高层次特征映射、超分辨率图像重建。
[0021]S11：在生成网络训练学习过程中，首先将未经处理的LR作为输入，经过一层使用带有ReLU激活函数的3
×
3卷积核提取浅层特征。
[0022]S11：将S10得到的结果输入由十六个MRDB模块堆叠而成的高层次特征映射，其中MRDB包含3个支路，分别由3x3，5x5，7x7的卷积核构成，每个支路包含两层卷积两层relu，并结合resnet对所有卷积层做连接。
[0023]S12：在重建部分，引入渐进式上采样的方式对高层次特征进行学习。使用亚像素
卷积组建上采样层，提升模型学习能力。
[0024]S13：判别模型设计了10层卷积层，前面8个卷积层用于提取特征，卷积核大小都为3
×
3，后面2个卷积层用于实现升维和降维，卷积核大小为1
×
1。判别得到的生成图像是否接近真实图像。
[0025]S14：MSISR
‑
GAN的损失函数由四部分组成，均方误差损失函数、对抗损失函数、内容损失函数、结构损失函数。
[0026]S15：均方误差损失函数(又称L2损失函数)，是计算高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的太赫兹图像超分辨率重建方法，其特征在于通过现有的开源图像数据库，训练多尺度超分辨率生成对抗网络模型MSISR
‑
GAN，实现对原始的低分辨率太赫兹图像进行超分辨率重建，主要包括以下步骤：S1.基于开源的图像数据库建立高分辨率图像库，采用空域及频域退化方法建立低分辨率图像数据库，将低、高分辨率图像一一对应得到太赫兹超分辨率图像训练集；S2.基于S1生成的太赫兹超分辨率图像训练集，对超分辨率生成对抗网络模型MSISR
‑
GAN的生成器进行预训练；S3.通过S2得到的预训练模型，对超分辨率生成对抗网络模型MSISR
‑
GAN的生成器和判别器进行交叠训练，并保存每个epoch中峰值信噪比最高的模型；S4.获取原始的太赫兹低分辨率图像；S5.对S4获取到的原始太赫兹低分辨率图像，采用图像预处理算法去除噪声和冗杂信息，并进行图像边缘平滑处理，得到质量提升的太赫兹图像；S6.将S5得到的预处理后太赫兹图像送入S3训练好的超分辨率生成对抗网络模型MSISR
‑
GAN，得到超分辨率太赫兹图像，并通过峰值信噪比PSNR和结构相似性SSIM两个有参评价指标进行图像重建效果的量化评估。2.如权利要求1所述的一种基于生成对抗网络的太赫兹图像超分辨率重建方法，其特征在于，所述步骤S1，建立太赫兹超分辨率图像训练集，具体包括如下步骤：S7：基于开源的图像数据库建立高分辨率图像库，并将数据库图像分割成为分辨率为X
×
Y的小图像，便于网络模型训练；S8：使用基于空间域及时域退化模型的方法，对高分辨率图像进行模糊处理和噪声模拟的退化处理，得到模拟太赫兹成像过程中由于波源波动干扰及传感器测量噪声引起的低分辨率图像；S9：将上述经过空域退化的图像，再转化为频域图像，并在频域的高频部分加入加性掩膜或者乘性掩膜，加性掩膜是指在图像特征频域同时加一定的幅值，乘性掩膜是指在图像特征频域同时乘一定的幅值。通过以上方法改变频域图像特征频率系数使之变大，进而得到含有条纹伪影的模拟太赫兹成像图像，保证在频域模拟图像退化；S10：重复S8和S9操作对图像进行二阶退化，得到模拟太赫兹低分辨率图像；S11：将S1和S4得到的高分辨率图像和低分辨率图像对应，建立模拟太赫兹图像数据集。...

【专利技术属性】
技术研发人员：赖大坤，侯钟伟，安红宇，番雄彬，茶兴增，高勇，李恩，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：