一种基于注意力机制的多感知特征图像超分辨率重建的深度学习算法制造技术

本发明专利技术涉及图像超分辨率重建技术领域，尤其为通过设计一种基于注意力机制的多感知特征图像超分辨率重建的深度学习算法，其步骤具体如下：步骤S1，数据构建、数据预处理；步骤S2，正负样本生成；步骤S3，多感知注意力网络，即Trans

【技术实现步骤摘要】
一种基于注意力机制的多感知特征图像超分辨率重建的深度学习算法


[0001]本专利技术涉及图像超分辨率重建
，具体为一种基于注意力机制的多感知特征图像超分辨率重建的深度学习算法。

技术介绍

[0002]近些年，基于卷积神经网络的图像超分辨率重建方法有了快速的发展，主要是依赖退化方法并在特定的场景下进行应用，在一些数据上取得了好的效果，但是在现实世界的低分辨率图像上特定场景的退化方法并不能得到精度高的高分辨率图像，出现这样的问题主要是退化内核是未知的。最近也有一些研究直接忽略特定退化过程和模式，直接设计超分模型从而获得精度更高的高分辨率图像，主要从浅层特征提取、非线性映射和重建三个方面出发，获得了不错的效果。这些方法忽略了多尺度浅层特征的特征交互，从不同感受野可以提取多尺度特征，更大的感受野涉及更多的功能交互，所以这些方法重建的结果还不够精细。
[0003]最近的研究表明，在低分辨率重建任务中仅仅使用图像重建损失可能不能有效地捕获图像细节，并可能导致恢复后的图像的颜色失真。为了解决这一问题，有些研究者利用教师学生网络将同一小批中的剩余样本作为负样本，将教师网络的输出作为正样本，构造对比损失。增加正负样本的监督能获得更高的重建精度，此外，多头注意力机制技术的从自然语言处理领域引入卷积神经网络也是大放异彩，将卷积神经网络的感受野扩大到整张图像的注意力上，结合UNet的分层跨越融合思想，能更加精细的重建出高分辨率的图像。
[0004]综上所述，本专利技术通过设计一种基于注意力机制的多感知特征图像超分辨率重建的深度学习算法，提取多层感知特征，并进行对比监督损失，最终得到高精度的高分辨率重建图像。

技术实现思路

[0005]针对现阶段图像超分辨率重建的现状，本专利技术的目的在于提供一种基于注意力机制的多感知特征图像超分辨率重建的深度学习算法，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：
[0007]一种基于注意力机制的多感知特征图像超分辨率重建的深度学习算法，其特征包括以下步骤：
[0008]步骤S1，数据构建、数据预处理：图像超分辨率重建的开源数据集主要是RealSR Dataset、DRealSR Dataset和RealBlur Dataset，如需在自己的数据集上进行训练，需要将数据格式准备为与上述三个数据集一致；
[0009]步骤S2，正负样本生成：针对图像超分辨率低分辨率图像对应多个高分辨率图像的现状，在监督损失时不仅仅是利用单一真实图像，而是需要生成多个正样本与负样本进行监督；
[0010]对于正样本，使用高通滤波和教师学生网络生成额外的高分辨率图像作为正样本，对于负样本，使用高斯噪声和泊松噪声生成额外的带噪声的负样本；
[0011]步骤S3，多感知注意力网络，即Trans
‑
UNet：特征提取网络是结合U
‑
Net网络结构和多头注意力网络的多感知特征网络，即为Trans
‑
UNet，对于输入的低像素图像，首先经过卷积核为1*1的卷积、卷积核为3*3的卷积、卷积核为3*3且膨胀系数为3膨胀卷积、卷积核为3*3且膨胀系数为6膨胀卷积和卷积核为3*3且膨胀系数为9膨胀卷积，对于5个不同大小的特征图，并行输入到U
‑
Net网络中，其中每个U
‑
Net网络都是有多头注意力网络构成，经过Trans
‑
UNet网络进行特征提取，得到超分辨率的初步结果图像；
[0012]步骤S4，对比正则判断网络：将得到的初步超分辨率结果图像与正样本、负样本送入对比正则判断网络，使得初步超分辨率结果图像与正样本的监督损失更小，与负样本的监督损失相差更大，经过对比正则判断网络后得到最终的超分辨率结果图像。
[0013]作为本专利技术优选的方案，所述S1中的图像长为1920、宽为1080，深度为3的RGB低像素图像。
[0014]作为本专利技术优选的方案，所述S2中生成多个正样本与负样本进行监督，对于第i个低分辨率(low resolution，LR)图像，正样本使用高通滤波和教师学生网络生成额外的高像素图像作为正样本，生成的公式如下：
[0015][0016]其中，p
i
表示第i个正样本，H表示高通滤波，h
p
表示正样本数量，表示第i个高分辨率图像，φ(*)表示预训练的教师学生网络，I
gt
表示真实高分辨率图像；默认h
p
为4，故正样本总数为5；
[0017]对于负样本，使用高斯噪声和泊松噪声生成额外的带噪声的负样本，生成的公式如下：
[0018][0019]其中，N
i
表示第i个负样本，G表示高斯噪声，g
n
表示生成的高斯负样本数量，B表示泊松噪声，b
n
表示生成的泊松负样本数量，表示第i个低分辨率图像；默认g
n
为2，b
n
为2，故负样本总数为5。
[0020]作为本专利技术优选的方案，所述S3中输入图像裁剪为640*640大小，深度为3，将裁剪后的图片进行卷积核为1*1的卷积、卷积核为3*3的卷积、卷积核为3*3且膨胀系数为3膨胀卷积、卷积核为3*3且膨胀系数为6膨胀卷积和卷积核为3*3且膨胀系数为9膨胀卷积，对于5个不同大小的特征图，并行输入到U
‑
Net网络中，其中每个U
‑
Net网络都是有多头注意力网络构成，经过Trans
‑
UNet网络进行特征提取，得到超分辨率的初步结果图像。
[0021]作为本专利技术优选的方案，所述S4中将得到的初步超分辨率结果图像与正样本、负样本送入对比正则判断网络，使得初步超分辨率结果图像与正样本的监督损失更小，与负样本的监督损失相差更大，经过对比正则判断网络后得到最终的超分辨率结果图像，具体损失函数如下：
[0022][0023]其中，L
i
表示第i个低分辨率图像的损失，M表示正样本总量，N表示负样本数量，f
i
表示第i个初步超分辨率结果图像，P表示正样本，Q表示负样本，τ表示超参数，因此，对比正则判断网络的损失为：
[0024][0025]其中A表示训练的图片数量，最终整体的重建和对比正则损失为：
[0026]L
total
＝L1+μL
CR
ꢀꢀꢀꢀꢀꢀꢀ
(5)
[0027]其中μ为尺度参数，L1是重建损失L1Loss。
[0028]与现有技术相比，本专利技术的有益效果是：
[0029]本专利技术中，通过设计一种基于注意力机制的多感知特征图像超分辨率重建的深度学习算法。首先针对图像超分辨率低分辨率图像对应多个高分辨率图像的现状，在监督损失时不仅仅是利用单一真实图像，而是需要生成多个正样本与负样本进行监督。对于正样本，使用高通滤波和教师学生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的多感知特征图像超分辨率重建的深度学习算法，其特征包括以下步骤：步骤S1，数据构建、数据预处理：图像超分辨率重建的开源数据集主要是RealSR Dataset、DRealSR Dataset和RealBlur Dataset，如需在自己的数据集上进行训练，需要将数据格式准备为与上述三个数据集一致；步骤S2，正负样本生成：针对图像超分辨率低分辨率图像对应多个高分辨率图像的现状，在监督损失时不仅仅是利用单一真实图像，而是需要生成多个正样本与负样本进行监督；对于正样本，使用高通滤波和教师学生网络生成额外的高分辨率图像作为正样本，对于负样本，使用高斯噪声和泊松噪声生成额外的带噪声的负样本；步骤S3，多感知注意力网络，即Trans
‑
UNet：特征提取网络是结合U
‑
Net网络结构和多头注意力网络的多感知特征网络，即为Trans
‑
UNet，对于输入的低像素图像，首先经过卷积核为1*1的卷积、卷积核为3*3的卷积、卷积核为3*3且膨胀系数为3膨胀卷积、卷积核为3*3且膨胀系数为6膨胀卷积和卷积核为3*3且膨胀系数为9膨胀卷积，对于5个不同大小的特征图，并行输入到U
‑
Net网络中，其中每个U
‑
Net网络都是有多头注意力网络构成，经过Trans
‑
UNet网络进行特征提取，得到超分辨率的初步结果图像；步骤S4，对比正则判断网络：将得到的初步超分辨率结果图像与正样本、负样本送入对比正则判断网络，使得初步超分辨率结果图像与正样本的监督损失更小，与负样本的监督损失相差更大，经过对比正则判断网络后得到最终的超分辨率结果图像。2.根据权利要求1所述的一种基于注意力机制的多感知特征图像超分辨率重建的深度学习算法，其特征在于，所述S1中的图像长为1920、宽为1080，深度为3的RGB低像素图像。3.根据权利要求1所述的一种基于注意力机制的多感知特征图像超分辨率重建的深度学习算法，其特征在于，所述S2中生成多个正样本与负样本进行监督，对于第i个低分辨率(low resolution，LR)图像，正样本使用高通滤波和教师学生网络生成额外的高像素图像作为正样本，生成的公式如下：其中，p
i
表示第i个正样本，H表示...

【专利技术属性】
技术研发人员：张正卿，胡超，邬伟杰，黄家耀，赖盛鑫，朱力强，
申请(专利权)人：联通上海产业互联网有限公司，
类型：发明
国别省市：