一种文本指导的自然图像超分辨率重构方法技术

本发明专利技术属于数字图像智能处理技术领域，具体为一种文本指导的自然图像超分辨率重构方法。图像超分辨率重构是指利用算法来恢复丢失的图像像素。自然图像超分辨率重构主要用于提升图像清晰度，改善图像视觉效果，以产生真实、自然的高分辨率图像。本发明专利技术方法包括：从文本描述中提取语义特征；结合图像特征和文本语义特征；完善图像细节信息，修复语义不准确的特征；重构高分辨率自然图像。在网络的训练中引入基于语义的判别器、图文匹配损失和文本感知的重构损失来约束图像超分辨率重构模型学习图像超分辨率任务。实验结果表明，本发明专利技术可以生成自然美观且符合文本描述的高分辨率图像，有效解决大尺度图像超分辨率重构问题。有效解决大尺度图像超分辨率重构问题。有效解决大尺度图像超分辨率重构问题。

【技术实现步骤摘要】
一种文本指导的自然图像超分辨率重构方法


[0001]本专利技术属于数字图像智能处理
，具体涉及一种图像修复方法，更具体的说，涉及一种文本指导的自然图像超分辨率重构方法。

技术介绍

[0002]近年来，随着深度学习技术在计算机视觉领域的应用，图像超分辨率重构问题得到了较好的结果，恢复出的高分辨率图像无论是在视觉上还是客观数值指标上都与真实的高分辨率图像近似。因此，深度学习技术成为图像超分辨率重构问题的一个研究热点。
[0003]现有的基于深度学习的超分辨率重构方法仅应用于单一的图像模式，根据输入的低分辨率图像来估计缺失的像素信息。缺乏对高级语义的理解，这些方法难以重建逼真的细节。在较大超分辨率重构倍数的问题中，低分辨率图像可能损失过多细节，以致重要的语义信息会丢失，难以恢复足够的高频信息。当输入图像太小而无法包含足够的信息时，传统的超分辨率重构方法(EDSR[3]，SPSR[4])无法推断出准确的纹理信息，生成模糊或不真实的图像内容。
[0004]虽然已有一些超分辨率重构方法(SFTGAN[5])结合了语义信息，但这些方法仅本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本指导的自然图像超分辨率重构方法，其特征在于，设计一个图像超分辨率重构网络模型，该图像超分辨率重构网络模型包含一个低频网络和一个高频网络，对于n倍超分辨率重构的网络，低频网络和高频网络都分别包括2
×
log
2n
个卷积层、log
2n
个残差块和log
2n
个去卷积层；每一个残差块包含2个卷积层、1个relu激活层和1个跳跃连接层；低频网络中包括一个文本感知模块，用于将图像特征与文本特征相结合；重构的具体步骤如下：(1)使用一个文本编码器，从文本描述中提取语义特征t；所述文本编码器是一种循环神经网络；(2)利用图像超分辨率重构模型，根据文本特征指导生成低频高分辨率图像；具体流程为：首先，将低分辨率图像I
LR
输入低频网络，该低频网络用一个卷积层和一个残差块提取低分辨率图像的特征F
im
；所述残差块包含2个卷积层、1个relu激活层和1个跳跃连接层；将低分辨率图像的特征F
im
与文本特征t一同输入文本感知模块；该文本感知模块使用1个1
×
1的卷积层将大小为256
×
a的文本特征t变为大小为b
×
a的向量j，将大小为H
×
W
×
b的图像特征重新变形为大小为HW
×
b的向量i；用矩阵乘法将图像向量i和文本向量j相乘得到大小为HW
×
a的向量k，并将其变形为大小为a
×
H
×
W的特征图，作为a个文本感知图M
attn
；同时，将向量k与向量j矩阵相乘，并将其变形为大小为H
×
W
×
b的特征图，得到特征F
attn
；将特征F
attn
与原始图像特征F
im
级联后分别输入一个卷积层、一个残差块，接着使用一个去卷积层将特征放大2倍得到F
im2
，最后用一个3
×
3的卷积层输出2倍超分的RGB图像I
lowSR
×2；将F
im2
与文本特征t输入文本感知模块，得到特征F
attn2
；将特征F
attn2
与图像特征F
im2
级联后分别输入一个卷积层、一个残差块，接着使用一个去卷积层在已经2倍放大的特征的基础上进一步将特征放大2倍得到4倍放大的特征F
im3
，最后用一个3
×
3的卷积层输出4倍超分的RGB图像I
lowSR
×4；将F
im3
与文本特征t输入文本感知模块，得到特征F
attn3
；将特征F
attn3
与图像特征F
im3
级联后分别输入一个卷积层、一个残差块，接着使用一个去卷积层在已经4倍放大的特征的基础上进一步将特征放大2倍得到8倍放大的特征F
im4
，最后用一个3
×
3的卷积层输出8倍超分的RGB图像I
lowSR
×8；低频网络输出不同倍数的低频超分图像{I
lowSR
×2,I
lowSR
×4,I
lowSR
×8}；(3)生成纹理准确的高频高分辨率图像，具体流程为：将低分辨率图像I
LR
和低频网络生成的不同尺度的低频超分图像{I
lowSR
×2,I
lowSR
×4,I
lowSR
×8}输入图像超分辨率重构模型的高频网络；该高频网络用一个卷积层和一个残差块提取低分辨率图像特征F
im
，再分别使用一个卷积层提取不同尺度的低频超分图像的特征{F
lowSR
×2,F
lowSR
×4,F
lowSR
×8}；使用一个去卷积层将F
im
放大2倍得到特征F
SR
×2，将其与F
lowSR
×2级联，使用一个3
×
3的卷积层输出2倍超分的高分辨率图像I
SR
×2；将特征...

【专利技术属性】
技术研发人员：颜波，马晨曦，谭伟敏，林青，
申请(专利权)人：复旦大学，
类型：发明
国别省市：