一种融合高频信息的图像缩放方法及系统技术方案

本发明专利技术设计一个端到端的图像缩放网络结构，通过学习丢失高频信息分布加强特征学习缓解了ill

【技术实现步骤摘要】
一种融合高频信息的图像缩放方法及系统
专利

[0001]本专利技术涉及计算机视觉
，更具体地，涉及一种融合高频信息的图像缩放方法及系统。

技术介绍

[0002]图像超分辨率，简称超分，是指利用算法将图像从低分辨率恢复到高分辨率的过程，是计算机视觉和图像处理领域里一种重要的图像处理技术。在许多领域有着重要的应用价值，如目标检测、医学成像、卫星遥感和安防监控等。由于总有多个高分辨率图像对应于同一个低分辨率图像，因此超分问题非常具有挑战性且是一个不适定问题。
[0003]我们将基于图像的超分方法分为基于插值的方法、基于重构和基于样例学习的方法和基于深度学习的方法三大类。而基于重构和基于样例学习的方法普遍难以恢复高频细节信息，导致重建图像模糊且计算量大、实时性不高等问题，此外，目前基于卷积网络的方法在图像超分上取得了巨大的成功。
[0004]图像缩放技术是数字图像处理领域一项基础而重要的技术，也是数字图像处理领域研究的热点，图像缩放也称为图像重采样、分辨率转换。随着互联网上高分辨率图像和高分辨率视频数量的爆炸式增长，图像的缩小对于存储、传输和共享此类大型数据非常不可或缺，高分辨率数字图像通常会缩小以适应各种显示屏幕或节省存储成本，同时保持视觉上的有效信息。但此类缩小场景不可避免的对反向任务提出了巨大要求，即将缩小的图像提升到更高的分辨率或原始尺寸，如图像超分辨率。如何通过算法平衡低分辨率图像的视觉效果和高分辨率图像的质量，图像缩放算法采用什么样的结合方式才能充分利用各种方法的优点，便成为问题研究的重点。<br/>[0005]根据奈奎斯特
‑
香农采样定理，高频信息会在图像缩小过程中不可避免的会丢失。而图像超分辨率本质是一个不适定的问题，由于问题的不良性质，图像超分辨率结果的质量非常有限，并且丢失的高频信息无法很好的恢复。

技术实现思路

[0006]针对上述现有技术的不足，本专利技术提供了一种基于深度卷积神经网络的双向图像缩放学习方法及系统。其目的在于缓解图像超分所存在的ill
‑
posed问题，学习到更多的有效信息从而导致重建的图像效果更佳。
[0007]为了实现上述目的，本专利技术提供了一种融合高频信息的图像缩放方法，包括以下步骤；
[0008]S1、构建图像缩放网络框架，该网络由下采样子网络和上采样子网络两部分组成；
[0009]S2、将给定的输入图像输入到下采样子网络中得到低分辨率图像，同时引入潜在变量捕捉高频信息的分布特征，从而学习图像下采样过程中的高频信息；
[0010]S3、将得到的低分辨率图像，联合随机采样的高频信息共同输入到上采样子网络，并在上采样过程中引入长跳跃连接进行特征聚合，得到重构图像；
[0011]S4、最后将得到的特征计算联合损失，包含低分辨率图像指导损失、分布匹配损失和重构损失。
[0012]本专利技术提供了一种用于图像缩放的端到端可训练的神经网络架构及系统：包括图像预处理单元，用于在给定的输入图像进行预处理操作，对其进行信息分离，准确的将给定的图像进行高频低频信息分离；图像信息学习单元，对于分离的高频低频信息分别进行学习；低频信息通过低分辨率图像指导损失学习生成得到一幅视觉良好的低分辨率图像，同时引入潜在变量捕捉高频信息的分布特征，从而学习图像下采样过程中的高频信息；图像重建单元：将得到的低分辨率图像，联合随机采样的高频信息共同输入到上采样网络，并在上采样过程中引入长跳跃连接进行特征聚合，最后得到一幅质量良好的重建图像。
[0013]进一步地，还包括：训练单元，用于对图像预处理单元、图像信息学习单元、图像重构单元构建的所述图像缩放网络模型进行训练。
[0014]进一步地，对所述图像缩放网络模型进行训练包括：通过最小化损失函数训练整个图像缩放网络模型。
[0015]与现有技术相比，具备以下有益效果：
[0016]本专利技术对图像超分所存在的ill
‑
posed问题进行考虑，在下采样网络中引入哈尔变换模块将输入图像分解成高低频信息，并通过引入潜在特征，学习高频信息的分布。并将学习到的信息随机采样充分利用到上采样网络重建中。其次我们提出了一种针对下尺度和上尺度子网络优化的多阶段训练策略，以生成视觉愉悦的低分辨率图像。很好的缓解了由于下采样高频信息丢失带来的ill
‑
posed问题，然后结合联合损失，进行反馈迭代优化模型的损失，使模型的最终损失达到最小值，以提高图像重建的准确性和鲁棒性。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本专利技术专利中融合高频信息的图像缩放的网络结构图；
[0019]图2是本专利技术专利中下采样子网络的结构图；
[0020]图3是本专利技术专利中上采样子网络的结构图；
[0021]图4是本专利技术专利具体实施例的重建效果图。
具体实施方式
[0022]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0023]下面结合说明书附图以及具体的实施方式对本专利技术作详细说明。一种融合高频信息的图像缩放网络方法包含步骤S1～S4：
[0024]S1、构建图像缩放网络框架，该网络由下采样子网络和上采样子网络两部分组成；
[0025]S2、将给定的输入图像输入到下采样子网络中得到低分辨率图像，同时引入潜在变量捕捉高频信息的分布特征，从而学习图像下采样过程中的高频信息；
[0026]S3、将得到的低分辨率图像，联合随机采样的高频信息共同输入到上采样子网络，并在上采样过程中引入长跳跃连接进行特征聚合，得到重构图像；
[0027]S4、最后将得到的特征计算联合损失，包含低分辨率图像指导损失、分布匹配损失和重构损失。
[0028]下面对各个步骤进行详细描述。
[0029]在步骤S1中，构建网络架构，如图1所示，该网络由下采样子网络和上采样子网络两部分组成。其步骤具体为：
[0030]S101、构建一个由“DSNet+SRNet”组成的框架，由2个子网络模块组成；
[0031](y
down
,z)＝F
DS
(x)
ꢀꢀ
(1)
[0032]x
up
＝F
SR
(y
down
,z)
ꢀꢀ
(2)
[0033]其中F
DS
(
·
...

【技术保护点】

【技术特征摘要】
1.一种融合高频信息的图像缩放方法，其特征在于，所述方法由计算机执行，包括以下步骤：S1、构建图像缩放网络框架，该网络由下采样子网络和上采样子网络两部分组成；S2、将给定的输入图像输入到下采样子网络中得到低分辨率图像，同时引入潜在变量捕捉高频信息的分布特征，从而学习图像下采样过程中的高频信息；S3、将得到的低分辨率图像，联合随机采样的高频信息共同输入到上采样子网络，并在上采样过程中引入长跳跃连接进行特征聚合，得到重构图像；S4、最后将得到的特征计算联合损失，包含低分辨率图像指导损失、分布匹配损失和重构损失。2.如权利要求1所述的融合高频信息的图像缩放方法，其特征在于，构建图像缩放网络框架，对应S1的具体实现过程如下：S101、构建一个由“DSNet+SRNet”组成的框架，由上采样和下采样2个子网络模块组成；(y
down
,z)＝F
DS
(x)
ꢀꢀꢀꢀ
(1)x
up
＝F
SR
(y
down
,z)
ꢀꢀꢀꢀ
(2)其中F
DS
(
·
)是下采样网络DSNet，F
SR
(
·
)是上采样网络SRNet，x是给定的输入图像，y
down
是下采样网络得到的低分辨率图像，且网络通过引入潜在变量z对高频信息分布建模，我们强制它是不可知的并服从特定的高斯分布，x
up
是上采样网络重构得到的超分辨率图像。3.如权利要求1所述的融合高频信息的图像缩放方法，其特征在于，下采样子网络中低分辨率图像生成及高频信息分布的学习，对应S2的具体实现过程如下：S201、该下采样子网络由几个下采样模块组成，模块数量取决于下采样的倍数，每个下采样模块包括一个哈尔变换模块和一些堆叠的特征提取模块；该子网络主要学习高频信息的分布，并产生视觉良好的低分辨率图像；S202、首先通过哈尔变换模块有效分离高频低频信息，该模块在很多经典的网络架构中出现，已经得到广泛的认同和证明；故用哈尔变换模块来对输入图像进行高低频信息分离；S203、其次将哈尔变换模块得到的特征信息输入第一个特征提取模块，特征提取模块由一堆密集模块组成，称为耦合层，其目的是进一步改进高频和低频信息，以获得视觉良好的低分辨率图像和服从特定分布的高频信息潜在表示：{x
L
,x
H
}＝Haar(f
i
‑1)
ꢀꢀꢀꢀ
(3)f
i
＝DB
i
(x
L
,x
H
),i＝1,2,...,k
ꢀꢀꢀꢀ
(4)其中Haar(
·
)是哈尔变换模块，DB
i
表示第i块特征提取模块，f
i
‑1和f
i
分别表示第i
‑
1块和第i块特征提取模块的输出，其中f0表示网络给定的输入图像。4.如权利要求1所述的融合高频信息的图像缩放方法，其特征在于，上采样子网络特征聚合及高分辨率图像重构，对应S3的具体实现过程如下：S301、首先上采样子网络主要由改进后的骨干网络和长跳跃连接组成；该网络旨在利用学习到的高频信息，将输入的低分辨率图像重构成更好的高分辨率图像；S302、其次我们将EDSR作为骨干网络，其中去掉了预处理和后处理操作(即MeanShift操作)，并改变了网络输入，除了提供的低分辨率图像，并从预先指定的分布中提取信息作
为附加输入，得到了由骨干...

【专利技术属性】
技术研发人员：谢颜，桂彦，张锦，黄文韬，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：