任意尺度图像超分辨率网络构建方法技术

本发明专利技术公开了一种任意尺度图像超分辨率网络构建方法

【技术实现步骤摘要】
Division
，
SFD)
模块和一种多域多级特征融合
(Multi
‑
Domain Multi
‑
Level Feature Fusion
，
M2F2)
机制，目标是以任意尺度因子来提取空间域和频率域的特征，以减少不同领域特征的相关性，并有效地捕获多领域的特征，从而实现任意尺度的图像超分辨率，用于解决任意尺度图像超分辨率特征融合集中在处理单一领域特征缺陷的技术问题
。
[0005]本专利技术采用以下技术方案：
[0006]一种任意尺度图像超分辨率网络构建方法，包括以下步骤：
[0007]S1、
提取任意比例因子
r
的特征，建立两条路径，一条是特征提取路径，用于捕捉任意比例因子
r
的特征；另一条是特征适应路径，用于根据比例因子
r
调节特征提取，捕获空间域的多级特征；
[0008]S2、
基于
LR
‑
HR
图像，对在任意比例因子
r
下共享相同的低频信息，以自适应区分低频信息和高频信息；
[0009]S3、
采用多域多级特征融合机制捕获多域特征；
[0010]S4、
设计任意尺度图像超分辨率网络的损失函数，结合步骤
S3
捕获的多域特征构建任意尺度图像超分辨率网络
。
[0011]具体的，步骤
S1
中，将一个
RB<br/>的输入与对应组中所有先前的
RB
的输出串联，并通过一个1×1卷积，形成一个
DG
；给定输入特征
f
i
和尺度感知的特征学习模型的输入比例因子
r
，输入特征
f
i
被送入
DG
，输出特征图
f
D
；在另一条路径上，比例因子
r
首先通过两个全连接层产生路由权重；然后将路由权重与一组卷积核结合，实现一个规模感知的过滤器
f
r
，稠密组的输出
f
D
和标度感知特征
f
r
通过1×1卷积层进行自适应合并，合并后的信息与
f
D
串联，得到尺度感知特征的输出
f
S
。
[0012]进一步的，尺度感知特征的输出
f
S
为：
[0013]f
S
＝
[conv1×1(f
D
，
f
r
)
，
f
D
][0014]其中，
conv1×1为1×1卷积层
。
[0015]具体的，步骤
S2
中，将
LR
‑
HR
图像转换到
DCT
频域；然后将图像的
DCT
频谱划分为
LF
部分和
HF
部分；高频部分经过
F
‑
SFLs
恢复高频信息，低频部分被添加到恢复的高频信息中，通过长距离的跳过连接生成最终的频域重建特征
。
[0016]进一步的，高频信息和低频信息的自适应划分转化为
VFP
选择机制，表述为一个马尔可夫决策过程，包括5个元组
&lt;S
，
A
，
P
，
R
，
γ
&gt;
，
S
代表状态集合，
A
代表动作集合，
P
代表状态转移概率，
R
代表奖励函数，
γ
代表折扣因子，
γ
∈[0
，
1]指定未来奖励和当前奖励之间的重要性
。
[0017]具体的，步骤
S3
中，多域多级特征融合机制的第一阶段是将
f
s1
和
f
f1
加入到第二个
S
‑
SFL
块中，
f
s1
为空间域特征，
f
f1
为频域特征，第二阶段是添加
f
s2
和
f
f2
，
f
s2
为空间域特征，
f
f2
为频域特征，并送入第三个
S
‑
SFL
块，第三阶段产生重构的
SR
特征
f
sr
。
[0018]具体的，步骤
S4
中，总损失
L
total
表示为：
[0019]L
total
＝
L
SR
+L
DCT
+
ω
L
sFD
[0020]其中，
ω
为调节深度强化学习网络的权重，
L
DCT
为领域转换损失，
L
SFD
为演员－评论家成本函数，
L
SR
为空间域的
MSE
损失
。
[0021]第二方面，本专利技术实施例提供了一种任意尺度图像超分辨率网络构建系统，包括：
[0022]标度感知特征学习模块，提取任意比例因子
r
的特征，建立两条路径，一条是特征
提取路径，用于捕捉任意比例因子
r
的特征；另一条是特征适应路径，用于根据比例因子
r
调节特征提取，捕获空间域的多级特征；
[0023]特征划分模块，基于
LR
‑
HR
图像，对在任意比例因子
r
下共享相同的低频信息，以自适应区分低频信息和高频信息；
[0024]多域多级特征融合模块，采用多域多级特征融合机制捕获多域特征；
[0025]输出模块，设计任意尺度图像超分辨率网络的损失函数，结合捕获的多域特征构建任意尺度图像超分辨率网络
。
[0026]第三方面，一种芯片，包括存储器
、
处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意尺度图像超分辨率网络构建方法的步骤
。
[0027]第四方面，本专利技术实施例提供了一种电子设备，包括芯片，所述芯片执行时实现上述任意尺度图像超分辨率网络构建方法的步骤
。
[0028]与现有技术相比，本专利技术至少具有以下有益效果：
[0029]一种任意尺度图像超分辨本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
任意尺度图像超分辨率网络构建方法，其特征在于，包括以下步骤：
S1、
提取任意比例因子
r
的特征，建立两条路径，一条是特征提取路径，用于捕捉任意比例因子
r
的特征；另一条是特征适应路径，用于根据比例因子
r
调节特征提取，捕获空间域的多级特征；
S2、
基于
LR
‑
HR
图像，对在任意比例因子
r
下共享相同的低频信息，以自适应区分低频信息和高频信息；
S3、
采用多域多级特征融合机制捕获多域特征；
S4、
设计任意尺度图像超分辨率网络的损失函数，结合步骤
S3
捕获的多域特征构建任意尺度图像超分辨率网络
。2.
根据权利要求1所述的任意尺度图像超分辨率网络构建方法，其特征在于，步骤
S1
中，将一个
RB
的输入与对应组中所有先前的
RB
的输出串联，并通过一个1×1卷积，形成一个
DG
；给定输入特征
f
i
和尺度感知的特征学习模型的输入比例因子
r
，输入特征
f
i
被送入
DG
，输出特征图
f
D
；在另一条路径上，比例因子
r
首先通过两个全连接层产生路由权重；然后将路由权重与一组卷积核结合，实现一个规模感知的过滤器
f
r
，稠密组的输出
f
D
和标度感知特征
f
r
通过1×1卷积层进行自适应合并，合并后的信息与
f
D
串联，得到尺度感知特征的输出
f
S
。3.
根据权利要求2所述的任意尺度图像超分辨率网络构建方法，其特征在于，尺度感知特征的输出
f
S
为：
f
S
＝
[conv1×1(f
D
,f
r
),f
D
]
其中，
conv1×1为1×1卷积层
。4.
根据权利要求1所述的任意尺度图像超分辨率网络构建方法，其特征在于，步骤
S2
中，将
LR
‑
HR
图像转换到
DCT
频域；然后将图像的
DCT
频谱划分为
LF
部分和
HF
部分；高频部分经过
F
‑
SFLs
恢复高频信息，低频部分被添加到恢复的高频信息中，通过长距离的跳过连接生成最终的频域重建特征
。5.
根据权利要求4所述的任意尺度图像超分辨率网络构建方法，其特征在于，高频信息和低频信息的自适应划分转化为
VFP
选择机制，表述为一个马尔可夫决策过程，包括5个...

【专利技术属性】
技术研发人员：于银菠，方婧，冯佳琳，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：