【技术实现步骤摘要】
本专利技术涉及数字图像处理，更具体的说是涉及一种适应与像素域频率约束的图像超分辨率方法。
技术介绍
1、在通信领域，图像是一个重要的信息载体，图像的分辨率直接影响人的感知体验以及图像传达的信息内容。高分辨率的图像承载着更多的信息量以及更好的观看体验，但随之产生的是更高的存储与传输成本。在实际应用中为了降低存储与传输成本会对获取的高分辨率图像进行降分辨率处理，得到一些低分辨率图像。但是在某些特定的场景下既需要低分辨率的低传输与低成本又需要高分辨率所带来的更多信息与更好的体验。这需要将低分辨率的图像进行超分辨率的处理，让图像恢复到所需的大小。
2、现有公告号为cn112614056a的中国专利公开了一种图像超分辨率处理方法，其包括：获取训练图像集，训练图像集包括多组图像组，每组图像组均包括彼此对应的第一图像和第二图像，第一图像的分辨率低于第二图像的分辨率；基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型；通过训练图像集训练第一模型，或者通过训练图像集训练第二模型；通过训练完成的第一模型或第二模型完成待处理图像的超分辨率处理。该方法可以更加有效地提取图像特征，在不同超分辨模态和不同成像条件下，实现比现有方法更精确、更鲁棒的超分辨率图像预测和重建。
3、基于上述现有技术，目前对图像分辨率进行调节方法有两种，一种是采用线性插值、双线性插值以及双三次插值等传统算法进行上采样，该类算法复杂度较低，但是容易造成图像局部细节不连续，产生锯齿噪声以及超分后的图像模糊从而丢失细节等失真情况。另一种是基于卷积神
技术实现思路
1、针对现有技术存在的不足，本专利技术的目的在于提供一种基于域适应与像素域频率约束的图像超分辨率方法，通过使用不受限制的低分辨率图像的域匹配网络与设计图像域频率约束的方法，使得生成的超分辨率图有着更清晰的结构细节与更高的保真度，达到更接近于真实世界的效果。
2、为实现上述目的，本专利技术提供了如下技术方案：本专利技术提供一种基于域适应训练方法与像素域频率约束的图像超分辨率方法，包括：
3、获取图像数据集，所述图像数据集包括生成的高清图像和低清图像；
4、域适应超分网络，所述域适应超分网络包括域适应与像素域频率约束，所述域适应超分网络用于获取图像数据集以及处理数据集，并进行分类识别，以输出分类结果；
5、所述域适应超分网络还包括域分类器，所述域分类器内构建有梯度反转层，在反向传播时，所述梯度反转层用于方向求反；
6、所述域适应超分网络中构建有损失函数，所述损失函数包括生成网络损失函数与分类网络损失函数；
7、所述域适应超分网络用于对图像数据集进行超分辨率处理以获得超分辨率图像。
8、作为本专利技术的进一步改进，所述域适应超分网络包括编码器、译码器和域分类器，所述编码器网络层包括卷积层和残差块，所述编码器用于对输入的所述图像数据集进行特征提取，并增加图像深层网络的表达能力；所述解码器网络层包括上采样层和卷积层，所述解码器用于对所述编码器输出的图像特征层进行维度修复，并学习图像的结构和细节特征；所述域分类器网络层包括特征展开层和非线性层，所述域分类器用于判断图像来源并输出图像分类结果。
9、作为本专利技术的进一步改进，所述编码器、所述解码器和所述域分类器将所述域适应超分网络分成生成网络与分类网络：
10、所述生成网络包括所述编码器和所述解码器，所述生成网络的模型优化目标是最小化图像生成误差；
11、所述分类网络包括所述编码器与所述域分类器，所述分类网络的模型优化目标是最大化域分类误差。
12、作为本专利技术的进一步改进，所述生成网络使用分支预训练的模型进行初始化，所述分类网络中所述域分类器的所述非线性层使用针对relu激活函数所设计的he初始化算法，所述算法的权重参数(w,b)服从均值为0，方差为var(w,b)的分布：
13、
14、其中，nin为输入神经元的数量。
15、作为本专利技术的进一步改进，所述生成网络与所述分类网络共用所述编码器，所述生成网络优化损失梯度方向与所述分类网络优化损失梯度相反，在所述域分类接收所述编码器特征后增加所述构建梯度反转层，在进行梯度反向传播时进行方向求反，用于增加训练收敛速度，所述梯度反转层定义如下：
16、rγ(x)＝x
17、
18、
19、其中，r为梯度反转层，γ为随着训练次数改变的参数，x为图像的输入，epoch代表一次训练集前向与反向传播完成进程的相对值，i为恒等矩阵，α为调整epoch系数。
20、作为本专利技术的进一步改进，所述域适应超分网络的网络损失包括生成网络损失与分类网络损失，所述生成网络损失与分类网络损失造成的网络总损失函数如下：
21、
22、其中，d∈{0,1}为图像域标签，di为第i个训练样本的域标签，i为第i个训练样本，yi为目标值，n为数据大小，i为输入图像，e为编码器，d为解码器，c为域分类器，θ为网络参数，θf为特征映射参数，θy为生成器参数，θd为域分类器参数，f＝ef(i；θf)为特征提取网络，dy(i；θy)为图像分类预测网络，cd(i；θd)为域分类网络，为生成网络损失函数，为分类网络损失函数，和分别为在第i个训练样本中计算的相应损失函数。
23、作为本专利技术的进一步改进，所述的生成网络损失函数使用l1损失函数，表达式如下：
24、
25、其中，yi为目标值，f(xi)为预测值。
26、作为本专利技术的进一步改进，所述的像素域频率约束中具有高通滤波器，所述高通滤波器用于处理高分辨率图像与网络生成的超分辨率图像，以得到超分辨率图像的低频信息与高频信息，利用所述低频信息与高频信息增强图像生成过程，以此调节图像生成过程中的频率一致性，所述生成网络损失函数包括所述l1损失函数与频率损失函数，表达式如下：
27、
28、其中，ω为调节l1损失函数与高低频率损失函数权重因子，isr为网络预测输出超分图像，ihr为目标高清图像，为第i个网络预测超分图像高频信息，为第i个目标高清图像的高频信息，为第i个网络预测超分图像的低频信息，为第i个目标高清图像的低频信息，hf为图像高频信息，lf为图像低频信息表达如下：
29、
30、hf(x,y)＝i(x,y)-lf(x,y)
31、
32、其中，wσ为方差为σ的高斯模糊核，(x,y)为图像空间坐标，w与h分别为低高通滤波运算窗口大小。
33、作为本专利技术的进一步改进，所述的分类网络损失函数采用二分类交叉熵损失函数，本文档来自技高网...
【技术保护点】
1.一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于，包括：
2.根据权利要求1所述的一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于：
3.根据权利要求2所述的一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于：所述编码器、所述解码器和所述域分类器将所述域适应超分网络分成生成网络与分类网络：
4.根据权利要求3所述的一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于：所述生成网络使用分支预训练的模型进行初始化，所述分类网络中所述域分类器的所述非线性层使用针对ReLU激活函数所设计的He初始化算法，所述算法的权重参数(w,b)服从均值为0，方差为Var(w,b)的分布：
5.根据权利要求3所述的一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于：所述生成网络与所述分类网络共用所述编码器，所述生成网络优化损失梯度方向与所述分类网络优化损失梯度相反，在所述域分类接收所述编码器特征后增加所述构建梯度反转层，在进行梯度反向传播时进行方向求反，用于增加训练收敛速度，所述梯度反转层定义如下：
6.根据权利要求1所述的一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于：所述域适应超分网络的网络损失包括生成网络损失与分类网络损失，所述生成网络损失与所述分类网络损失在网络训练过程中造成的网络总损失函数如下：
7.根据权利要求6所述的一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于：所述的生成网络损失函数使用L1损失函数，表达式如下：
8.根据权利要求1所述的一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于：所述的像素域频率约束中具有高通滤波器，所述高通滤波器用于处理高分辨率图像与网络生成的超分辨率图像，以得到超分辨率图像的低频信息与高频信息，利用所述低频信息与高频信息增强图像生成过程，以此调节图像生成过程中的频率一致性，所述生成网络损失函数包括所述L1损失函数与频率损失函数，表达式如下：
9.根据权利要求6所述的一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于：所述的分类网络损失函数采用二分类交叉熵损失函数，表达式如下：
10.根据权利要求1所述的一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于：在所述分类网络与所述生成网络训练收敛后，去除所述域分类器，保留所述生成网络作为恢复超分辨率图像的应用模型。
...【技术特征摘要】
1.一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于，包括：
2.根据权利要求1所述的一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于：
3.根据权利要求2所述的一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于：所述编码器、所述解码器和所述域分类器将所述域适应超分网络分成生成网络与分类网络：
4.根据权利要求3所述的一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于：所述生成网络使用分支预训练的模型进行初始化，所述分类网络中所述域分类器的所述非线性层使用针对relu激活函数所设计的he初始化算法，所述算法的权重参数(w,b)服从均值为0，方差为var(w,b)的分布：
5.根据权利要求3所述的一种基于域适应与像素域频率约束的图像超分辨率方法，其特征在于：所述生成网络与所述分类网络共用所述编码器，所述生成网络优化损失梯度方向与所述分类网络优化损失梯度相反，在所述域分类接收所述编码器特征后增加所述构建梯度反转层，在进行梯度反向传播时进行方向求反，用于增加训练收敛速度，所述梯度反转层定义如下：
6.根据权利要求1所述的一种基于域适应与像素域频率约束的图像...
【专利技术属性】
技术研发人员：陈丽君，陆娇娇，徐洁，王革委，时慕华，陈志勇，齐冯伟，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。