一种基于超分辨率重建的显示画质优化方法及系统技术方案

本发明专利技术涉及一种基于超分辨率重建的显示画质优化方法及系统，该方法包括超分辨率重建过程和对比度增强过程，超分辨率重建过程采用基于生成对抗网络GAN的网络框架对输入的低分辨率图像进行超分辨率重建；GAN网络框架由生成器和判别器两部分组成，生成器包括16个卷积模块，其后设置3个亚像素卷积层和1个升采样层，以得到一个四倍放大率的输出图像；判别器采用8个卷积模块，使用Leaky ReLU作为激活函数；预训练网络以首先针对PSNR进行优化，然后对其进行微调；对比度增强过程采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强。该方法及系统有利于重建出视觉感受更好、更为真实的图像。更为真实的图像。更为真实的图像。

【技术实现步骤摘要】
一种基于超分辨率重建的显示画质优化方法及系统


[0001]本专利技术属于图像处理领域，具体涉及一种基于超分辨率重建的显示画质优化方法及系统。

技术介绍

[0002]随着信息产业的飞速发展，显示器的分辨率标准从VCD时代的360P标准一直更新到目前的全高清1080P和4K标准。与此同时，一系列画质增强技术:动态补偿、HDR和超分辨率重建等蓬勃发展，使市场对显示画质的要求越来越高。不断增加的分辨率给设备的处理性能、储存方式和网络传输等带来了巨大的挑战。由于信号源的画质远无法匹配高分辨率显示设备的性能，最终导致呈现在显示设备上的画面与人们的视觉感知期望有较大的差距，浪费了高分辨率显示设备的硬件性能。所以，通过画质增强算法，以尽可能高的品质在显示设备上优化图像显示有重要的研究意义。
[0003]在现有的实际应用中，画质增强系统往往采用传统的超分辨率算法。传统算法的计算量较少，但是效果较差。基于机器学习的超分辨率算法则主要包括卷积神经网络(CNN)和生成对抗网络(GAN)两大类。基于CNN的算法对于人眼的主观观感较为一般。2017年，Christian Ledig等人提出了SRGAN，为图像SR领域引入了生成对抗网络。SRGAN利用感知损失(perceptual loss)和对抗损失(adversarial loss)来提升恢复出的图片的真实感。相比基于CNN重建得到的网络，其重建生成的图像有更多的高频细节，拥有更好的视觉效果。然而其在超分辨率重建领域中的应用仍不够成熟，有较大的发展空间。
[0004]在超分重建之后，虽然清晰度上升，但要继续提高观感，则需要再加入对比度增强算法。目前，随着HDR技术的逐渐普及。图像对比度也成为了影响图像质量的关键因素之一。经过对比度增强的图像能极大的提升观感。
[0005]目前的研究对于基于学习的算法还有很大的提升空间。所以，为了能达到更好的图像处理效果，有必要设计一种新方法针对显示画质进行增强。

技术实现思路

[0006]本专利技术的目的在于提供一种基于超分辨率重建的显示画质优化方法及系统，该方法及系统有利于重建出视觉感受更好、更为真实的图像。
[0007]为实现上述目的，本专利技术采用的技术方案是：一种基于超分辨率重建的显示画质优化方法，包括超分辨率重建过程和对比度增强过程，所述超分辨率重建过程采用基于生成对抗网络GAN的网络框架对输入的低分辨率图像进行超分辨率重建；所述GAN网络框架由生成器和判别器两部分组成，所述生成器包括16个卷积模块，其后设置3个亚像素卷积层和1个升采样层，以得到一个四倍放大率的输出图像；所述判别器采用8个卷积模块，使用Leaky ReLU作为激活函数；预训练网络以首先针对PSNR进行优化，然后对其进行微调；所述对比度增强过程采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强。
[0008]进一步地，所述生成器中的卷积模块由SRGAN中的卷积模块改进得到，其使用多个密集连接的conv层和Leaky ReLU层。
[0009]进一步地，所述判别器中的卷积模块，每个卷积模块由conv层、BN层和Leaky ReLU层组成；在运算过程中，网络的特征图由64层增加到512层，每层特征图的增长采用步长为2的卷积核，以减少输出尺寸；最后利用两个全连接网络和一个sigmoid激活函数，来获得样本分类的概率，以此判别真伪。
[0010]进一步地，所述判别器采用相对生成对抗网络的判别网络设计，让判别器判断相对真实度而不是绝对值；
[0011]将相对平均判别器RaD记为D
Ra
，则标准鉴别器表示为：
[0012]D(x)＝σ(C(x))
[0013]其中，σ()为sigmoid函数，C(x)为非变换判别器输出；RaD表示为：
[0014][0015]其中，表示对一次批处理中所有假数据取平均值的操作；此时，判别网络的损失定义为：
[0016][0017]生成网络的对称性对抗性损失为：
[0018][0019]其中，x
f
＝G(x
i
)和x
i
表示输入的低分辨率图像。
[0020]进一步地，所述GAN网络框架的感知函数采用激活之前的特征进行感知损失L
percep
的计算；经过改进的生成器总损失为：
[0021][0022][0023]上式用来平衡图像G(x
i
)和标准值y,λ,η之间不同损失项的损失函数。
[0024]进一步地，所述GAN网络框架在像素域使用MSE损失函数，其通过逐像素对比两类不同图像来保证获得更高的PSNR分数。
[0025]进一步地，对GAN进行训练，采用预先训练网络以首先针对PSNR进行优化，然后使用GAN对其进行微调；对生成网络和鉴别网络的所有相应参数进行插值，得到一个插值模型G
INTERP
，其参数为：
[0026][0027]其中，分别为参数G
PSNR
，G
INTERP
，G
GAN
，α∈[0,1]为插值参数。
[0028]进一步地，采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强，包括以下步骤：
[0029]S1、将输入图像按给定参数分成均等大小的子区域，并假设各子区域内包含的像素值和为S；
[0030]S2、计算图像的直方图；用U
xy
(k)表示各个子区域的直方图，其中k表示局部子区域
的灰度级数，取值范围为[0,N
‑
1]，N为该子区域的最大灰度级数；计算受限值β：
[0031]α∈[0,100][0032]其中，α表示截断系数；l
max
为最大斜率，取值范围为[1,4]，l
max
的取值决定对比度增强的幅度；
[0033]S3、重新分配像素点对于每块子区域的β，截取该子域的直方图U
xy
(k)，得到截取总数为：
[0034]E
x
＝U
xy
(k)
‑
β
[0035]并将其平均分配到直方图的各灰度级中，计算平均分配的像素数为：
[0036]a
v
＝E
x
/N
[0037]计算分配剩余像素数步长：
[0038]L＝L
s
/E
x
[0039]其中，L
s
为灰度范围长度；
[0040]然后循环检测直方图中各灰度级数大小，当其值小于该区域内受限值β时，为其分配平均像素数a
v
，重复分配操作，直至截取的像素总数被分配完成；
[0041]S4、应用双线性插值进行灰度值重构；
[0042]假设函数f(x)有4个已知点的值分别为Q11(x1，y1)、Q12(x1，y2)、Q21(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超分辨率重建的显示画质优化方法，其特征在于，包括超分辨率重建过程和对比度增强过程，所述超分辨率重建过程采用基于生成对抗网络GAN的网络框架对输入的低分辨率图像进行超分辨率重建；所述GAN网络框架由生成器和判别器两部分组成，所述生成器包括16个卷积模块，其后设置3个亚像素卷积层和1个升采样层，以得到一个四倍放大率的输出图像；所述判别器采用8个卷积模块，使用Leaky ReLU作为激活函数；预训练网络以首先针对PSNR进行优化，然后对其进行微调；所述对比度增强过程采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强。2.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述生成器中的卷积模块由SRGAN中的卷积模块改进得到，其使用多个密集连接的conv层和Leaky ReLU层。3.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述判别器中的卷积模块，每个卷积模块由conv层、BN层和Leaky ReLU层组成；在运算过程中，网络的特征图由64层增加到512层，每层特征图的增长采用步长为2的卷积核，以减少输出尺寸；最后利用两个全连接网络和一个sigmoid激活函数，来获得样本分类的概率，以此判别真伪。4.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述判别器采用相对生成对抗网络的判别网络设计，让判别器判断相对真实度而不是绝对值；将相对平均判别器RaD记为D
Ra
，则标准鉴别器表示为：D(x)＝σ(C(x))其中，σ()为sigmoid函数，C(x)为非变换判别器输出；RaD表示为：其中，表示对一次批处理中所有假数据取平均值的操作；此时，判别网络的损失定义为：生成网络的对称性对抗性损失为：其中，x
f
＝G(x
i
)和x
i
表示输入的低分辨率图像。5.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述GAN网络框架的感知函数采用激活之前的特征进行感知损失L
percep
的计算；经过改进的生成器总损失为：成器总损失为：上式用来平衡图像G(x
i
)和标准值y,λ,η之间不同损失项的损失函数。6.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述GAN网络框架在像素域使用MSE损失函数，其通过逐像素对比两类不同图像来保证获得更
高的PSNR分数。7.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，对GAN进行训练，采用预先训练网络以首先针对PSNR进...

【专利技术属性】
技术研发人员：林志贤，竺可沁，林珊玲，林坚普，张永爱，周雄图，叶芸，郭太良，
申请(专利权)人：福州大学，
类型：发明
国别省市：