【技术实现步骤摘要】
一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法
本专利技术涉及计算机视觉领域，尤其涉及一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法。
技术介绍
有损图像或视频压缩中的量化运算是一个多对一的映射过程，在低码率编码时，解码端还原的图像与未经压缩的原始图像存在较大的差异。这种由于量化和反量化操作所引入的重建数据和原始数据之间的误差即为量化噪声，在解码图像或视频中将表现为块状、环状等伪影。在解码端采用后处理算法抑制量化噪声、提升解码图像或视频的视觉质量，因其实施方便、成本低廉受到业界的广泛关注。随着深度学习在基于图像的超分辨率分析、去噪等各个领域取得极大的成功，启发了人们将其应用于图像压缩伪影去除。JaeWoongSoh等人在期刊IEEEAccess发表的论文“ReductionofVideoCompressionArtifactsBasedonDeepTemporalNetworks”提出了一种包含三个分支的时域网络，实验表明相比于通常的伪影抑制网络，该网络能获得0.23dB的PSNR增益...
【技术保护点】
1.一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法，其特征在于，包括如下步骤：/n(1)设I为HEVC编码视频的当前解码帧，I
【技术特征摘要】
1.一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法，其特征在于，包括如下步骤：
(1)设I为HEVC编码视频的当前解码帧，I(0)和I(1)分别为位于当前解码帧之前和之后的帧内编码帧，以间隔帧数为依据，在I(0)和I(1)两个帧内编码帧中选择离当前解码帧相对较近的作为参考帧，记作I(r)，设B为I帧中一个大小为N×N的图像块，以差值绝对值之和SAD为目标函数，搜索具有最小目标函数值的匹配位置，记作(u0,v0)，在I(r)图像中取左上角坐标为(m+u0,n+v0)、大小为N×N的图像块作为B在I(r)中的最佳匹配块B(r)：
其中m和n分别为图像块的左上角点在图像中的水平和垂直坐标，(u,v)代表一个搜索位置，且-R≤u,v≤R，R代表预设的搜索范围；
(2)以图像块扫描的形式处理当前解码帧，将I帧中每一个N×N的块B在参考帧I(r)中的最佳匹配块B(r)拷贝到中与B相同的位置，构建对应参考图像I(r)且大小等于当前解码帧的运动补偿图像
(3)将I输入到一个经预先训练的生成式对抗网络GAN，所述生成式对抗网络GAN包括一个生成网络G和一个判别网络D，由生成网络G输出对应I的预测图像
(4)I，和分别被当作一个二维矩阵，依次排列这些矩阵形成一个三阶张量输入到融合模块，经过融合模块的计算，输出对当前解码帧去除压缩伪影后的图像；所述融合模块为深度卷积神经网络，深度卷积神经网络的输入模块包含1个卷积层，该卷积层的卷积核大小与融合模块的深度卷积神经网络的输入相匹配；除了输入模块之外的其它部分，融合模块的深度卷积神经网络具有与步骤(3)所述的生成式对抗网络中的生成网络一致的结构。
2.根据权利要求1所述的运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法，其特征在于：所述生成网络G的输入模块包括一个卷积层，待处理图像与该卷积层3×3×1大小的卷积核进行步长为1的卷积运算后，输出大小与输入图像相等的特征图z0；
所述生成网络G的残差模块接在输入模块之后，由Nb个依次相连的残差块组成，其中Nb为一个预设的常数，除第一残差块之外的任意第k个残差块，1＜k≤Nb，以第k-1个残差块的输出zk-1为输入，经过第k个残差块内的各个层次将zk-1映射为F(zk-1)，最后以F(zk-1)+zk-1作为第k个残差块的输出；每个残差块包含两个卷积层和一个PReLU层，按数据前向传播时的流向，其顺序依次为卷积层Conv_01、PReLu层和卷积层Conv_02；Conv_01层具有两倍于Conv_02层的卷积核数目，Conv_01的卷积核数目为48，Conv_02的卷积核数目为24；Conv_01层的卷积核大小为3×3×C1，Conv_02层的卷积核大小为3×3×C2，其中C1的值等于Conv_02的卷积核数目，C2的值等于Conv_01的卷积核数目，Conv_01层和Conv_02层的卷积步长均为1；
所述生成网络G的重建模块包括三个卷积层，其中的卷积层Conv_B01以最后一个残差块的输出zNb为输入，另一个卷积层Conv_B02以输入模块的输出z0为输入，Conv_B01和Conv_B02层输出的两个特征图以每个位置对应元素相加的形式加以融合形成一个新的特征图，输入到卷积层Conv_B03，经卷积运算后输出预测图像Conv_B01和Conv_B02层各包含16Cout个卷积核，其中Cout为输出图像的通道数；卷积层Conv_B01的卷积核大小为3×3×C3，卷积层Conv_B02的卷积核大小为3×3×C4，其中C3和C4分别为输入到对应卷积层的特征图的通道数目；卷积层Conv_B03包含Cout个大小为3×3×16Cout的卷积核；卷积层Conv_B01、Conv_B02、Conv_B03的卷积步长均为1；
所述判别网络D的输入层为一个包含32个3×3×1大小卷积核的卷积层，该卷积层之后依次连接了四个结构相同的层次，每个层次中依次为卷积层、批量正则化层和LeakyReLu层，从第一个层次到第四个层次中的卷积层分别包含32、64、128和256个大小为3×3×C...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。