面向JPEG Pleno光场编码失真的盲伪影去除方法技术

本发明专利技术公开了一种面向JPEG Pleno光场编码失真的盲伪影去除方法，其构建JPEG Pleno编码失真的光场图像数据集，并分为训练集和测试集；搭建JPLARNet网络，它包括空角特征分离融合模块、多尺度解耦器、压缩因子预测器、压缩因子调节器、多尺度重建器、混合注意力增强模块；在训练阶段，基于训练集对JPLARNet网络进行训练，每轮训练结束时JPLARNet网络输出去伪影后的重建修复光场图像，并计算损失函数；在测试阶段，使用训练好的JPLARNet网络模型对测试集进行预测，得到测试集中的每张失真光场图像对应的去伪影后的重建修复光场图像；优点是提高了经过网络后修复的光场图像的客观质量指标和主观视觉感官效果。

【技术实现步骤摘要】

本专利技术涉及一种光场失真图像伪影去除技术，尤其是涉及一种面向jpeg pleno光场编码失真的盲伪影去除方法。

技术介绍

1、光场成像技术可以同时记录场景中的光线强度和方向，为用户提供更为真实的场景信息。与传统的2d图像不同，光场图像不仅包含了空间信息，而且还包含了角度信息。由于光场图像记录了更多的信息，导致数据量巨大，这对存储和传输构成了挑战。因此，需要对光场图像进行压缩。目前光场图像常用的压缩方法为hevc伪视频压缩方法，其将光场图像视作一个视频，每一个视点视为一个视频帧，这样做虽能够将光场图像压缩，但是破坏了光场的角度一致性。

2、基于上述情况，jpeg委员会提出jpeg pleno光场编码方法，其支持两种编码方式，分别为变换模式(4d transform mode，4dtm)与预测模式(4d prediction mode，4dpm)。4dtm基于四维离散余弦变换(4d-dct)和块划分，而4dpm利用光场数据之间的相关性进行预测编码。对于角度密度极高的光场4dtm相对于4dpm表现更优。但无论是4dtm还是4dpm其相比于hevc伪本文档来自技高网...

【技术保护点】

1.一种面向JPEG Pleno光场编码失真的盲伪影去除方法，其特征在于包括以下步骤：

2.根据权利要求1所述的面向JPEG Pleno光场编码失真的盲伪影去除方法，其特征在于所述步骤1中的初始训练集和测试集的获取过程为：

3.根据权利要求1所述的面向JPEG Pleno光场编码失真的盲伪影去除方法，其特征在于所述空角特征分离融合模块由依次连接的第一卷积层、第1个空角特征分离融合块、第2个空角特征分离融合块、第3个空角特征分离融合块、第4个空角特征分离融合块、第二卷积层组成；第一卷积层的输入端接收微透镜图像，第一卷积层的输出端输出64张高度为H×V且宽度为W×U的...

【技术特征摘要】

1.一种面向jpeg pleno光场编码失真的盲伪影去除方法，其特征在于包括以下步骤：

2.根据权利要求1所述的面向jpeg pleno光场编码失真的盲伪影去除方法，其特征在于所述步骤1中的初始训练集和测试集的获取过程为：

3.根据权利要求1所述的面向jpeg pleno光场编码失真的盲伪影去除方法，其特征在于所述空角特征分离融合模块由依次连接的第一卷积层、第1个空角特征分离融合块、第2个空角特征分离融合块、第3个空角特征分离融合块、第4个空角特征分离融合块、第二卷积层组成；第一卷积层的输入端接收微透镜图像，第一卷积层的输出端输出64张高度为h×v且宽度为w×u的特征图，将输出的所有特征图构成的集合记为fd1；第1个空角特征分离融合块的输入端接收fd1中的所有特征图，第2个空角特征分离融合块的输入端接收第1个空角特征分离融合块的输出端输出的所有特征图，第3个空角特征分离融合块的输入端接收第2个空角特征分离融合块的输出端输出的所有特征图，第4个空角特征分离融合块的输入端接收第3个空角特征分离融合块的输出端输出的所有特征图，第4个空角特征分离融合块的输出端输出64张高度为h×v且宽度为w×u的特征图，将输出的所有特征图构成的集合记为fd2；第二卷积层的输入端接收fd2中的所有特征图，第二卷积层的输出端输出64张高度为h×v且宽度为w×u的特征图，将输出的所有特征图构成的集合记为fd3；对fd1与fd3进行元素加法操作，将得到的结果作为图像特征f1；其中，第一卷积层的卷积核的尺寸为3×3、卷积步长为1、输入通道数为3、输出通道数为64，第二卷积层的卷积核的尺寸为3×3、卷积步长为1、卷积扩张系数为angres、输入通道数为64、输出通道数为64。

4.根据权利要求3所述的面向jpeg pleno光场编码失真的盲伪影去除方法，其特征在于四个所述空角特征分离融合块的结构相同，均由用于获取空间信息的空间特征提取器、用于获取角度信息的角度特征提取器和用于获取极平面信息的极平面特征提取器以及第三卷积层组成，极平面特征提取器包含水平epi提取器和垂直epi提取器；在第i个空角特征分离融合块中，空间特征提取器、角度特征提取器和极平面特征提取器各自的输入端并行作为第i个空角特征分离融合块的输入端，空间特征提取器的输出端输出64张高度为h×v且宽度为w×u的特征图，并将输出的所有特征图构成的集合记为fs,i，角度特征提取器的输出端输出16张高度为h×v且宽度为w×u的特征图，并将输出的所有特征图构成的集合记为fa,i，水平epi提取器的输入端直接接收进入极平面特征提取器的所有特征图，水平epi提取器的输出端输出32张高度为h×v且宽度为w×u的特征图，并将输出的所有特征图构成的集合记为feh,i，垂直epi提取器的输入端接收进入极平面特征提取器的所有特征图经高度和宽度调换后得到的所有特征图即接收64张高度为w×u且宽度为h×v的特征图，垂直epi提取器的输出端输出32张高度为w×u且宽度为h×v的特征图，并将输出的所有特征图构成的集合记为fev,i，对fs,i、fa,i、feh,i、fev,i在通道方向上进行拼接操作，并将得到的144张高度为h×v且宽度为w×u的特征图构成的集合记为fcat,i，第三卷积层的输入端接收fcat,i中的所有特征图，第三卷积层的输出端作为第i个空角特征分离融合块的输出端输出64张高度为h×v且宽度为w×u的特征图，并将输出的所有特征图构成的集合记为fsasfm-b,i，其中，i＝1,2,3,4，第1个空角特征分离融合块的输入端接收fd1中的所有特征图，第2个空角特征分离融合块的输入端接收fsasfm-b,1中的所有特征图，第3个空角特征分离融合块的输入端接收fsasfm-b,2中的所有特征图，第4个空角特征分离融合块的输入端接收fsasfm-b,3中的所有特征图，第4个空角特征分离融合块的输出端输出的所有特征图构成的集合fsasfm-b,4重新记为fd2，第三卷积层的卷积核的尺寸为1×1、卷积步长为1、卷积扩张系数为angres、输入通道数为144、输出通道数为64。

5.根据权利要求4所述的面向jpeg pleno光场编码失真的盲伪影去除方法，其特征在于所述空间特征提取器由依次连接的第四卷积层和第五卷积层组成，第四卷积层的输入端作为其所在的空间特征提取器的输入端，第五卷积层的输入端接收第四卷积层的输出端输出的64张高度为h×v且宽度为w×u的特征图，第五卷积层的输出端作为其所在的空间特征提取器的输出端输出64张高度为h×v且宽度为w×u的特征图，其中，第四卷积层和第五卷积层的卷积核的尺寸为3×3、卷积步长为1、卷积扩张系数为1、输入通道数为64、输出通道数为64，第四卷积层和第五卷积层采用relu激活函数；

6.根据权利要求1所述的面向jpeg pleno光场编码失真的盲伪影去除方法，其特征在于所述多尺度解耦器由依次连接的...

【专利技术属性】
技术研发人员：赖嘉隆，蒋刚毅，陈晔曜，
申请(专利权)人：宁波大学，
类型：发明
国别省市：