【技术实现步骤摘要】
本专利技术涉及深度学习、图像编码领域，尤其涉及一种端到端光场图像编码方法。
技术介绍
1、随着光场成像技术的快速发展，光场图像在增强现实、自由视点渲染、3d重建等领域得到了广泛应用，但光场图像的密集视点以及高分辨率特性为存储和传输带来了巨大挑战。为此，学者们致力于研究光场图像编码方法，以提高光场图像的存储和传输效率。
2、传统的光场图像编码方法主要可分为基于变换和基于伪视频序列的方法。基于变换的方法依赖光场图像的内在相关性，通过采用不同变换编码技术对光场图像进行去相关处理，以消除光场图像中的冗余信息。这些方法在降低空域冗余方面取得了一定效果，但随着光场角度分辨率的增加，编码效率难以进一步提升。为解决这一问题，一些研究学者提出了基于伪视频序列的光场图像编码方法。该方法将光场子孔径图像排列成伪视频序列，并运用传统视频编码技术压缩伪视频序列，有效提高了编码效率。然而，基于伪视频序列的方法通常需要繁琐的预处理步骤，例如：子孔径图像排序和伪视频序列生成等，这增加了整个编码过程的复杂度。
3、得益于深度学习强大的特征提取和非线性表达能力，基于深度学习的端到端光场图像编码方法无需复杂的预处理步骤，取得了与传统光场图像编码方法可比的编码性能。tong等人提出了基于深度学习的端到端光场图像编码方法，通过利用扩张卷积和膨胀卷积来实现光场图像中空间和角度信息的解耦，以去除空间和角度信息冗余，从而提高光场图像的编码效率。zhong等人提出了一种数据结构自适应的3d卷积编码器，该方法能够沿着角度分辨率或空间分辨率对光场图像进行上采
技术实现思路
1、现有光场图像编码方法通常仅利用空间或有限视差范围的角度特征，未能充分挖掘光场图像epi域中特有的大视差角度信息；此外，现有方法缺乏对多域特征内在相关性的有效利用，难以有效去除特征间的冗余；本专利技术提出一种端到端光场图像编码方法，通过充分挖掘epi域中的大视差角度信息，获得完备视差范围的角度特征表示；同时，通过建模空间和完备视差范围的角度特征间的内在相关性以有效去除特征间冗余，进而提升光场图像的编码性能，详见下文描述：
2、一种端到端光场图像编码方法，方法包括：
3、利用光场多域特征及其相关性，挖掘epi域的大视差角度信息以获得完备视差范围的角度特征表示，并建模特征间的相关性以去除特征间的冗余信息；
4、将提取到的角度域特征和epi域特征作为输入，挖掘epi域中大视差范围的角度信息，获得完备视差范围的角度特征表示；
5、利用空间和完备视差范围的角度特征间的内在相关性，去除特征之间的冗余信息；
6、使用率失真损失函数作为损失函数，采用可变码率的训练方式，得到可以测试对应不同λ的可变码率模型。
7、其中，所述端到端光场图像编码网络的输入为原始光场图像，输出为压缩后的重建光场图像；在编码端，首先使用特征提取模块将当前编码图像映射至特征空间，得到光场图像空间特征、有限视差范围的角度特征以及epi特征。
8、其中，所述方法使用空间角度联合变换模块去除空间和完备视差范围的角度特征间的冗余信息；经过卷积层和激活层组成的特征融合模块以获得潜在特征表示，并对潜在表示进行熵编解码；重建的潜在表示经过解码端得到压缩重建的光场图像，其中，解码端由空间角度联合逆变换模块和重建模块组成。
9、其中，所述获得完备视差范围的角度特征表示为：
10、将输入的局部角度特征fa和epi域特征fe通过两个残差块生成特征fa'和fe'，再应用互注意力机制建模特征间的相似性关系，并经过通道级联后进行非线性变换，最后得到共有特征fea，计算公示为：
11、
12、fa'＝r(fa),fe'＝r(fe)
13、其中，fl(·)表示互注意力函数，hl(·)由两层卷积层和一层激活层堆叠组成，代表通道维度的级联，r(·)由两层残差块组成；根据fea从fe'中挖掘具有大视差角度信息的补全特征，将补全特征和fa'通过级联融合，得到完备视差范围的角度特征表示具体计算过程如下所示：
14、
15、其中，gl(·)由一层卷积层和一层激活层组成。
16、其中，所述利用空间和完备视差范围的角度特征间的内在相关性，去除特征之间的冗余信息为：
17、
18、
19、其中，rs(·)和ra(·)由两层卷积层和一层激活层组成，fc(·)由一层卷积层和一层激活层组成；
20、
21、
22、其中，输入空间特征fs和完备视差范围的角度特征经过tms-s和tms-a后分别得到信息紧凑的空间特征和角度特征表示
23、本专利技术提供的技术方案的有益效果是：
24、1、本专利技术通过充分利用光场多域特征及其相关性，充分挖掘epi域的大视差角度信息以获得完备视差范围的角度特征表示；
25、2、本专利技术通过建模空间和角度间的内在相关性以去除特征间的冗余信息。
本文档来自技高网...【技术保护点】
1.一种端到端光场图像编码方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种端到端光场图像编码方法，其特征在于，所述端到端光场图像编码网络的输入为原始光场图像，输出为压缩后的重建光场图像；在编码端，首先使用特征提取模块将当前编码图像映射至特征空间，得到光场图像空间特征、有限视差范围的角度特征以及EPI特征。
3.根据权利要求1所述的一种端到端光场图像编码方法，其特征在于，所述方法使用空间角度联合变换模块去除空间和完备视差范围的角度特征间的冗余信息；经过卷积层和激活层组成的特征融合模块以获得潜在特征表示，并对潜在表示进行熵编解码；重建的潜在表示经过解码端得到压缩重建的光场图像，其中，解码端由空间角度联合逆变换模块和重建模块组成。
4.根据权利要求1所述的一种端到端光场图像编码方法，其特征在于，所述获得完备视差范围的角度特征表示为：
5.根据权利要求1所述的一种端到端光场图像编码方法，其特征在于，所述利用空间和完备视差范围的角度特征间的内在相关性，去除特征之间的冗余信息为：
【技术特征摘要】
1.一种端到端光场图像编码方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种端到端光场图像编码方法，其特征在于，所述端到端光场图像编码网络的输入为原始光场图像，输出为压缩后的重建光场图像；在编码端，首先使用特征提取模块将当前编码图像映射至特征空间，得到光场图像空间特征、有限视差范围的角度特征以及epi特征。
3.根据权利要求1所述的一种端到端光场图像编码方法，其特征在于，所述方法使用空间角度联合变换模块去除空间和完备视差范围的角度特...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。