一种基于宏像素块自适应预测的光场图像压缩方法技术

本发明专利技术公开了一种基于宏像素块自适应预测的光场图像压缩方法，包括：输入原始光场图像f(x,y)，对所述原始光场图像f(x,y)中的宏像素块进行处理得到规则化光场图像L(x,y)；将所述规则化光场图像L(x,y)输入至视频编码器，依据当前编码块B0的位置及大小选择邻域内的预测参考块Bi；基于所述当前编码块B0和所述预测参考块Bi，分别通过线性加权组合预测方法和单一直接预测方法得到所述当前编码块B0的预测值B′0；选择最优的编码预测方法，进行光场图像的压缩。本发明专利技术充分利用光场图像中宏像素块的排布特点，实现对当前编码块的准确预测，有效地降低空域内的冗余信息，进而实现编码效率的有效提升。

【技术实现步骤摘要】
一种基于宏像素块自适应预测的光场图像压缩方法
本专利技术涉及计算机视觉与数字图像处理领域，尤其涉及一种基于宏像素块自适应预测的光场图像压缩方法。
技术介绍
手持式光场相机能够在一次曝光时间下同时记录光线的位置信息和方向信息，获取所得的光场数据可应用于3D立体显示、显著性检验、深度估计等诸多计算机视觉领域，展现出极强的应用前景，引发包括学术界在内的人们广泛关注。光场相机捕获的光场图像在记录了光线角度和位置信息的同时，也具有超高分辨率和特殊的像素分布，这给数据的存储和传输带来了巨大挑战，制约了光场相机的发展和应用。因此，寻找针对光场图像高效的压缩方法成为众多研究学者关心的课题。针对光场图像的压缩，当前的压缩方案可以大致分为两类：基于图像的直接压缩方法和基于伪视频序列的间接压缩方法。其中基于图像的直接压缩方法是利用现有的图像或视频编码器直接对光场图像进行压缩，并引入诸如矢量帧内预测、视差补偿等编码工具，该类方案不可避免地引入块的赝像，同时光场图像中宏像素间的相似关系也未能被有效利用；而基于伪视频序列的间接压缩方法是指从原始光场数据中提取出一系列子光圈图像以不同的扫描方式生成伪视频序列，利用现有的视频编码器对该视频序列进行压缩，该方案虽然提升编码效率，但是计算复杂度也极大增加。两类方案都存在以下问题：由于光场图像中宏像素排布结构与编码器基于块的编码架构的不匹配，导致现有编码工具无法充分利用宏像素之间的相关性，限制了编码效率的进一步提升。以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。
技术实现思路
为解决上述技术问题，本专利技术提出一种基于宏像素块自适应预测的光场图像压缩方法，充分利用光场图像中宏像素块的排布特点，实现对当前编码块的准确预测，有效地降低空域内的冗余信息，进而实现编码效率的有效提升。为达到上述目的，本专利技术采用以下技术方案：本专利技术公开了一种基于宏像素块自适应预测的光场图像压缩方法，包括以下步骤：A1：输入原始光场图像f(x,y)，对所述原始光场图像f(x,y)中的宏像素块进行处理得到规则化光场图像L(x,y)；A2：将所述规则化光场图像L(x,y)输入至视频编码器，依据当前编码块B0的位置及大小选择邻域内的预测参考块Bi；A3：基于所述当前编码块B0和所述预测参考块Bi，分别通过线性加权组合预测方法和单一直接预测方法得到所述当前编码块B0的预测值B0′；A4：从步骤A3中选择最优的编码预测方法，进行光场图像的压缩。优选地，步骤A1中具体还包括：是通过对所述原始光场图像f(x,y)中的宏像素块进行坐标变换和无效像素点插值，得到所述规则化光场图像L(x,y)。优选地，步骤A1中输入的所述原始光场图像f(x,y)是通过光场相机采集后经过前期处理生成的正交排列的微透镜阵列图像，得到的所述规则化光场图像L(x,y)中的所有宏像素块的中心点在横向和纵向上都正交对齐。优选地，其中1≤i≤4。优选地，步骤A2具体包括：比较所述视频编码器的当前编码块的大小与所述规则化光场图像L(x,y)的宏像素块的大小；如果所述当前编码块的大小大于或等于所述宏像素块，则所述预测参考块Bi是位于当前编码块B0的左、左上、上和右上相邻的四个正方形块，该正方形块包含一个或多个宏像素块；如果所述当前编码块的大小小于所述宏像素块，则所述预测参考块Bi是位于当前编码块B0的左、左上、上和右上相邻的四个宏像素块中与所述当前编码块在其所在的宏像素块中具有相同位置的正方形块，该正方形块为部分宏像素块。优选地，步骤A3中的线性加权组合预测方法具体包括：利用所述预测参考块Bi的线性加权组合进行预测，其中所述预测参考块Bi对应的权值wi是通过最小化B0和Bi线性组合的二范数求得。优选地，所述预测参考块Bi对应的权值wi的计算公式为：其中，B0与Bi分别是所述当前编码块B0和所述预测参考块Bi内的像素值构成的向量，通过对数障碍法或CVX法求解式(1)得到所述当前编码块的预测值B0′：B0′＝∑Biwi(2)。优选地，步骤A3中的线性加权组合预测方法还包括通过熵编码方式对权值wi的编码。优选地，步骤A3中的单一直接预测方法，是依据式(3)得到预测值B0′：B0′＝Bi(3)。优选地，步骤A4具体包括：分别计算步骤A3中不同模式下预测值B0′和当前编码块B0的实际值的残差，对不同模式下的模式号进行编码，通过率失真模型自适应选择最优的编码预测方法，进行光场图像的压缩。与现有技术相比，本专利技术的有益效果在于：本专利技术的基于宏像素块自适应预测的光场图像压缩方法，首先利用重新排布的规则化光场图像，通过当前编码块周围邻域内预测参考块的选取，以线性加权组合预测方法和单一直接预测方法完成编码块的预测，最后自适应选择最佳模式后进行光场图像的压缩，有效地避免了传统方法中空域相邻宏像素间的相关性未能充分利用的缺陷，充分利用光场数据中彼此相邻宏像素具有相似的光场信息，实现对当前编码块的准确预测，有效地降低空域内的冗余信息，进而实现编码效率的有效提升，使得光场编码技术大受裨益。在进一步的方案中，步骤A1中通过对原始光场图像中的宏像素块进行坐标变换和非有效像素点插值，实现了光场数据的重新排布，从而搭建所有宏像素块的中心点在横向和纵向上都正交对齐的编码友好的数据处理模型。进一步地，步骤A3中的线性加权组合预测方法利用当前编码块领域的预测参考块实现线性组合精准预测，并且进行权值编码；单一直接预测方法利用单一预测参考块完成当前编码块的直接预测，两种模式达到相互均衡和相互补充。更进一步地，在步骤A4中，通过计算不同模式下预测值和实际值的残差，对不同预测模式下的模式号进行编码，结合权值编码，通过率失真模型自适应选择最优的编码预测模式，实现了对当前编码块的更加准确的预测。附图说明图1是本专利技术优选实施例的光场图像压缩方法的流程示意图；图2a是本专利技术优选实施例的原始光场图像的示意图；图2b是本专利技术优选实施例的规则化光场图像的示意图；图3a是本专利技术优选实施例的选择预测参考块的示例一；图3b是本专利技术优选实施例的选择预测参考块的示例二；图3c是本专利技术优选实施例的选择预测参考块的示例三；图3d是本专利技术优选实施例的选择预测参考块的示例四。具体实施方式下面对照附图并结合优选的实施方式对本专利技术作进一步说明。如图1所示，本专利技术的光场图像压缩方法是基于宏像素块自适应预测的，包括以下步骤：A1：输入一幅原始光场图像f(x,y)，对原始光场图像f(x,y)中的宏像素块进行坐标变换和无效像素点插值，得到规则化光场图像L(x,y)；具体地：输入的原始光场图像f(x,y)为通过光场相机(如LytroIllum)采集所得经过一系列前期处理后生成的正交排列的微透镜阵列图像，如图2a所示，该图像由一系列正交的宏像素组成。图像中每个宏像素对应实际场景中的一点，它能够同时记录光线的位置信息和角度信息，为场景重建提供可能。根据像素检测，得到图像中的宏像素在其水平垂直方向上排布的像素距离，以包含单个完整宏像素的n×n正方形块为单位(其中n的大小和编码器中编码块尺寸一致)，通过纵向和横本文档来自技高网...

【技术保护点】
一种基于宏像素块自适应预测的光场图像压缩方法，其特征在于，包括以下步骤：A1：输入原始光场图像f(x,y)，对所述原始光场图像f(x,y)中的宏像素块进行处理得到规则化光场图像L(x,y)；A2：将所述规则化光场图像L(x,y)输入至视频编码器，依据当前编码块B0的位置及大小选择邻域内的预测参考块Bi；A3：基于所述当前编码块B0和所述预测参考块Bi，分别通过线性加权组合预测方法和单一直接预测方法得到所述当前编码块B0的预测值B′0；A4：从步骤A3中选择最优的编码预测方法，进行光场图像的压缩。

【技术特征摘要】
1.一种基于宏像素块自适应预测的光场图像压缩方法，其特征在于，包括以下步骤：A1：输入原始光场图像f(x,y)，对所述原始光场图像f(x,y)中的宏像素块进行处理得到规则化光场图像L(x,y)；A2：将所述规则化光场图像L(x,y)输入至视频编码器，依据当前编码块B0的位置及大小选择邻域内的预测参考块Bi；A3：基于所述当前编码块B0和所述预测参考块Bi，分别通过线性加权组合预测方法和单一直接预测方法得到所述当前编码块B0的预测值B′0；A4：从步骤A3中选择最优的编码预测方法，进行光场图像的压缩。2.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A1中具体还包括：是通过对所述原始光场图像f(x,y)中的宏像素块进行坐标变换和无效像素点插值，得到所述规则化光场图像L(x,y)。3.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A1中输入的所述原始光场图像f(x,y)是通过光场相机采集后经过前期处理生成的正交排列的微透镜阵列图像，得到的所述规则化光场图像L(x,y)中的所有宏像素块的中心点在横向和纵向上都正交对齐。4.根据权利要求1所述的光场图像压缩方法，其特征在于，其中1≤i≤4。5.根据权利要求4所述的光场图像压缩方法，其特征在于，步骤A2具体包括：比较所述视频编码器的当前编码块的大小与所述规则化光场图像L(x,y)的宏像素块的大小；如果所述当前编码块的大小大于或等于所述宏像素块，则所述预测参考块Bi是位于当前编码块B0的左、左上、上...

【专利技术属性】
技术研发人员：金欣，韩海旭，戴琼海，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44