基于成像相关的多焦距光场视频帧内预测方法和装置制造方法及图纸

一种基于成像相关的多焦距光场视频帧内预测方法，包括：S1、根据当前预测单元的位置和光场相机参数计算出当前预测单元对应的透镜类型I

【技术实现步骤摘要】
基于成像相关的多焦距光场视频帧内预测方法和装置
本专利技术涉及计算机视觉与数字处理领域，具体涉及一种基于成像相关的多焦距光场视频帧内预测方法。
技术介绍
光场相机是一种能同时捕获光线的强度和角度信息的新型相机，可用于立体显示、三维重建以及虚拟现实等计算机视觉领域，引起了研究人员的广泛关注。为了进一步提升采集的光场质量，研究人员们提出了基于多焦距微透镜阵列的光场相机，可同时对多个场景深度进行聚焦。然而这种新型的相机采集到的光场图像或视频具有比传统光场更为复杂的像素分布结构，同一物体在不同焦距透镜下的像相关性下降，使得用现有的编解码算法和编解码软硬件架构的压缩效率极具下降，也制约着高质量光场内容的进一步发展和应用。因此，研究针对这种新型光场数据的编码技术，寻找针对性的高效压缩方法成为由平面多媒体迈向立体影像时代急需且必须的核心技术。目前尚未有针对这种新型光场数据利用帧内预测技术的直接压缩方法，但是用传统图像的方法也能对这种新型光场数据进行压缩，只是能够获得的压缩率十分有限；如HEVC(HighEfficiencyVideoCoding)自身的帧内预测方法能够处理光场视频，达到一定的压缩效果。但是由于光场数据的数据量较普通图像或视频急剧上升，将光场数据作为传统图像视频进行压缩，将耗费巨大的计算资源。尽管一些传统的光场图像压缩方法也能用于压缩这种新型光场数据，但压缩效率不高。目前利用帧内预测对光场图像视频进行直接压缩的方法中，统一存在的缺陷就是由于图像中宏像素结构间的相关性未能充分利用，进而影响了编码效率。专利技术内容本专利技术的主要目的在于克服现上述技术缺陷中的至少一种，提供一种基于成像相关的多焦距光场视频帧内预测方法。为实现上述目的，本专利技术采用以下技术方案：一种基于成像相关的多焦距光场视频帧内预测方法，包括以下步骤：S1、输入要进行帧内预测的当前预测单元，根据当前预测单元的位置和光场相机参数计算出当前预测单元对应的透镜类型I0；S2、根据透镜类型I0和相机参数分别确定出透镜类型I0左、左上和右上相邻宏像素对应的透镜类型I1，I2和I3；S3、根据透镜间的焦距关系分别计算出左、左上、右上相邻宏像素下的参考块的左上方像素点的位置p1，p2，p3和缩放因子f1，f2和f3；S4、分别对位置p1，p2，p3的参考块进行f1，f2，f3倍数的缩放，生成新的参考块x1，x2，x3；S5、对新的参考块x1，x2和x3进行加权预测得到帧内预测块y。进一步地，还可包括以下步骤：S6、通过代价函数，从包含所述帧内预测块y在内的由多个不同帧内预测模式预测得到的多个帧内预测块中进行选择，确定最佳预测块。一种基于成像相关的多焦距光场视频帧内预测装置，包括计算机可读存储介质和处理器，所述计算机可读存储介质存储有可执行程序，所述可执行程序被所述处理器执行时，实现所述的基于成像相关的多焦距光场视频帧内预测方法。一种计算机可读存储介质，所述计算机可读存储介质存储有可执行程序，所述可执行程序被处理器执行时，实现所述的基于成像相关的多焦距光场视频帧内预测方法。本专利技术提供的上述技术方案，与现有技术相比，至少具有以下有益效果：首先确定出输入的预测单元对应的透镜类型和相邻宏像素对应的透镜类型，以选择出最佳的缩放参数和相应的参考块，从而提高参考块和当前预测单元的相关性。其次，对选取的参考块按照相应的缩放因子进行缩放，使得不同焦距透镜下的像具有一致的尺度，进一步提高参考块与当前预测单元的相关性，进而提高预测准确度。最后对经缩放后的参考块进行加权预测，提高算法的鲁棒性。在此基础上，最终可以根据HEVC自身的框架完成整个光场图像视频的压缩过程，采用本专利技术提供的上述帧内预测方法，可以为整个压缩过程节省更多的码流，提高了光场图像视频的压缩率，并降低了编解码两端的计算复杂度。附图说明图1是本专利技术优选实施例提供的一种基于宏像素的光场视频帧间预测方法的流程图；图2是其中一种示例性多焦距光场相机成像示意图；图3是一种具体实施例中的边缘匹配算法示意图。具体实施方式以下对本专利技术的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利技术的范围及其应用。参阅图1，本专利技术实施例提出一种基于成像相关的多焦距光场视频帧内预测方法，包括以下步骤：S1、输入要进行帧内预测的当前预测单元，根据当前预测单元的位置和光场相机参数计算出当前预测单元对应的透镜类型I0；S2、根据透镜类型I0和相机参数分别确定出透镜类型I0左、左上和右上相邻宏像素对应的透镜类型I1，I2和I3；S3、根据透镜间的焦距关系分别计算出左、左上、右上相邻宏像素下的参考块位置p1，p2，p3和缩放因子f1，f2和f3；S4、分别对位置p1，p2，p3的参考块进行f1，f2，f3倍数的缩放，生成新的参考块x1，x2，x3；S5、对新的参考块x1，x2和x3进行加权预测得到帧内预测块y。如图1所示，在一种优选的实施例中，所述方法还包括：S6、通过代价函数，从包含所述帧内预测块y在内的由多个不同帧内预测模式预测得到的多个帧内预测块中进行选择，确定最佳预测块。本专利技术实施例提出的基于成像相关的多焦距光场视频帧内预测方法，基于挖掘光场数据中宏像素之间的相关性和相似性的分析，根据同意物体在不同焦距透镜下的成像相关性，有针对性的对不同焦距微透镜下的像进行变换，从而提高宏像素间的相关性。最后选取相关性较高的参考块进行帧内预测，实现编码效率的提升。本专利技术实施例的光场视频帧内预测方法既能提升光场数据的编码压缩效率，同时又能降低编解码两端的计算复杂度。以下结合附图进一步描述本专利技术具体实施例的特征和优点。本专利技术的实施例提供了一种基于成像相关的多焦距光场视频帧内预测方法，用于在对光场图像视频进行压缩编码的过程中进行帧内预测，本专利技术的方法可以适用于大多数视频编码的软件，在后述的说明中以应用于HM16.15软件中为例。编码软件的类型和版本不对本专利技术的保护范围构成限制。参考图1，本专利技术的所述方法包括以下步骤S1至S6：步骤S1，输入要进行帧内预测的当前预测单元，通过已知的光场相机微透镜阵列各焦距微透镜的分布和当前预测单元的位置确定出对应的透镜类型I0。步骤S2，通过已知的光场相机微透镜阵列各焦距微透镜的分布确定出I0左、左上和右上宏像素对应的透镜类型I1，I2和I3。步骤S3，根据透镜间的焦距关系分别计算出左、左上、右上相邻宏像素下的参考块的左上方像素点的位置p1，p2，p3和缩放因子f1，f2和f3。图2中，中轴线上的透镜为示例的聚焦透镜，图2中上下相邻透镜均为非聚焦透镜。图2中最右侧为物平面5。在一些具体实施例中，如图2所示，步骤S3中各参考块的位置通过如下方法得到：先计算相邻透镜与聚焦透镜的成像距离s，其中，a为像平面3与微透镜阵列2之间的水平距离，b本文档来自技高网...

【技术保护点】
1.一种基于成像相关的多焦距光场视频帧内预测方法，其特征在于：包括以下步骤：/nS1、输入要进行帧内预测的当前预测单元，根据当前预测单元的位置和光场相机参数计算出当前预测单元对应的透镜类型I

【技术特征摘要】
1.一种基于成像相关的多焦距光场视频帧内预测方法，其特征在于：包括以下步骤：
S1、输入要进行帧内预测的当前预测单元，根据当前预测单元的位置和光场相机参数计算出当前预测单元对应的透镜类型I0；
S2、根据透镜类型I0和相机参数分别确定出透镜类型I0左、左上和右上相邻宏像素对应的透镜类型I1，I2和I3；
S3、根据透镜间的焦距关系分别计算出左、左上、右上相邻宏像素下的参考块的左上方像素点的位置p1，p2，p3和缩放因子f1，f2和f3；
S4、分别对各位置p1，p2，p3的参考块进行f1，f2，f3倍数的缩放，生成新的参考块x1，x2，x3；
S5、对新的参考块x1，x2和x3进行加权预测得到帧内预测块y。


2.如权利要求1所述的基于成像相关的多焦距光场视频帧内预测方法，其特征在于：还包括以下步骤：
S6、通过代价函数，从包含所述帧内预测块y在内的由多个不同帧内预测模式预测得到的多个帧内预测块中进行选择，确定最佳预测块。


3.如权利要求1或2所述的基于成像相关的多焦距光场视频帧内预测方法，其特征在于：步骤S1中，根据光场相机微透镜阵列各焦距微透镜的分布和当前预测单元的位置确定出对应的透镜类型I0。


4.如权利要求1至3任一项所述的基于成像相关的多焦距光场视频帧内预测方法，其特征在于：步骤S2中，根据光场相机微透镜阵列各焦距微透镜的分布确定出透镜类型I0左、左上和右上相邻宏像素对应的透镜类型I1，I2和I3。


5.如权利要求1至4任一项所述的基于成像相关的多焦距光场视频帧内预测方法，其特征在于：步骤S3中各参考块的位置通过如下方法得到：
先计算相邻透镜与聚焦透镜的成像距离s，






其中，a为像平面与微透镜阵列间的水平距离，b为传感器到微透镜阵列间的距离，b′为相邻透镜到其成像平面的距离，d为微透镜直径，F’为相邻透镜的焦距，当像平面位于微透镜阵列与主透镜之间时取‘+’，当像平面位于传感器之后时取‘-...

【专利技术属性】
技术研发人员：金欣，李羚俊，江帆，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44