基于光场子孔径图像相对位置关系的快速运动搜索方法技术

本发明专利技术公开了一种基于光场子孔径图像相对位置关系的快速运动搜索方法，包括：将光场图像转换为子孔径图像序列，并按照一定的顺序将子孔径图像序列转换为视频序列；利用视频压缩的方法对视频序列进行编码，在编码过程的运动搜索环节中，利用当前帧与参考帧的在子孔径图像序列中的位置关系，来确定运动矢量搜索方向，从而获得最佳搜索起始点，并结合最佳搜索起始点在其邻域的若干点中进行亚像素搜索。采用本发明专利技术公开的方案加快了运动搜索过程，并降低了编码的复杂度。

A fast motion estimation method of relative position between light field aperture based on image

The invention discloses a method for fast motion search, relative position of light field based on aperture image includes light field image into sub aperture image sequences, and according to the order of the conversion of sub aperture image sequence of the video sequence; for encoding video sequences using the method of video compression and encoding process in motion the search link, use in the sub aperture image sequence in the position between the current frame and the reference frame, to determine the motion vector search direction, thus achieving the best search starting point, combined with the best search starting point for sub-pixel search in some points in the neighborhood. The scheme of the invention accelerates the motion search process and reduces the coding complexity.

【技术实现步骤摘要】
基于光场子孔径图像相对位置关系的快速运动搜索方法
本专利技术涉及光场图像压缩
，尤其涉及一种基于光场子孔径图像相对位置关系的快速运动搜索方法。
技术介绍
光场是用来描述通过空间中每一个点和每一个方向的光的量的一个函数。离散化的光场可以用四维参数表示，包含了光在空间中的位置和方向信息。目前，获取光场信息的手段颇多，有基于相机阵列[1]和基于微透镜阵列[2]的诸多采样方法。本专利技术专利讨论的光场图像是基于微透镜阵列的LytroIllum光场相机[3]拍摄得到的。光场图像记录了四维光场信息，而非传统相机记录的二维光强信息。如果我们将光场图像转换为子孔径图像(subapertureimage)，那么各个子孔径图像之间仅仅是存在微小的视角变换而已，它们的信息冗余非常大。传统的图像压缩标准如JPEG等已不适合光场图像的压缩，我们需要根据光场图像的特性开发针对光场图像数据的高效压缩方法。目前的视频压缩的方法中，为了提高压缩效率，一般要对编码块进行运动补偿，从而消除时(空)域冗余信息。在基于块运动补偿的视频编码框架中，运动搜索是极其重要的环节之一，同时也是复杂度最高的部分。H.265/HEVC的官方测试编码器给出了两种搜索算法：全搜索算法、TZSearch[4]算法。但是，这两种算法的复杂度仍然非常大，特别是前者，虽然性能略有增加，但是运动搜索时间为TZSearch的5倍。
技术实现思路
本专利技术的目的是提供一种基于光场子孔径图像相对位置关系的快速运动搜索方法，加快了运动搜索过程，并降低了编码的复杂度。本专利技术的目的是通过以下技术方案实现的：一种基于光场子孔径图像相对位置关系的快速运动搜索方法，包括：将光场图像转换为子孔径图像序列，并按照一定的顺序将子孔径图像序列转换为视频序列；利用视频压缩的方法对视频序列进行编码，在编码过程的运动搜索环节中，利用当前帧与参考帧的在子孔径图像序列中的位置关系，来确定运动矢量搜索方向，从而获得最佳搜索起始点，并结合最佳搜索起始点在其邻域的若干点中进行亚像素搜索。所述按照一定的顺序将子孔径图像序列转换为视频序列包括：将子孔径图像序列的不规则区域使用横向zigzag扫描方式，在规则区域使用U形扫描方式，从而获得相应的视频序列。所述利用当前帧与参考帧的在子孔径图像序列中的位置关系，来确定运动矢量搜索方向，从而获得最佳搜索起始点，并结合最佳搜索起始点在其邻域的若干点中进行亚像素搜索包括：从视频序列的当前帧中的预测单元PU的左、上、右上PU的运动矢量MV，三者中值MV以及零运动矢量zeroMV中选取匹配误差最小的像素点作为搜索起始点，并确定搜索步长N；计算当前帧以及参考帧在子孔径图像序列中的坐标，确定参考帧相对于当前帧的位置，从而确定运动矢量搜索方向；按照运动矢量搜索方向，取与搜索起始点相邻的像素点，并进行匹配误差比较；若搜索起始点的匹配误差最小，则运动矢量搜索结束，最佳搜索起始点即为所述搜索起始点；否则，将搜索到的匹配误差最小的像素点作为新的搜索起始点，搜索步长加1，并重复搜索上述运动矢量搜索过程；运动矢量搜索的终止条件为新的搜索起始点的匹配误差小于其运动矢量搜索方向中所有相邻像素点的匹配误差，或者达到设定的搜索步长N；以获得最佳搜索起始点为中心，在其邻域的三个点(0,0),(0,y/|y|),(x/|x|,0)进行1/n和1/m亚像素搜索；其中，(x,y)表示最佳搜索起始点对应像素点的运动矢量。由上述本专利技术提供的技术方案可以看出，以当前帧和参考帧之间的相对位置关系作为先验知识，指导每一步的运动搜索方向。在整像素搜索阶段，本专利提出的方法只进行两点或三点搜索，相比于HEVC中的全搜索以及TZSearch中的菱形搜索、正方向搜索有了很大的简化；而在亚像素搜索时，本专利提出的方法仅在三个点进行搜索，相比于HEVC中的8点搜索，该方法进一步降低了编码的复杂度。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种基于光场子孔径图像相对位置关系的快速运动搜索方法的流程图；图2为本专利技术实施例提供的确定参考帧相对于当前帧的位置的示意图；图3为本专利技术实施例提供的确定参考帧相对于当前帧的位置的示意图；图4为本专利技术实施例提供的根据运动矢量搜索方向与搜索起始点来搜索最佳搜索起始点的示意图；图5为本专利技术实施例提供的亚像素搜索的示意图；图6为本专利技术实施例提供的将子孔径图像序列转换为视频序列的示意图；图7为本专利技术实施例提供的实验结果对比图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。图1为本专利技术实施例提供的一种基于光场子孔径图像相对位置关系的快速运动搜索方法的流程图。如图1所示，其主要包括：步骤11、将光场图像转换为子孔径图像序列，并按照一定的顺序将子孔径图像序列转换为视频序列。本专利技术实施例中，可以将子孔径图像序列的不规则区域使用横向zigzag扫描方式，在规则区域使用U形扫描方式，从而获得相应的视频序列。步骤12、利用视频压缩的方法对视频序列进行编码，在编码过程的运动搜索环节中，利用当前帧与参考帧的在子孔径图像序列中的位置关系，来确定运动矢量搜索方向，从而获得最佳搜索起始点，并结合最佳搜索起始点在其邻域的若干点中进行亚像素搜索。由于进行完亚像素运动搜索后，就可以将搜索得到的像素块作为当前编码像素块的预测块，从而采用常规方式进行预测编码。本专利技术实施例中，光场图像的每幅子孔径图像是对光场某一方向的采样，也可看作在不同视角下拍摄的同一场景的图像，因此各个子孔径图像之间存在着一定的视差。在将光场图像转换为视频序列进行压缩时，我们可以利用当前帧(当前子孔径图像)和参考帧(参考子孔径图像)的视差，对运动搜索算法进行优化。在实现的过程中，为了进一步简化，我们没有直接计算视差，而是直接利用了当前帧和参考帧的位置关系；具体如下：1、从视频序列的当前帧中的预测单元PU的左、上、右上PU的运动矢量MV，三者中值MV以及零运动矢量zeroMV中选取匹配误差最小的像素点作为搜索起始点，并确定搜索步长N。2、计算当前帧以及参考帧在子孔径图像序列中的坐标，确定参考帧相对于当前帧的位置，从而确定运动矢量搜索方向。示例性的，可以参见图2与图3。图2与图3为子孔径图像序列，每个方格均表示一个子孔径图像，其中的标记1表示当前帧(当前子孔径图像)，标记2表示参考帧(参考子孔径图像)。黑色的方格是因为成像过程中的渐晕效应等导致子孔径图像不清晰，在进行压缩编码的时，已经将黑色的子孔径图像剔除。如图2中，参考帧相对于当前帧的位置为左、下，则运动矢量搜索方向为右、上；同理，图3中，运动矢量搜索方向为左、上和下。3、按照运动矢量搜索方向，取与搜索起始点相邻的像素点，并进行匹配误差比较；若搜索起始点的匹配误差最小，则运动矢量搜索结本文档来自技高网...

【技术保护点】
一种基于光场子孔径图像相对位置关系的快速运动搜索方法，其特征在于，包括：将光场图像转换为子孔径图像序列，并按照一定的顺序将子孔径图像序列转换为视频序列；利用视频压缩的方法对视频序列进行编码，在编码过程的运动搜索环节中，利用当前帧与参考帧的在子孔径图像序列中的位置关系，来确定运动矢量搜索方向，从而获得最佳搜索起始点，并结合最佳搜索起始点在其邻域的若干点中进行亚像素搜索。

【技术特征摘要】
1.一种基于光场子孔径图像相对位置关系的快速运动搜索方法，其特征在于，包括：将光场图像转换为子孔径图像序列，并按照一定的顺序将子孔径图像序列转换为视频序列；利用视频压缩的方法对视频序列进行编码，在编码过程的运动搜索环节中，利用当前帧与参考帧的在子孔径图像序列中的位置关系，来确定运动矢量搜索方向，从而获得最佳搜索起始点，并结合最佳搜索起始点在其邻域的若干点中进行亚像素搜索。2.根据权利要求1所述的一种基于光场子孔径图像相对位置关系的快速运动搜索方法，其特征在于，所述按照一定的顺序将子孔径图像序列转换为视频序列包括：将子孔径图像序列的不规则区域使用横向zigzag扫描方式，在规则区域使用U形扫描方式，从而获得相应的视频序列。3.根据权利要求1所述的一种基于光场子孔径图像相对位置关系的快速运动搜索方法，其特征在于，所述利用当前帧与参考帧的在子孔径图像序列中的位置关系，来确定运动矢量搜索方向，从而获得最佳搜索起始点，并结合最佳搜索起始点在其邻域的若...

【专利技术属性】
技术研发人员：陈志波，黄宏睿，杨昆，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34