用于多视点视频预测编码的方法和装置以及用于多视点视频预测解码的方法和装置制造方法及图纸

一种多视点视频预测方法和一种多视点视频预测恢复方法。所述多视点视频预测方法包括：通过执行基本视点图像之间的帧间预测来产生包括I画面类型基本视点关键画面和基本视点图像的残差值的基本层图像流；执行用于参考基本视点图像来预测另外视点图像的视点间预测、用于参考在另外视点图像中的另外视点关键画面来预测不同另外视点关键画面的帧间预测、用于参考另外视点图像来预测除另外视点关键画面之外的另外视点图像的帧间预测，并产生包括另外视点图像的残差值的增强层图像流。

Method and device for multi view video prediction coding and method and device for multi view video prediction and decoding

A multi view video prediction method and a multi view video prediction and recovery method are presented. The multi view video prediction method includes: generating the basic layer image stream including the residual values of the basic view key picture and the basic view image of the I picture type by executing the inter frame prediction between the basic view images, and performing the interview prediction for the prediction of the other view image for reference to the basic view image and the reference for reference. The other view key picture in the other view image is used to predict the interframe prediction of different other view key frames, and to predict the interframe prediction of the other view images other than the key points of the other view point, and to generate an enhanced layer image stream including the residual value of the other view image.

【技术实现步骤摘要】
【国外来华专利技术】用于多视点视频预测编码的方法和装置以及用于多视点视频预测解码的方法和装置
本专利技术涉及用于以多视点视频预测结构经由帧间预测和运动补偿对视频进行编码和解码的方法和设备。
技术介绍
随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和提供，越来越需要用于对高分辨率或高质量视频内容进行有效编码或解码的视频编解码器。根据传统的视频编解码器，基于具有预定尺寸的宏块根据受限的编码方法对视频进行编码。空域中的图像数据经由频率变换被变换为频域中的系数。根据视频编解码器，将图像划分为具有预定尺寸的块，对每个块执行离散余弦变换(DCT)，并以块为单位对频率系数进行编码，以进行频率变换的快速计算。与空域中的图像数据相比较，频域中的系数更容易被压缩。具体地，由于空域中的图像像素值根据经由视频编解码器的帧间预测或帧内预测的预测误差被压缩，因此当对预测误差执行频率变换时，可将大量的数据变换为0。根据视频编解码器，可通过使用小量数据代替连续和重复产生的数据来减少数据量。根据多视点视频编码，对基本视点视频和一个或更多个另外视点视频进行编码和解码。通过去除在基本视点视频和另外视点视频之间的时间/空间冗余以及在视点之间的冗余，可减少基本视点视频和另外视点视频的数据量。
技术实现思路
技术问题本专利技术提供经由另外视点图像的帧间预测以及增强层图像流的视点间预测的多视点视频编码和解码。技术问题根据本专利技术的一方面，提供一种多视点视频预测方法，所述方法包括：通过执行基本视点图像之间的帧间预测来产生包括基本视点图像和I画面类型基本视点关键画面的残差值的基本层图像流；执行用于参照基本视点图像来预测另外视点图像的视点间预测、用于参照另外视点图像中的另外视点关键画面来预测不同另外视点关键画面的帧间预测、以及用于参照另外视点图像来预测除另外视点关键画面之外的另外视点图像的帧间预测；并产生包括另外视点图像的残差值的增强层图像流。有益效果当使用根据本专利技术的实施例的多视点预测方法，由于对另外视点图像的部分关键画面执行帧间预测，因此可提高另外视点图像的编码效率，并可减少增强层图像流的比特率。另外，由于深度图以及视点间预测被编码，因此可提高多视点视频的编码效率。当使用根据本专利技术的实施例的多视点视频预测方法时，另外视点关键画面可经由参考相同视点的关键画面的帧间预测以及参考基本视点图像的帧间预测被恢复。另外，当作为参考图像的相同视点的关键画面未被恢复时，可通过使用深度图从基本视点图像恢复另外视点图像。另外，可通过使用深度图和经由多个视点之间的视点间预测所产生的残差值来恢复具有三个或更多个视点的多视点视频。附图说明图1是根据本专利技术的实施例的多视点视频预测设备的框图；图2是根据本专利技术的实施例的多视点视频预测恢复设备的框图；图3是根据本专利技术的实施例的多视点视频预测结构的示图；图4a是根据本专利技术的另一实施例的多视点视频预测结构的框图；图4b示出根据本专利技术的另一实施例的用于图4a的多视点视频预测结构的另外视点图像的增强层的帧间预测结构；图5示出根据本专利技术的实施例的在多视点视频预测结构中的用于另外视点图像的增强层的帧间预测结构；图6示出根据本专利技术的另一实施例的在多视点视频预测结构中的用于另外视点图像的增强层的帧间预测结构；图7示出根据本专利技术的另一实施例的在多视点视频预测结构中的用于另外视点图像的增强层的帧间预测结构；图8a和图8b示出根据本专利技术的实施例的当在图7的增强层的帧间预测结构中产生随机访问时的恢复结果；图9是根据本专利技术的实施例的多视点视频预测方法的流程图；图10是根据本专利技术的实施例的多视点视频预测恢复方法的流程图；图11是根据本专利技术的实施例的视频编码设备的框图；图12是根据本专利技术的实施例的视频解码设备的框图；图13是根据本专利技术的实施例的用于描述编码单元的概念的示图；图14是根据本专利技术的实施例的基于编码单元的图像编码器的框图；图15是根据本专利技术的实施例的基于编码单元的图像解码器的框图；图16是示出根据本专利技术的实施例的根据深度的较深层编码单元和分区的示图；图17是根据本专利技术的实施例的用于描述编码单元和变换单元之间的关系的示图；图18是根据本专利技术的实施例的用于描述与编码深度相应的编码单元的编码信息的示图；图19是根据本专利技术的实施例的根据深度的较深层编码单元的示图；图20至图22是根据本专利技术的实施例的用于描述在编码单元、预测单元和变换单元之间的关系的示图；图23是用于描述根据表1的编码模式信息的在编码单元、预测单元或分区、和变换单元之间的关系的示图；图24a示出根据本专利技术的实施例的存储程序的盘的物理结构；图24b示出通过使用盘来记录和读取程序的磁盘驱动器；图25示出提供内容分布服务的内容供应系统的整体结构；图26和图27示出根据本专利技术的实施例的应用视频编码方法和视频解码方法的移动电话的外部结构和内部结构；图28示出根据本专利技术的实施例的使用通信系统的数字播放系统；图29示出根据本专利技术的实施例的使用视频编码设备和视频解码设备的云计算系统的网络结构。最佳实施方式根据本专利技术的一方面，提供一种多视点视频预测方法，包括：通过执行基本视点图像之间的帧间预测来产生包括I画面类型基本视点关键画面和基本视点图像的残差值的基本层图像流；执行用于参考基本视点图像来预测另外视点图像的视点间预测、用于参考另外视点图像中的另外视点关键画面来预测不同另外视点关键画面的帧间预测、用于参考另外视点图像来预测除另外视点图像画面之外的另外视点图像的帧间预测，并产生包括另外视点图像的残差值的增强层图像流。多视点视频预测方法还可包括：产生指示在基本视点图像和另外视点图像中的具有相同场景的基本视点图像和另外视点图像之间的视点间深度的深度图；发送深度图以及基本层图像流和增强层图像流。产生增强层图像流的步骤可包括：执行参考在另外视点关键画面中的在当前视点关键画面的恢复之前被恢复的另外视点关键画面的对当前另外视点关键画面的帧间预测。产生增强层图像流的步骤可包括：执行参考在另外视点关键画面中的在当前另外视点关键画面的恢复之后被恢复的另外视点关键画面的对当前另外视点关键画面的帧间预测。根据本专利技术的另一方面，提供一种多视点视频预测恢复方法，包括：接收基本层图像流和增强图像流；从基本层图像流恢复I画面类型基本视点关键画面，并通过执行参考基本视点关键画面的对基本视点图像的运动补偿来从基本层图像流恢复基本视点图像；当增强层图像流的另外视点关键画面被访问时，通过执行参考恢复后的基本视点关键画面的视差补偿和参考增强层图像流的不同另外视点关键画面的运动补偿中的至少一个来恢复另外视点关键画面；通过对增强层图像流的另外视点图像执行参考恢复后的基本视点图像的视差补偿和参考在增强层图像流中被首先恢复的恢复后的另外视点图像的运动补偿中的至少一个，来恢复除另外视点关键画面之外的另外视点图像。所述接收的步骤可包括：接收指示在基本视点图像和另外视点图像中的具有相同场景的基本视点图像和另外视点图像之间的视点间深度的深度图。恢复另外视点关键画面的步骤可包括：当在另外视点关键画面中的当前另外视点关键画面的参考图像在当前另外视点关键画面被恢复的时间点处未被恢复时，通过使用与作为参考图像的另外视点关键画面相应的基本视点图像和深度图来恢复参考图像；通过在参考图像被恢复本文档来自技高网...

【技术保护点】
一种多视点视频预测方法，包括：通过执行基本视点图像之间的帧间预测来产生包括I画面类型基本视点关键画面和基本视点图像的残差值的基本层图像流；产生包括通过执行以下预测所产生的另外视点图像的残差值的增强层图像流：用于参考基本视点图像来预测另外视点图像的视点间预测、用于参照另外视点图像中的另外视点关键画面来预测不同另外视点关键画面的帧间预测、用于参考另外视点图像来预测除另外视点关键画面之外的另外视点图像的帧间预测，其中：所述另外视点关键画面和所述不同另外视点关键画面属于相同视点，产生增强层图像流的步骤包括：参考在另外视点关键画面之中的具有比当前另外视点关键画面的POC晚的POC顺序的另外视点关键画面，对当前另外视点关键画面执行帧间预测，另外视点关键画面包括具有最早POC顺序的第一另外视点关键画面、不参考相同视点中的另一个另外视点关键画面而被预测的第二另外视点关键画面、以及参考第二另外视点关键画面而被预测的第三另外视点关键画面。

【技术特征摘要】
【国外来华专利技术】2011.08.09 US 61/521,5431.一种多视点视频预测方法，包括：通过执行基本视点图像之间的帧间预测来产生包括I画面类型基本视点关键画面和基本视点图像的残差值的基本层图像流；产生包括通过执行以下预测所产生的另外视点图像的残差值的增强层图像流：用于参考基本视点图像来预测另外视点图像的视点间预测、用于参照另外视点图像中的另外视点关键画面来预测不同另外视点关键画面的帧间预测、用于参考另外视点图像来预测除另外视点关键画面之外的另外视点图像的帧间预测，其中：所述另外视点关键画面和所述不同另外视点关键画面属于相同视点，产生增强层图像流的步骤包括：参考在另外视点关键画面之中的具有比当前另外视点关键画面的POC晚的POC顺序的另外视点关键画面，对当前另外视点关键画面执行帧间预测，另外视点关键画面包括具有最早POC顺序的第一另外视点关键画面、不参考相同视点中的另一个另外视点关键画面而被预测的第二另外视点关键画面、以及参考第二另外视点关键画面而被预测的第三另外视点关键画面。2.如权利要求1所述的多视点视频预测方法，还包括：产生指示在基本视点图像和另外视点图像中的具有相同场景的基本视点图像和另外视点图像之间的视点间深度的深度图；发送深度图以及基本层图像流和增强层图像流。3.如权利要求1所述的多视点视频预测方法，其中，产生增强层图像流的步骤包括：参考在另外视点关键画面中的具有比当前另外视点关键画面的POC早的POC顺序的另外视点关键画面，对当前另外视点关键画面执行帧间预测。4.一种多视点视频预测恢复方法，包括：接收基本层图像流和增强层图像流；从基本层图像流恢复I画面类型基本视点关键画面，并通过执行参考基本视点关键画面的对基本视点图像的运动补偿来从基本层图像流恢复基本视点图像；当增强层图像流的另外视点关键画面被访问时，通过执行参考恢复后的基本视点关键画面的视差补偿和参考增强层图像流的不同另外视点关键画面的运动补偿中的至少一个来恢复另外视点关键画面，其中，所述不同另外视点关键画面与恢复的另外视点关键画面属于相同视点；通过对增强层图像流的另外视点图像执行参考恢复后的基本视点图像的视差补偿和参考在增强层图像流中被首先恢复的恢复后的另外视点图像的运动补偿中的至少一个，来恢复除另外视点关键画面之外的另外视点图像，增强层图像流包括至少一个第一另外视点关键画面，其中，所述至少一个第一另外视点关键画面是通过参考另外视点关键画面之中的具有比第一另外视点关键画面的POC晚的POC顺序的第二另外视点关键画面来对第一另外视点关键画面执行运动补偿而产生的，另外视点关键画面包括具有最早POC顺序的第一另外视点关键画面、不参考相同视点中的另一个另外视点关键画面而被预测的第二另外视点关键画面、以及参考第二另外视点关键画面而被预测的第三另外视点关键画面。5.如权利要求4所述的多视点视频预测恢复方法，其中，所述接收的步骤包括：接收指示在基本视点图像和另外视点图像中的具有相同场景的基本视点图像和另外视点图像之间的视点间深度的深度图。6.如权利要求5所述的多视点视频预测恢复方法，其中，恢复另外视点关键画面的步骤包括：当在另外视点关键画面中的当前另外视点关键画面的参考图像在当前另外视点关键画面被恢复的时间点处未被恢复时，通过使用与当前另外视点关键画面相应的基本视点图像和深度图来恢复当前另外视点关键画面。7.如权利要求6所述的多视点视频预测恢复方法，其中，恢复另外视点关键画面的步骤包括：当在另外视点关键画面中的...

【专利技术属性】
技术研发人员：崔秉斗，郑丞洙，朴正辉，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR