视频编码装置及方法以及视频解码装置及方法制造方法及图纸

本发明专利技术是一种对编码对象视频所包含的编码对象图像进行预测编码的视频编码装置。具有：预测单元，将已经编码完毕的图像作为参照图片来预测编码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；第二参照信息决定单元，根据与所述第一参照区域对应的深度图来决定示出作为针对编码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及预测图像生成单元，基于所述第二参照信息或者所述第一参照信息和所述第二参照信息双方来生成预测图像。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及视频编码装置、视频解码装置、视频编码方法、以及视频解码方法。本申请基于在2013年10月17日申请的特愿2013-216525号要求优先权，并将其内容引用于此。
技术介绍
在通常的视频编码中，利用被摄物的空间上/时间上的连续性将视频的各帧分割为处理单位的块，按照每个块在空间上/时间上对其视频信号进行预测，对示出其预测方法的预测信息和预测残差信号进行编码，由此，与对视频信号本身进行编码的情况相比，谋求大幅度的编码效率的提高。此外，在通常的二维视频编码中，进行参照相同的帧内的已经编码完毕的块来对编码对象信号进行预测的帧内预测以及参照已经编码完毕的其他的帧基于运动补偿等来对编码对象信号进行预测的帧间预测。在此，对多视点视频编码进行说明。多视点视频编码是指对使用多个摄像机拍摄了相同的场景的多个视频利用该视频间的冗余性以高的效率进行编码。关于多视点视频编码，熟悉非专利文献1。在多视点视频编码中，除了在通常的视频编码中使用的预测方法之外，还使用参照已经编码完毕的另外的视点的视频基于视差补偿对编码对象信号进行预测的视点间预测以及通过帧间预测对编码对象信号进行预测并对其残差信号参照已经编码完毕的另外的视点的视频的编码时的残差信号进行预测的视点间残差预测等方法。关于视点间预测，在MVC（MultiviewVideoCoding，多视点视频编码）等多视点视频编码中，统一为帧间预测而被处理为帧间预测（interprediction），能够在B图片中对2个以上的预测图像进行插值来做成预测图像而也用于双向预测。像这样，在多视点视频编码中，对于能够进行帧间预测和视点间预测双方的图片，能够进行利用帧间预测和视点间预测的双向预测。在进行帧间预测的情况下，具有得到示出其参照目的地的参照图片索引或运动矢量等参照信息的需要。通常地，参照信息作为预测信息而进行编码并且与视频一起复用，但是，为了削减其码量，有时以某些方法预测参照信息。在通常的方法中，存在取得已经编码完毕的编码对象图像的周边块在编码时使用的预测信息来作为用于编码对象图像的预测的参照信息的直接方式、将周边块的预测信息名单化为候补名单（CandidateList）并且对识别从名单中取得预测信息的对象块的标识符进行编码的合并方式等。此外，在多视点视频编码中，存在共有与编码对象图像对应的另外的视点的图片上的区域和参照信息的视点间运动预测这样的方法。关于视点间运动预测，熟悉非专利文献2。此外，作为其他的方法，存在残差预测。残差预测是在对具有高的相关性的2个图像分别进行预测编码的情况下利用了其预测残差也彼此具有相关性的情况的用于抑制预测残差的码量的方法。关于残差预测，熟悉非专利文献3。在多视点视频编码中使用的视点间残差预测中，从编码对象的预测残差信号减去不同的视点的视频中的与编码对象图像对应的区域的编码时的预测残差信号，由此，能够降低残差信号的能量，提高编码效率。关于视点间的对应关系，在例如通过视差补偿预测对已经编码完毕的周边块进行编码的情况下，通过其视差矢量，使用设定与编码对象块对应的另外的视点的区域等方法来求取。通过该方法求取的视差矢量被称为“neighboringblockbaseddisparityvector（NBDV），基于相邻块的视差矢量”。视点间残差预测在B图片中使用帧间预测的情况下，除了该预测之外还用作针对残差的进一步的处理。在此，对自由视点视频编码进行说明。自由视点视频是指通过使用许多拍摄装置等从各种位置、角度对对象场景进行拍摄来取得场景的光线信息并以此为基础对任意视点中的光线信息进行恢复、由此生成从任意视点观察的视频的视频。场景的光线信息由各种数据形式表现，但是，作为最通常的形式，存在使用视频和该视频的各帧中的被称为深度图（depthmap）的进深图像的方式（非专利文献4）。深度图是指按照每个像素来记述从摄像机到被摄物的距离（进深、深度）的图，是被摄物所具有的三维信息的简单的表现。在从两个摄像机对同一被摄物进行观测时，被摄物的深度值与摄像机间的视差的倒数成比例，因此，深度图有时也被称为视差图（disparitymap）（视差图像）。与此相对地，有时将深度图所对应的摄像机的视频称为纹理（texture）。由于深度图是针对图像的各像素的每一个具有一个值的表现，所以，能够看作灰度（grayscale）图像来进行记述。此外，作为深度图的时间上连续的记述的深度图视频（在以下无图像/视频的区别地称为深度图）与视频信号同样地，由于被摄物的空间上/时间上的连续性，所以可以说具有空间上、时间上的相关性。因此，通过为了对通常的视频信号进行编码而使用的视频编码方式，能够一边去掉空间上/时间上的冗余性一边高效地对深度图进行编码。关于这样的视频和利用深度图的视频方式，不仅在自由视点视频中而且在三维视频的表现/编码或多视点视频中为了码量削减而用于编码。在对这样的视频和利用深度图的视频方式进行编码的情况下，能够利用视频和深度图之间的相关性或深度图具有视频的各像素的进深来提高编码效率。作为代表的例子，在视频的编码中，存在以下这样的方法：将与编码对象图像对应的深度图的深度值变换为视差，由此，得到用于在编码对象图像中进行视差补偿预测的视差矢量。此外，作为另外的方法，也存在使用深度图来合成编码对象视点的图像而用于预测图像的视点合成预测这样的方法（非专利文献5）。再有，在本说明书中，图像是指活动图像的一个帧或静止图像，将聚集有多个帧（图像）的图像（活动图像）称为视频。现有技术文献非专利文献非专利文献1：M.FlierlandB.Girod,“Multiviewvideocompression”,SignalProcessingMagazine,IEEE,pp.66-76,2007年11月；非专利文献2：Yang,H.,Chang,Y.,&Huo,J.,“Fine-GranularMotionMatchingforInter-ViewMotionSkipModeinMultiviewVideoCoding”,IEEETransactionsonCircuitsandSystemsforVideoTechnology,Vol.19,No.6,pp.887-892,2009年6月；非专利文献3：X.WangandJ.Ridge,“Improvedvideocodingwithresidualpredictionforextendedspatialscalability”,ISCCSP2008,pp.1041-1046,2008年3月；非专利文献4：Y.Mori,N.Fukusima,T.Fuji,andM.Tanimoto,“ViewGenerationwith3DWarpingUsingDepthInformationforFTV”,Proceedingsof3DTV-CON’08,pp.229-232,2008年5月；非专利文献5：本文档来自技高网...

【技术保护点】
一种视频编码装置，对编码对象视频所包含的编码对象图像进行预测编码，其特征在于，具有：预测单元，将已经编码完毕的图像作为参照图片来预测编码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；第二参照信息决定单元，根据与所述第一参照区域对应的深度图来决定示出作为针对编码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及预测图像生成单元，基于所述第二参照信息或者所述第一参照信息和所述第二参照信息双方来生成预测图像。

【技术特征摘要】
【国外来华专利技术】2013.10.17 JP 2013-2165251.一种视频编码装置，对编码对象视频所包含的编码对象图像进行预测编码，其特征在于，具有：
预测单元，将已经编码完毕的图像作为参照图片来预测编码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；
第二参照信息决定单元，根据与所述第一参照区域对应的深度图来决定示出作为针对编码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及
预测图像生成单元，基于所述第二参照信息或者所述第一参照信息和所述第二参照信息双方来生成预测图像。
2.根据权利要求1所述的视频编码装置，其特征在于，所述第一参照信息示出与编码对象图像不同的帧的图像上的参照目的地，所述第二参照信息示出与编码对象图像不同的视点的图像上的参照目的地。
3.根据权利要求1所述的视频编码装置，其特征在于，所述预测图像生成单元使用所述第一参照信息来生成第一一次预测图像，使用所述第二参照信息来生成第二一次预测图像，混合所述第一一次预测图像和所述第二一次预测图像，由此，生成所述预测图像。
4.根据权利要求1所述的视频编码装置，其特征在于，所述预测图像生成单元按照编码对象图像的部分区域的每一个使用所述第一参照信息和所述第二参照信息之中的任一个或者双方来生成所述预测图像。
5.根据权利要求4所述的视频编码装置，其特征在于，还具有：判定单元，所述判定单元基于由与所述第一参照区域对应的深度图决定的所述第一参照区域所对应的另外的参照图片上的参照目的地即第三参照区域，按照编码对象图像的部分区域的每一个，判定使用所述第一参照信息和所述第二参照信息的任一个或双方，
所述预测图像生成单元基于所述判定单元的判定结果按照编码对象图像的部分区域的每一个使用所述所述第一参照信息和所述第二参照信息的任一个或双方来生成所述预测图像。
6.根据权利要求1所述的视频编码装置，其特征在于，所述预测图像生成单元使用所述第一参照信息来生成第一一次预测图像，使用所述第二参照信息来生成第二一次预测图像，进而使用所述第一参照信息和与所述第一参照区域对应的深度图或者所述第一参照信息和所述第二参照信息来进行残差预测，由此，生成所述预测图像。
7.根据权利要求6所述的视频编码装置，其特征在于，所述预测图像生成单元根据由与所述第一参照区域对应的深度图决定的所述第一参照区域所对应的另外的参照图片上的参照目的地即第三参照区域来生成二次预测图像，根据所述第一一次预测图像、所述第二一次预测图像和所述二次预测图像来进行残差预测，生成所述预测图像。
8.一种视频编码装置，对编码对象视频所包含的编码对象图像进行预测编码，其特征在于，具有：
预测单元，将已经编码完毕的图像作为参照图片来预测编码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；
第二参照信息决定单元，根据与所述第一参照区域对应的深度图来决定示出作为针对编码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及
候补名单更新单元，将所述第二参照信息添加到对编码对象图像的周边图像的预测信息进行名单化后的候补名单中。
9.一种视频解码装置，对解码对象视频所包含的解码对象图像进行预测解码，其特征在于，具有：
第二参照信息决定单元，根据基于编码后的预测信息或在该视频解码装置中能够参照的信息的第一参照信息所示的参照目的地即第一参照区域所对应的深度图来决定示出作为针对解码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及
预测图像生成单元，基于所述第二参照信息或者所述第一参照信息和所述第二参照信息双方来生成预测图像。
10.根据权利要求9所述的视频解码装置，其特征在于，所述第一参照信息示出与解码对象图像不同的帧的图像上的参照目的地，所述第二参照信息示出与解码对象图像不同的视点的图像上的参照目的地。
11.根据权利要求9所述的视频解码装置，其特征在于，所述预测图像生成单元使用所述第一参照信息来生成第一一次预测图像，使用所述第二参照信息来生成第二一次预测图像，混合所述第一一次预测图像和所述第二一次预测图像，由此，生成所述预测图像。
12.根据权利要求9所述的视频解码装置，其特征在于，所述预测图像生成单元按照解码对象图像的部分区域的每一个使用所述第一参照信息...

【专利技术属性】
技术研发人员：杉本志织，志水信哉，小岛明，
申请(专利权)人：日本电信电话株式会社，
类型：发明
国别省市：日本;JP