视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序制造方法及图纸

视频编码装置是，一种视频编码装置，在对由多个不同的视点的视频构成的多视点视频的1帧即编码对象图像进行编码时，使用针对与所述编码对象图像的视点不同的参照视点的图像即参照视点图像和针对所述多视点视频中的被摄物的深度图，按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个，一边在不同的视点间进行预测一边进行编码，其中，所述视频编码装置具有：代表深度设定部，根据所述深度图来设定代表深度；变换矩阵设定部，基于所述代表深度来设定将所述编码对象图像上的位置向所述参照视点图像上的位置变换的变换矩阵；代表位置设定部，根据所述编码对象区域内的位置来设定代表位置；视差信息设定部，使用所述代表位置和所述变换矩阵来设定针对所述编码对象区域的所述编码对象的所述视点与所述参照视点的视差信息；以及预测图像生成部，使用所述视差信息来生成针对所述编码对象区域的预测图像。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序。本申请基于在2013年12月27日向日本申请的特愿2013-273523号要求优先权，并将其内容引用于此。
技术介绍
自由视点视频是指用户能够自由地指定在拍摄空间内的摄像机的位置或方向（以下，称为“视点”。）的视频。在自由视点视频中，用户任意指定视点，因此，不能够保持来自具有指定的可能性的全部视点的视频。因此，自由视点视频由为了生成来自能够指定的若干个视点的视频而需要的信息组构成。再有，自由视点视频有时被称为自由视点电视、任意视点视频或任意视点电视等。关于自由视点视频，使用各种数据形式表现，但是，作为最通常的形式，存在使用视频和与该视频的帧对应的深度图（距离图像）的方式（例如，参照非专利文献1）。深度图是指按照每个像素表现从摄像机到被摄物的深度（距离）的图。深度图表现被摄物的三维的位置。深度在满足某个条件的情况下与二个摄像机（摄像机对）之间的视差的倒数成比例。因此，深度有时也被称为视差图（视差图像）。在计算机制图（computer graphics）的领域中，深度为在Z缓冲器中蓄积的信息，因此，有时也被称为Z图像或Z图。再有，除了从摄像机到被摄物的距离之外，有时也将在表现对象空间上伸展的三维坐标系的Z轴的坐标值（Z值）用作深度。在针对所拍摄的图像而X轴被确定为水平方向、Y轴被确定为垂直方向的情况下，Z轴与摄像机的方向一致。但是，在针对多个摄像机而使用共同的坐标系的情况下，Z轴有时与摄像机的方向不一致。在以下，在不进行区别的情况下将距离和Z轴称为“深度”。此外，将使深度表示为像素值的图像称为“深度图”。但是，严格地，在视差图中，需要设定成为基准的摄像机对。在将深度表示为像素值时，存在将与物理量对应的值直接作为像素值的方法、使用在规定数量的区间中最小值和最大值之间被量化时通过深度的量化而得到的值的方法、以及使用以规定步长（step size）量化根据深度的最小值的差而得到的值的方法。在限制所表现的范围的情况下，使用最小值等附加信息更能够高精度地表现深度。此外，在等间隔地量化物理量的方法中，存在直接量化物理量的方法和量化物理量的倒数的方法。距离的倒数为与视差成比例的值，因此，在需要高精度地表现距离的情况下，使用前者的情况较多，在需要高精度地表现视差的情况下，使用后者的情况较多。在以下，与深度的像素值化的方法或量化的方法无关，将表现了深度的图像称为“深度图”。深度图表现为按照每个像素具有一个值的图像，因此，能够看作灰度（grayscale）图像。被摄物在实空间上连续地存在，不能够向远离的位置瞬间地移动。因此，深度图可以说与视频信号同样地具有空间的相关性和时间的相关性。但是，能够通过为了对图像信号进行编码而使用的图像编码方式或者为了对视频信号进行编码而使用的视频编码方式一边除去空间的冗余性和时间的冗余性一边高效地对深度图或由连续的深度图构成的视频进行编码。在以下，在不进行区别的情况下将深度图和由连续的深度图构成的视频称为“深度图”。对通常的视频编码进行说明。在视频编码中，为了利用被摄物在空间上和时间上连续这样的特征来实现高效的编码，将视频的各帧分割为被称为宏块的处理单位块。在视频编码中，按照每个宏块在空间上和时间上预测该视频信号，对示出其预测方法的预测信息和预测残差进行编码。在空间上预测视频信号的情况下，例如，示出空间的预测的方向的信息为预测信息。在时间上预测视频信号的情况下，例如，示出参照的帧的信息和示出该帧中的位置的信息为预测信息。在空间上进行的预测为帧内的预测，因此，被称为帧内预测（intra-frame prediction）、画面内预测（intra-picture prediction）或者内部预测（intra prediction）。在时间上进行的预测为帧间的预测，因此，被称为帧间预测（inter-frame prediction）、画面间预测（inter-picture prediction）或者时间性预测（inter prediction）。此外，在时间上进行的预测对视频的时间的变化即运动进行补偿来进行视频信号的预测，因此，也被称为运动补偿预测。在对由从多个位置或方向拍摄了相同的场景的视频构成的多视点视频进行编码时，对视频的视点间的变化即视差进行补偿来进行视频信号的预测，因此，使用视差补偿预测。在由基于多个视点的视频和深度图构成的自由视点视频的编码中，哪一个都具有空间相关性和时间相关性，因此，使用通常的视频编码方式来对每一个进行编码，由此，能够削减码量。例如，在使用MPEG-C Part. 3来表现多视点视频和与其对应的深度图的情况下，使用现有的视频编码方式来对每一个进行编码。此外，在将基于多个视点的视频和深度图一起编码的情况下，存在以下方法：通过使用根据深度图而得到的视差信息，从而利用在视点间存在的相关性来实现高效的编码。例如，在非专利文献2中记载了如下方法：针对处理对象的区域，根据深度图求取视差矢量，使用该视差矢量，决定已经编码完毕的另外的视点的视频上的对应区域，将该对应区域中的视频信号用作处理对象的区域中的视频信号的预测值，由此，实现高效的编码。现有技术文献非专利文献非专利文献1：Y. Mori, N. Fukusima, T. Fujii, and M. Tanimoto,“View Generation with 3D Warping Using Depth Information for FTV ”,In Proceedings of 3DTV-CON2008, pp. 229-232, 2008年5月；非专利文献2：G. Tech, K. Wegner, Y. Chen, and S. Yea, “3D-HEVC Draft Text 1”, JCT-3V Doc., JCT3V-E1001 (version 3), 2013年9月。
技术实现思路
专利技术要解决的课题根据非专利文献2所记载的方法，通过变换深度图的值，从而取得高精度的视差矢量。由此，非专利文献2所记载的方法能够实现高效率的预测编码。但是，在非专利文献2所记载的方法中，假定在将深度向视差矢量变换时，视差与深度的倒数成比例。更具体地，通过深度的倒数、摄像机的焦点距离与视点间的距离的积来求取视差。这样的变换在二个视点具有相同的焦点距离且视点的方向（摄像机的光轴）在三维上平行的情况下提供正确的结果，但是，在其以外的状况下提供错误的结果。为了进行正确的变换，如非专利文献1所记载的那样，需要在通过将图像上的点按照深度向三维空间反投影而得到三维点之后通过将该三维点向另外的视点再次投影来计算来自另外的视点的图像上的点。但是，在这样的变换中需要复杂的运算，存在运算量增加这样的问题。也就是说，存在视频编码的效率低这样的问题。鉴于上述情况，本专利技术的目的在于提供在将针对多个视点的视频和深度图具有为结构要素的自由视点视频数据的编码中即使在视点的方向不平行的情况下也能够通过提高根据深度图计算的视差矢量的精度来提高视频编码的效率的视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序。用于解决课题的方案本专利技术的一本文档来自技高网...

【技术保护点】
一种视频编码装置，在对由多个不同的视点的视频构成的多视点视频的1帧即编码对象图像进行编码时，使用针对与所述编码对象图像的视点不同的参照视点的图像即参照视点图像和针对所述多视点视频中的被摄物的深度图，按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个，一边在不同的视点间进行预测一边进行编码，其中，所述视频编码装置具有：代表深度设定部，根据所述深度图来设定代表深度；变换矩阵设定部，基于所述代表深度来设定将所述编码对象图像上的位置向所述参照视点图像上的位置变换的变换矩阵；代表位置设定部，根据所述编码对象区域内的位置来设定代表位置；视差信息设定部，使用所述代表位置和所述变换矩阵来设定针对所述编码对象区域的所述编码对象的所述视点与所述参照视点的视差信息；以及预测图像生成部，使用所述视差信息来生成针对所述编码对象区域的预测图像。

【技术特征摘要】
【国外来华专利技术】2013.12.27 JP 2013-2735231.一种视频编码装置，在对由多个不同的视点的视频构成的多视点视频的1帧即编码对象图像进行编码时，使用针对与所述编码对象图像的视点不同的参照视点的图像即参照视点图像和针对所述多视点视频中的被摄物的深度图，按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个，一边在不同的视点间进行预测一边进行编码，其中，所述视频编码装置具有：代表深度设定部，根据所述深度图来设定代表深度；变换矩阵设定部，基于所述代表深度来设定将所述编码对象图像上的位置向所述参照视点图像上的位置变换的变换矩阵；代表位置设定部，根据所述编码对象区域内的位置来设定代表位置；视差信息设定部，使用所述代表位置和所述变换矩阵来设定针对所述编码对象区域的所述编码对象的所述视点与所述参照视点的视差信息；以及预测图像生成部，使用所述视差信息来生成针对所述编码对象区域的预测图像。2.根据权利要求1所述的视频编码装置，其中，还具有深度区域设定部，所述深度区域设定部针对所述编码对象区域设定作为在所述深度图上的对应区域的深度区域，所述代表深度设定部根据针对所述深度区域的所述深度图来设定所述代表深度。3.根据权利要求2所述的视频编码装置，其中，还具有深度参照视差矢量设定部，所述深度参照视差矢量设定部针对所述编码对象区域设定作为针对所述深度图的视差矢量的深度参照视差矢量，所述深度区域设定部将由所述深度参照视差矢量示出的区域设定为所述深度区域。4.根据权利要求3所述的视频编码装置，其中，所述深度参照视差矢量设定部使用在对与所述编码对象区域邻接的区域进行编码时使用的视差矢量来设定所述深度参照视差矢量。5.根据权利要求2至权利要求4的任一项所述的视频编码装置，其中，所述代表深度设定部将在与所述编码对象区域的4顶点的像素对应的所述深度区域内的深度之中示出最靠近所述编码对象图像的所述视点的深度设定为所述代表深度。6.一种视频解码装置，在根据由多个不同的视点的视频构成的多视点视频的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像的视点不同的参照视点的图像即参照视点图像和针对所述多视点视频中的被摄物的深度图，按照作为对所述解码对象图像进行分割后的区域的解码对象区域的每一个，一边在不同的视点间进行预测一边进行解码，其中，所述视频解码装置具有：代表深度设定部，根据所述深度图来设定代表深度；变换矩阵设定部，基于所述代表深度来设定将所述解码对象图像上的位置向所述参照视点图像上的位置变换的变换矩阵；代表位置设定部，根据所述解码对象区域内的位置来设定代表位置；视差信息设定部，使用所述代表位置和所述变换矩阵来设定针对所述解码对象区域的所述解码对象的所述视点与所述参照视点的视差信息；以及预测图像生成部，使用所述视差信息来生成针对所述解码对象区域的预测图像。7.根据权利要求6所述的视频解码装置，其中，...

【专利技术属性】
技术研发人员：志水信哉，杉本志织，小岛明，
申请(专利权)人：日本电信电话株式会社，
类型：发明
国别省市：日本;JP