图像编码方法和装置、图像解码方法和装置以及它们的程序制造方法及图纸

一种图像编码方法，在对图像进行传输或积蓄时，将图像帧分割成预先规定的大小的处理区域，按每个处理区域一边预测各像素的像素值一边进行编码。该方法具有：按存在于处理区域内的每个被摄物体，将代表各被摄物体的1个像素值与识别该被摄物体的被摄物体标识符对应起来设定为被摄物体像素值的步骤；根据处理区域内的各像素的像素值和被摄物体像素值，生成被摄物体图的步骤，所述被摄物体图用被摄物体标识符示出在处理区域内的各像素对哪个被摄物体进行了摄影；按照所述被摄物体图对各像素分配所述被摄物体像素值的值，由此生成针对处理区域的预测图像的步骤；对所述被摄物体图进行编码的步骤；对所述被摄物体像素值进行编码的步骤；以及使用所述预测图像将针对处理区域的图像信号进行预测编码的步骤。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像的编码和解码技术，特别是涉及适合于像距离图像那样的图像的编码的图像编码方法、图像解码方法、图像编码装置、图像解码装置以及它们的程序。本申请基于2010年9月29日申请的日本特愿2010 - 218036号要求优先权，并在此引用其内容。
技术介绍
距离图像是将从摄影机(camera)到被摄物体的距离表现为像素值的图像。因为从摄影机到被摄物体的距离也可以称为场景的纵深，所以有时也将距离图像称为纵深图像。此外，由于纵深(Depth)，有时也将其称为深度图(Depth Map)。在计算机图形的领域中，由于深度为积蓄在Z缓冲器(将画面整体的深度汇总起来进行保存的存储区域)中的信息，所以有时也称为Z图像或Z图。再有，除了从摄影机到被摄物体的距离以外，有时也将作为表现对象的相对于在空间上展开的三维坐标系的Z轴的坐标值用作距离(深度)。通常，对所摄影的图像将水平方向设为X轴并将垂直方向设为Y轴，因此Z轴与摄影机的朝向一致，但是也存在对多个摄影机使用共同的坐标系的情况等Z轴与摄影机的朝向不一致的情况。以下，将距离/纵深/Z值(纵深信息)不区分地称为距离信息，将距离信息被表示为像素值的图像称为距离图像。在将距离信息表示为像素值时，有如下方法，S卩，将与物理量对应的值直接作为像素值的方法、使用将最小值和最大值之间量化为某个离散数而得到的值的方法、以及使用以某个步长对与最小值的差进行量化而得到的值的方法。在欲表现的范围被限制的情况下，使用最小值等附加信息更能高精度地表现距离信息。此外，在等间隔地进行量化时，有对物理量直接进行量化的方法和对物理量的倒数进行量化的方法。通常，因为距离信息的倒数是与视差成比例的值，所以在需要高精度地表现距离信息的情况下，使用前者的情况较多，在需要高精度地表现视差信息的情况下，使用后者的情况较多。以下，与距离信息的像素值化的方法、量化的方法无关地将距离信息被表现为图像后的图像全部称为距离图像。作为距离图像的利用用途之一，有立体图像。作为一般的立体图像的表现，有由观测者的右眼用图像和左眼用图像构成的立体(stereo)图像，但是能使用某个摄影机中的图像和该距离图像来表现立体图像(详细的技术參照非专利文献I)。在对这样的使用I个视点处的影像和距离图像来表现的立体影像进行编码的方式中，能使用MPEG-C Part.3 (IS0/IEC 23002 - 3)(详细的内容參照非专利文献2)。此外，通过对多个视点具有影像和距离图像，从而与在单视点的情况下能表现的立体影像相比，能表现具有更大的视差的立体影像(细节參照非专利文献3)。此外，除了表现这样的立体影像的用途以外，距离图像还被用作生成鉴赏者不用在意拍摄摄影机的配置而能自由地移动视点的自由视点影像的数据之一。有时将这样的假设从与拍摄摄影机不同的摄影机观察场景时的合成图像称为假想视点图像，在基于图像的绘制(Image-based Rendering)领域中正热烈地研究该生成法。作为根据多视点的影像和距离图像生成假想视点影像的代表性的手法，有非专利文献4所记载的手法。因为距离图像由I个成分(component)构成，所以能看作为灰度(gray scale)图像。此外，因为被摄物体在实空间上连续地存在，不能瞬间移动到离开的位置，所以可以说与图像信号同样地具有空间的相关和时间的相关。因此，利用为了对通常的图像信号、影像信号进行编码而使用的图像编码方式、动态图像编码方式，能对距离图像、距离动态图像一边除去空间的冗长性、时间的冗长性，一边高效地进行编码。实际上，在MPEG-C Part.3中，使用现有的动态图像编码方式来进行距离动态图像的编码。在此，对以往的一般的影像信号的编码方式进行说明。通常，因为被摄物体在实空间上具有空间的连续性和时间的连续性，所以其视觉效果在空间上和时间上具有高的相关。在影像信号的编码中，利用这样的相关性来实现高的编码效率。具体地说，根据已经完成编码的影像信号预测编码对象块的影像信号，仅对该预测残差进行编码，由此减少需要进行编码的信息，实现高的编码效率。作为代表性的影像信号的预想的手法，有根据邻接的块在空间上生成预测信号的帧内预测、根据在不同的时刻所摄影的编码完成帧估计被摄物体的运动以在时间上生成预测信号的运动补偿预測。此外，关于被称为预测残差信号的预测的误差，也为了利用空间的相关和人类的视觉特性而使用DCT (离散余弦变换)等将预测残差信号变换为频率空间中的数据，使残差信号的能量集中在低频区域，由此高效地进行编码。各手法的细节希望參照动态图像国际标准规范的MPEG-2、H.264/MPEG - 4 AVC(非专利文献5)。现有技术文献 非专利文献非专利文献 1:C.Fehn, P.Kauff, M.0p de Beeck, F.Ernst, ff.1Jsselstei jn, M.Poilefeys， L.Van GooI, E.0fek and 1.Sexton, 〃An Evolutionary and OptimisedApproach on 3D_TV〃， Proceedings of International Broadcast Conference,pp.357-365, Amsterdam, The Netherlands, September 2002非专利文献 2:W.H.A.Bruls, C.Varekamp, R.Klein Gunnewiek, B.Barenbrugand A.Bourge, Enabling Introduction of Stereoscopic (3D) Video: Formats andCompression Standards , Proceedings of IEEE International Conference on ImageProcessing, pp.1-89-1-92, San Antonio, USA, September 2007 非专利文献 3:A.Smolic, K.Mueller, P.Merkle, N.Atzpadin, C.Fehn, M.Mueller, 0.Schreer, R.Tanger, P.Kauff and T.ffiegand, ^Mult1-view video plusdepth (MVD) format for advanced 3D video systems' Joint Video Team of IS0/IECJTC1/SC29/WG11 and ITU-T SG16 Q.6, Doc.JVT-fflOO, San Jose, USA, April 2007非专利文献 4:C.L.Zitnick, S.B.Kang, M.Uyttendaele, S.A.J.Winder,and R.Szeliski, ^High-quality Video View Interpolation Using a LayeredRepresentation, ACM Transactions on Graphics, vol.23, n0.3, pp.600-608，August2004非专利文献5:Recom本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.09.29 JP 2010-2180361.一种图像编码方法，在对图像进行传输或积蓄时，将图像帧分割成预先规定的大小的处理区域，按每个处理区域一边预测各像素的像素值ー边进行编码，所述图像编码方法的特征在于，具有: 被摄物体数设定步骤，将存在于处理区域内的被摄物体的数量设定为被摄物体数；被摄物体像素值设定步骤，按存在于处理区域内的每个被摄物体，将代表各被摄物体的I个像素值与识别该被摄物体的被摄物体标识符对应起来设定为被摄物体像素值； 被摄物体图生成步骤，根据处理区域内的各像素的像素值和被摄物体像素值，生成被摄物体图，所述被摄物体图用被摄物体标识符示出在处理区域内的各像素对哪个被摄物体进行了摄影； 预测图像生成步骤，按照所述被摄物体图对各像素分配所述被摄物体像素值的值，由此生成针对处理区域的预测图像； 被摄物体图编码步骤，对所述被摄物体图进行编码； 被摄物体像素值编码步骤，对所述被摄物体像素值进行编码；以及 图像信号编码步骤，使用所述预测图像将针对处理区域的图像信号进行预测编码。2.根据权利要求1所述的图像编码方法，其特征在干， 还包含:被摄物体数编码步骤，对在所述被摄物体数设定步骤中设定的被摄物体数进行编码。3.根据权利要求1所述的图像编码方法，其特征在干， 在所述被摄物体数设定步骤中，根据处理区域内的像素的信息估计处理区域内的被摄物体的数量来作为被摄物体 数。4.根据权利要求1所述的图像编码方法，其特征在干， 在所述被摄物体像素值编码步骤中，按每个所述被摄物体标识符检查是否在所述被摄物体图中使用了该被摄物体标识符，在进行使用的情况下，将与该被摄物体标识符对应的所述被摄物体像素值进行编码，在未进行使用的情况下，省略与该被摄物体标识符对应的所述被摄物体像素值的编码。5.根据权利要求1所述的图像编码方法，其特征在干， 还包含:抖动附加步骤，对所述预测图像附加抖动， 在所述图像信号编码步骤中，使用被施加了所述抖动的预测图像来将针对处理区域的图像信号进行预测编码。6.一种图像解码方法，在对图像的编码数据进行解码时，将图像帧分割成预先规定的大小的处理区域，按每个处理区域一边预测各像素的像素值ー边进行解码，所述图像解码方法的特征在于，具有: 被摄物体数设定步骤，将存在于处理区域内的被摄物体的数量设定为被摄物体数；被摄物体图解码步骤，根据所述编码数据，对利用被摄物体标识符表示了在处理区域内的各像素所摄影的被摄物体的被摄物体图进行解码； 被摄物体像素值解码步骤，根据所述编码数据对按每个所述被摄物体标识符设定有I个的被摄物体像素值进行解码； 预测图像生成步骤，按照所述被摄物体图对各像素分配所述被摄物体像素值的值，由此生成针对处理区域的预测图像；以及图像信号解码步骤，根据所述编码数据使用所述预测图像将针对处理区域的图像信号进行解码。7.根据权利要求6所述的图像解码方法，其特征在干， 在所述被摄物体数设定步骤中，根据所述编码数据对所述被摄物体数进行解码并进行设定。8.一种图像解码方法，在对图像的编码数据进行解码时，将图像帧分割成预先规定的大小的处理区域，按每个处理区域一边预测各像素的像素值ー边进行解码，所述图像解码方法的特征在于，具有: 被摄物体图解码步骤，根据所述编码数据，对利用被摄物体标识符表示了在处理区域内的各像素所摄影的被摄物体的被摄物体图进行解码； 被摄物体像素值解码步骤，根据所述编码数据对按每个所述被摄物体标识符设定有I个的被摄物体像素值进行解码； 预测图像生成步骤，按照所述被摄物体图对各像素分配所述被摄物体像素值的值，由此生成针对处理区域的预测图像；以及 图像信号解码步骤，根据所述编码数据使用所述预测图像将针对处理区域的图像信号进行解码。9.根据权利要求8所述的图像解码方法，其特征在干， 还包含:被摄物体数设定步骤，将存在于处理区域内的被摄物体的数量设定为被摄物体数， 在所述被摄物体数设定步骤中，根据所述编码数据对所述被摄物体数进行解码并进行设定。10.根据权利要求6或权利要求8所述的图像解码方法，其特征在干， 在所述被摄物体像素值解码步骤中，仅对与所述被摄物体图中出现的被摄物体标识符对应的被摄物体像素值进行解码。11.根据权利要求6或权利要求8所述的图像解码方法，其特征在干， 还包含:抖动附加步骤，对所述预测图像附加抖动， 在所述图像信号解码步骤中，根据所述编码数据使用被施加了所述抖动的预测图像将针对处理区域的图像信号进行解码。12.一种图像编码装置，在对图像进行传输或积蓄时，将图像帧分割成预先规定的大小的处理区域，按每个处理区域一边...

【专利技术属性】
技术研发人员：志水信哉，松浦宣彦，
申请(专利权)人：日本电信电话株式会社，
类型：
国别省市：