图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质制造方法及图纸

本发明专利技术在使用参照图像中的表示被摄物的三维位置的深度信息来对编码（解码）对象图像进行视差补偿预测时实现高的编码效率。对编码对象图像的各像素设定参照图像上的对应点。对由对应点表示的编码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定。使用由对应点表示的参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的参照图像深度信息和被摄物深度信息来决定像素内插用的抽头长度。使用按照抽头长度的内插滤波器来生成由对应点表示的参照图像上的整数像素位置或小数像素位置的像素值。通过将所生成的像素值设为由对应点表示的编码对象图像上的整数像素位置的像素的预测值，从而进行视点间的图像预测。

【技术实现步骤摘要】
【国外来华专利技术】图像编码方法、图像解码方法、图像编码装置、图像解码装 置、图像编码程序、图像解码程序以及记录介质
本专利技术涉及对多视点图像进行编码和解码的图像编码方法、图像解码方法、图像 编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质。 本申请基于在2012年7月9日向日本申请的特愿2012 - 154065号要求优先权， 并将其内容引用于此。
技术介绍
多视点图像是指用多个摄像机（earner a )拍摄了相同的被摄物和背景的多个图像， 多视点活动图像(多视点视频)是指其活动图像。在以下，将用1个摄像机拍摄的图像(活动 图像）称为二维图像(活动图像)，将拍摄了相同的被摄物和背景的二维图像(活动图像） 组称为多视点图像(活动图像)。二维活动图像关于时间方向具有强的相关性，通过利用 该相关性来提高编码效率。 另一方面，在多视点图像或多视点活动图像中，在各摄像机被同步的情况下，各摄 像机的视频的相同时刻所对应的帧（图像）是从不同的位置拍摄了完全相同的状态的被摄 物和背景的帧（图像)，因此，在摄像机间具有强的相关性。在多视点图像或多视点活动图像 的编码中，能够通过利用该相关性来提高编码效率。 在此，对与二维活动图像的编码技术相关的现有技术进行说明。在以作为国际编 码标准的札264、MPEG - 2、MPEG - 4为首的以往的许多二维活动图像编码方式中，利用运 动补偿、正交变换、量化、熵编码的技术来进行高效率的编码。例如，在a 264中，能够实现 利用了与过去或未来的多个帧的时间相关性的编码。 关于在H. 264中使用的运动补偿技术的细节，例如在专利文献1中进行了记载。 对其概要进行说明。在!1. 264的运动补偿中，能够将编码对象帧分割为各种尺寸的块并且 在各块中具有不同的运动矢量和不同的参照图像。进而，通过对参照图像进行滤波处理，从 而生成1/2像素位置、1/4像素位置的视频，能够进行更精密的1/4像素精度的运动补偿，由 此，实现比以往的国际编码标准方式更高效率的编码。 接着，对以往的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的 编码方法与多视点活动图像的编码方法的区别在于，在多视点活动图像中除了摄像机间的 相关性之外还同时存在时间方向的相关性。可是，关于利用摄像机间的相关性的方法，在哪 一种情况下均能使用相同的方法。因此，在此，对在多视点活动图像的编码中使用的方法进 行说明。 关于多视点活动图像的编码，为了利用摄像机间的相关性，以往存在利用将运动 补偿应用于相同时刻的被不同摄像机拍摄的图像的视差补偿来对多视点活动图像高效 率地进行编码的方式。在此，视差是指在配置于不同的位置的摄像机的图像平面上被摄物 上的相同部分所存在的位置的差。图16是在摄像机间产生的视差的概念图。在图16所示 的概念图中，垂直地俯视光轴平行的摄像机的图像平面。像这样，在不同的摄像机的图像平 面上投影被摄物上的相同部分的位置通常被称为对应点。 在视差补偿中，基于其对应关系，根据参照帧来预测编码对象帧的各像素值，对其 预测残差和表示对应关系的视差信息进行编码。由于视差按照作为对象的摄像机的每个图 像发生变化，所以，需要按照每个编码处理对象帧对视差信息进行编码。实际上，在!1. 264 的多视点编码方式中，按照每个帧(更正确的是使用视差补偿预测的块）对视差信息进行编 码。 关于根据视差信息得到的对应关系，通过使用摄像机参数，从而能够基于对极 (epipolar)几何约束用表示被摄物的三维位置的一维量而不是二维矢量来进行表示。作为 表示被摄物的三维位置的信息，存在各种表现，但是，使用从成为基准的摄像机到被摄物的 距离或者与摄像机的图像平面不平行的轴上的坐标值的情况较多。再有，也存在不使用距 离而使用距离的倒数的情况。此外，由于距离的倒数为与视差成比例的信息，所以，也存在 设定2个成为基准的摄像机并将被摄物的三维位置表现为在被这些摄像机拍摄的图像间 的视差量的情况。无论使用了怎样的表现，在其物理意义上都没有本质的区别，因此，在以 下，不根据表现来进行区别，将表示这些三维位置的信息表现为深度（cbpth)。 图17是对极几何约束的概念图。根据对极几何约束，与某个摄像机的图像上的点 对应的另外的摄像机的图像上的点被约束在极线这样的直线上。此时，在得到了针对其像 素的深度的情况下，对应点被唯一地确定在极线上。例如，如图17所示那样，针对在摄像机 A的图像中被投影到m的位置的被摄物的在摄像机B的图像中的对应点在实空间中的被摄 物的位置为M'的情况下被投影到极线上的位置m'，在实空间中的被摄物的位置为M' '的情 况下被投影到极线上的位置m' '。 图18是示出在对1个摄像机的图像给出深度时在多个摄像机的图像间得到对应 点的情况的图。深度是表示被摄物的三维位置的信息，由于该三维位置是利用物理上的被 摄物的位置来决定的，所以，深度并不是依赖于摄像机的信息。因此，能够用深度这样的1 个信息来表示多个摄像机图像上的对应点。例如，如图18所示那样，在从摄像机A的视点 位置到被摄物上的点的距离D被作为深度而给出的情况下，通过根据深度来特别指定被摄 物上的点M，从而能够表示针对摄像机A的图像上的点m a的摄像机B的图像上的对应点mb、 摄像机C的图像上的对应点m。这两者。根据该性质，通过使用针对参照图像的深度来表示 视差信息，从而能够根据该参照图像实现对用（摄像机间的位置关系被得到的）其它的摄像 机在同一时刻拍摄的全部帧的视差补偿。 在非专利文献2中，利用该性质，减少需要编码的视差信息的量，实现高效率的多 视点活动图像编码。已知在使用运动补偿预测或视差补偿预测时通过使用比整数像素单位 更详细的对应关系而能进行高精度的预测。例如，如上所述，在!1. 264中通过使用1/4像 素单位的对应关系来实现高效的编码。因此，即使在给出针对参照图像的像素的深度的情 况下，也存在通过更详细地给出该深度来提高预测精度的方法。 当在对参照图像的像素给出深度的情况下提高该深度的精度时，只是更详细地得 到参照图像上的像素所对应的编码对象图像上的位置，并非更详细地得到编码对象图像上 的像素所对应的参照图像上的位置。在专利文献1中，针对该问题，在维持视差的大小的状 态下使对应关系平行移动来用作针对编码对象图像上的像素的详细的视差信息，由此，提 高预测精度。 现有技术文献 专利文献 专利文献1 :国际公开第08/035665号； 非专利文献 非专利文献 1 :ITU_T Recommendation H. 264 (03/2009)，Advanced video coding for generic audiovisual services， 2009 年 3 月； 非专利文献2 :Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, Multi-view Video Coding based on 3_D Warping with Depth Map， In Proceedings of Pi本文档来自技高网...

【技术保护点】
一种图像编码方法，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行编码，其中，所述图像编码方法具有：对应点设定步骤，对所述编码对象图像的各像素设定所述参照图像上的对应点；被摄物深度信息设定步骤，对由所述对应点表示的所述编码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；内插抽头长度决定步骤，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息来决定像素内插用的抽头长度；像素内插步骤，使用按照所述抽头长度的内插滤波器来生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及视点间图像预测步骤，通过将利用所述像素内插步骤生成的所述像素值设为由所述对应点表示的所述编码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。

【技术特征摘要】
【国外来华专利技术】2012.07.09 JP 2012-1540651. 一种图像编码方法，在对作为多个视点的图像的多视点图像进行编码时，使用针对 与编码对象图像的视点不同的视点的编码完毕的参照图像和作为所述参照图像中的被摄 物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行编码，其中，所述图像 编码方法具有： 对应点设定步骤，对所述编码对象图像的各像素设定所述参照图像上的对应点； 被摄物深度信息设定步骤，对由所述对应点表示的所述编码对象图像上的整数像素位 置的像素的深度信息即被摄物深度信息进行设定； 内插抽头长度决定步骤，使用由所述对应点表示的所述参照图像上的整数像素位置或 小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度 信息来决定像素内插用的抽头长度； 像素内插步骤，使用按照所述抽头长度的内插滤波器来生成由所述对应点表示的所述 参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及 视点间图像预测步骤，通过将利用所述像素内插步骤生成的所述像素值设为由所述对 应点表示的所述编码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图 像预测。2. -种图像编码方法，在对作为多个视点的图像的多视点图像进行编码时，使用针对 与编码对象图像的视点不同的视点的编码完毕的参照图像和作为所述参照图像中的被摄 物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行编码，其中，所述图像 编码方法具有： 对应点设定步骤，对所述编码对象图像的各像素设定所述参照图像上的对应点； 被摄物深度信息设定步骤，对由所述对应点表示的所述编码对象图像上的整数像素位 置的像素的深度信息即被摄物深度信息进行设定； 内插参照像素设定步骤，使用由所述对应点表示的所述参照图像上的整数像素位置或 小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度 信息，将用于像素内插的所述参照图像的整数像素位置的像素设定为内插参照像素； 像素内插步骤，利用所述内插参照像素的像素值的加权和，生成由所述对应点表示的 所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及 视点间图像预测步骤，通过将利用所述像素内插步骤生成的所述像素值设为由所述对 应点表示的所述编码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图 像预测。3. 根据权利要求2所述的图像编码方法，其中， 还具有：内插系数决定步骤，按照每个所述内插参照像素，基于针对所述内插参照像素 的所述参照图像深度信息与所述被摄物深度信息的差，决定针对所述内插参照像素的内插 系数， 在所述内插参照像素设定步骤中，将由所述对应点表示的所述参照图像上的所述整数 像素位置或所述小数像素位置的所述周围的整数像素位置的像素设定为所述内插参照像 素， 在所述像素内插步骤中，通过求取基于所述内插系数的所述内插参照像素的像素值的 加权和，从而生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像 素位置的像素值。4. 根据权利要求3所述的图像编码方法，其中， 还具有：内插抽头长度决定步骤，使用由所述对应点表示的所述参照图像上的所述整 数像素位置或所述小数像素位置的所述周围的整数像素位置的像素的所述参照图像深度 信息和所述被摄物深度信息来决定像素内插用的抽头长度， 在所述内插参照像素设定步骤中，将存在于所述抽头长度的范围内的像素设定为所述 内插参照像素。5. 根据权利要求3或4所述的图像编码方法，其中， 在所述内插系数决定步骤中，在针对所述内插参照像素之一的所述参照图像深度信息 与所述被摄物深度信息的差的大小比预先确定的阈值大的情况下，将所述内插系数设为零 来将所述内插参照像素之一从所述内插参照像素中除去，在所述差的大小为所述阈值以内 的情况下，基于所述差来决定所述内插系数。6. 根据权利要求3或4所述的图像编码方法，其中， 在所述内插系数决定步骤中，基于针对所述内插参照像素之一的所述参照图像深度信 息与所述被摄物深度信息的差、以及所述内插参照像素之一与由所述对应点表示的所述参 照图像上的整数像素或小数像素的距离来决定所述内插系数。7. 根据权利要求3或4所述的图像编码方法，其中， 在所述内插系数决定步骤中，在针对所述内插参照像素之一的所述参照图像深度信息 与所述被摄物深度信息的差的大小比预先确定的阈值大的情况下，将所述内插系数设为零 来将所述内插参照像素之一从所述内插参照像素中除去，在所述差的大小为所述阈值以内 的情况下，基于所述差、以及所述内插参照像素之一与由所述对应点表示的所述参照图像 上的整数像素或小数像素的距离来决定所述内插系数。8. -种图像解码方法，在对多视点图像的解码对象图像进行解码时，使用解码完毕的 参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间 预测图像一边进行解码，其中，所述图像解码方法具有： 对应点设定步骤，对所述解码对象图像的各像素设定所述参照图像上的对应点； 被摄物深度信息设定步骤，对由所述对应点表示的所述解码对象图像上的整数像素位 置的像素的深度信息即被摄物深度信息进行设定； 内插抽头长度决定步骤，使用由所述对应点表示的所述参照图像上的整数像素位置或 小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度 信息来决定像素内插用的抽头长度； 像素内插步骤，使用按照所述抽头长度的内插滤波器来生成由所述对应点表示的所述 参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及 视点间图像预测步骤，通过将利用所述像素内插步骤生成的所述像素值设为由所述对 应点表示的所述解码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图 像预测。9. 一种图像解码方法，在对多视点图像的解码对象图像进行解码时，使用解码完毕的 参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间 预测图像一边进行解码，其中，所述图像解码方法具有： 对应点设定步骤，对所述解码对象图像的各像素设定所述参照图像上的对应点； 被摄物深度信息设定步骤，对由所述对应点表示的所述解码对象图像上的整数像素位 置的像素的深度信息即被摄物深度信息进行设定； 内插参照像素设定步骤，使用由所述对应点表示的所述参照图像上的整数像素位置或 小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度 信息，将用于像素内插的所述参照图像的整数像素位置的像素设定为内插参照像素； 像素内插步骤，利用所述内插参照像素的像素值的加权和，生成由所述对应点表示的 所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及 视点间图像预测步骤，通过将利用所述像素内插步骤生成的所述像素值设为由所述对 应点表示的所述解码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图 像预测。10. 根据权利要求9所述的图像解码方法，其中， 还具有：内插系数决定步骤，按照每个所述内插参照像素，基于针对所述内插参照...

【专利技术属性】
技术研发人员：志水信哉，杉本志织，木全英明，小岛明，
申请(专利权)人：日本电信电话株式会社，
类型：发明
国别省市：日本;JP