活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程序制造方法及图纸

一边预测由多个不同的视点的活动图像构成的多视点活动图像一边进行编码/解码的活动图像编码/解码装置具备：对应区域设定部，针对编码/解码对象区域设定深度图上的对应区域；区域分割部，设定作为对编码/解码对象区域进行分割后的区域的预测区域；视差矢量生成部，按照每个预测区域，使用对应区域内的该预测区域所对应的区域中的深度信息来生成针对参照视点的视差矢量；运动信息生成部，基于针对参照视点的视差矢量，根据参照视点运动信息来生成预测区域中的运动信息；以及预测图像生成部，使用预测区域中的运动信息来生成针对预测区域的预测图像。

【技术实现步骤摘要】
【国外来华专利技术】活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程序
本专利技术涉及对多视点活动图像进行编码和解码的活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程序。本申请基于在2013年10月17日向日本申请的特愿2013-216526号要求优先权，并将其内容引用于此。
技术介绍
以往，已知由使用多个摄像机拍摄了相同的被摄物和背景的多个图像构成的多视点图像（Multiviewimages：多视点图像）。将该使用多个摄像机拍摄的活动图像称为多视点活动图像（或多视点视频）。在以下的说明中，将使用1个摄像机拍摄的图像（活动图像）称为“二维图像（二维活动图像）”，将使用位置、方向（以下称为视点）不同的多个摄像机拍摄了相同的被摄物和背景的二维图像（二维活动图像）组称为“多视点图像（多视点活动图像）”。二维活动图像关于时间方向具有强的相关性，通过利用该相关性，从而能够提高编码效率。另一方面，在多视点图像或多视点活动图像中，在各摄像机被同步的情况下，各摄像机的视频的相同的时刻所对应的帧（图像）是从不同的位置拍摄了完全相同的状态的被摄物和背景的帧（图像），因此，在摄像机间（相同的时刻的不同的二维图像间）具有强的相关性。在多视点图像或多视点活动图像的编码中，通过利用该相关性，从而能够提高编码效率。在此，对与二维活动图像的编码技术相关的现有技术进行说明。在以作为国际编码标准的H.264、MPEG–2、MPEG–4为首的以往的许多二维活动图像编码方式中，利用运动补偿预测、正交变换、量化、熵编码这样的技术来进行高效率的编码。例如，在H.264中，能够实现利用了与编码对象帧过去或未来的多个帧的时间相关性的编码。关于在H.264中使用的运动补偿预测技术的细节，例如被记载在非专利文献1中。对在H.264中使用的运动补偿预测技术的概要进行说明。H.264的运动补偿预测将编码对象帧分割为各种尺寸的块，在各块中允许具有不同的运动矢量和不同的参照帧。通过在各块中使用不同的运动矢量，从而实现对按照每个被摄物而不同的运动进行补偿后的精度高的预测。另一方面，通过在各块中使用不同的参照帧，从而实现考虑了由于时间变化而产生的遮挡（occlusion）的精度高的预测。接着，对以往的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的编码方法与多视点活动图像的编码方法的不同在于，在多视点活动图像中除了摄像机间的相关性之外还同时存在时间方向的相关性。可是，在哪一种情况下均能使用相同的方法来利用摄像机间的相关性。因此，在此，对在多视点活动图像的编码中使用的方法进行说明。关于多视点活动图像的编码，为了利用摄像机间的相关性，以往存在利用将运动补偿预测应用于相同时刻的被不同摄像机拍摄的图像的“视差补偿预测”来对多视点活动图像高效率地进行编码的方式。在此，视差是指在配置于不同的位置的摄像机的图像平面上被摄物上的相同部分所存在的位置的差。图8是示出在摄像机（第一摄像机和第二摄像机）间产生的视差的概念图。在图8所示的概念图中，垂直地俯视光轴平行的摄像机的图像平面。像这样，在不同的摄像机的图像平面上投影被摄物上的相同的部分的位置通常被称为对应点。在视差补偿预测中，基于其对应关系，根据参照帧来预测编码对象帧的各像素值，对其预测残差和表示对应关系的视差信息进行编码。视差按照作为对象的摄像机对、位置的每一个发生变化，因此，需要按照进行视差补偿预测的每个区域对视差信息进行编码。实际上，在H.264的多视点活动图像编码方式中，按照使用视差补偿预测的每个块对表示视差信息的矢量进行编码。关于根据视差信息提供的对应关系，通过使用摄像机参数，从而能够基于对极几何约束用表示被摄物的三维位置的一维量而不是二维矢量来进行表示。作为表示被摄物的三维位置的信息，存在各种表现，但是，使用从成为基准的摄像机到被摄物的距离或者与摄像机的图像平面不平行的轴上的坐标值的情况较多。再有，也存在不使用距离而使用距离的倒数的情况。此外，由于距离的倒数为与视差成比例的信息，所以，也存在设定2个成为基准的摄像机并将三维位置表现为在被这些摄像机拍摄的图像间的视差量的情况。无论使用了怎样的表现，都没有本质的不同，因此，在以下，不进行根据表现的区别，将表示这些三维位置的信息表现为深度。图9是对极几何约束的概念图。根据对极几何约束，与某个摄像机的图像上的点对应的另外的摄像机的图像上的点被约束在极线这样的直线上。此时，在得到了针对其像素的深度的情况下，对应点被唯一地确定在极线上。例如，如图9所示那样，针对在第一摄像机图像中被投影到m的位置的被摄物的在第二摄像机图像中的对应点在实空间中的被摄物的位置为M’的情况下被投影到极线上的位置m’，在实空间中的被摄物的位置为M’’的情况下被投影到极线上的位置m’’。在非专利文献2中，利用该性质，按照由针对参照帧的深度图（距离图像）提供的各被摄物的三维信息，根据参照帧生成针对编码对象帧的合成图像，将所生成的合成图像作为每个区域的预测图像的候补，由此，实现精度高的预测，实现高效的多视点活动图像的编码。再有，基于该深度生成的合成图像被称为视点合成图像、视点内插图像或视差补偿图像。现有技术文献非专利文献非专利文献1：ITU-TRecommendationH.264(03/2009),“Advancedvideocodingforgenericaudiovisualservices”,2009年3月；非专利文献2：S.Shimizu,H.Kimata,andY.Ohtani,“AdaptiveappearancecompensatedviewsynthesispredictionforMultiviewVideoCoding”,200916thIEEEInternationalConferenceonImageProcessing(ICIP),pp.2949-2952,7-102009年11月。
技术实现思路
专利技术要解决的课题根据非专利文献2所记载的方法，能够通过使用根据深度图得到的被摄物的三维信息来进行高精度的视差补偿的视点合成图像来实现高效率的预测。此外，通过按照每个区域选择现有的预测和利用视点合成图像的预测，从而即使在受到深度图的品质、遮挡的影响而部分地生成精度低的视点合成图像的情况下，也能够通过按照每个区域选择是否将视点合成图像作为预测图像来防止码量增加。可是，在非专利文献2所记载的方法中，在由深度图表现的三维信息的精度低的情况下，与使用了通常的视差矢量的视差补偿预测相比，只能以低的精度补偿视差，因此，存在不能实现高效率的预测的这样的问题。本专利技术是鉴于这样的情况而完成的，其目的在于提供即使在由深度图表现的视差量的精度低的情况下也能够实现精度高的预测来实现高效率的编码的活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程序。用于解决课题的方案本专利技术的一个方式是，一种活动图像编码装置，在对由多个不同的视点的活动图像构成的多视点活动图像的1帧进行编码时，使用针对与编码对象图像不同的参照视点的参照视点图像的运动信息即参照视点运动本文档来自技高网...

【技术保护点】
1.一种活动图像编码装置，在对由多个不同的视点的活动图像构成的多视点活动图像的1帧进行编码时，使用针对与编码对象图像不同的参照视点的参照视点图像的运动信息即参照视点运动信息和针对所述多视点活动图像中的被摄物的深度图，一边在不同的视点间进行预测一边按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个进行编码，其中，所述活动图像编码装置具备：对应区域设定部，针对所述编码对象区域设定所述深度图上的对应区域；区域分割部，设定作为对所述编码对象区域进行分割后的区域的预测区域；视差矢量生成部，按照每个所述预测区域，使用所述对应区域内的该预测区域所对应的区域中的深度信息来生成针对所述参照视点的视差矢量；运动信息生成部，基于针对所述参照视点的所述视差矢量，根据所述参照视点运动信息来生成所述预测区域中的运动信息；以及预测图像生成部，使用所述预测区域中的所述运动信息来生成针对所述预测区域的预测图像。

【技术特征摘要】
【国外来华专利技术】2013.10.17 JP 2013-2165261.一种活动图像编码装置，在对由多个不同的视点的活动图像构成的多视点活动图像的1帧进行编码时，使用针对与编码对象图像不同的参照视点的参照视点图像的运动信息即参照视点运动信息和针对所述多视点活动图像中的被摄物的深度图，一边在不同的视点间进行预测一边按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个进行编码，其中，所述活动图像编码装置具备：对应区域设定部，针对所述编码对象区域设定所述深度图上的对应区域；区域分割部，设定作为对所述编码对象区域进行分割后的区域的预测区域；视差矢量生成部，按照每个所述预测区域，使用所述对应区域内的该预测区域所对应的区域中的深度信息来生成针对所述参照视点的视差矢量；运动信息生成部，基于针对所述参照视点的所述视差矢量，根据所述参照视点运动信息来生成所述预测区域中的运动信息；以及预测图像生成部，使用所述预测区域中的所述运动信息来生成针对所述预测区域的预测图像。2.根据权利要求1所述的活动图像编码装置，其中，所述视差矢量生成部还针对所述编码对象区域生成针对所述深度图的视差矢量，所述对应区域设定部将由针对所述深度图的所述视差矢量示出的区域设定为所述对应区域。3.根据权利要求2所述的活动图像编码装置，其中，所述视差矢量生成部使用在对与所述编码对象区域邻接的区域进行编码时使用的视差矢量来设定针对所述深度图的所述视差矢量。4.根据权利要求1至3的任一项所述的活动图像编码装置，其中，所述区域分割部基于所述对应区域内的深度信息来设定针对所述编码对象区域的区域分割。5.根据权利要求1至3的任一项所述的活动图像编码装置，其中，所述视差矢量生成部按照每个所述预测区域根据所述对应区域内的该预测区域所对应的所述区域中的所述深度信息设定代表深度，基于该代表深度来设定针对所述参照视点的所述视差矢量。6.根据权利要求1至权利要求3的任一项所述的活动图像编码装置，其中，所述运动信息生成部使用针对所述预测区域预先确定的像素的位置和针对所述参照视点的所述视差矢量来求取在所述参照视点的对应位置，将所述参照视点运动信息之中的针对包含该对应位置的区域提供的运动信息作为所述预测区域中的所述运动信息。7.根据权利要求1至权利要求3的任一项所述的活动图像编码装置，其中，还具备参照图像设定部，所述参照图像设定部针对所述编码对象图像将在编码对象视点的与所述编码对象图像不同的已经编码完毕的1帧设定为参照图像，所述运动信息生成部配合所述编码对象图像与所述参照图像的时间间隔缩放根据所述参照视点运动信息得到的运动信息，由此，生成所述预测区域中的所述运动信息。8.根据权利要求1至权利要求3的任一项所述的活动图像编码装置，其中，所述预测图像生成部使用第一预测图像和第二预测图像来生成针对所述预测区域的所述预测图像，所述第一预测图像使用所述预测区域中的所述运动信息来生成，所述第二预测图像使用针对所述参照视点的所述视差矢量和所述参照视点图像来生成。9.一种活动图像解码装置，在根据由多个不同的视点的活动图像构成的多视点活动图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像不同的参照视点的参照视点图像的运动信息即参照视点运动信息和针对所述多视点活动图像中的被摄物的深度图，一边在不同的视点间进行预测一边按照作为对所述解码对象图像进行分割后的区域的解码对象区域的每一个进行解码，其中，所述活动图像解码装置具备：对应区域设定部，针对所述解码对象区域设定所述深度图上的对应区域；区域分割部，设定作为对所述解码对象区域进行分割后的区域的预测区域；视差矢量生成部，按照每个所述预测区域，使用所述对应区域内的该预测区域所对应的区域中的深度信息来生成针对所述参照视点的视差矢量；运动信息生成部，基于针对所述参照视点的所述视差矢量，根据所述参照视点运动信息来生成所述预测区域中的运动信息；以及预测图像生成部，使用所述预测区域中的所述运动信息来生成针对所述预测区域的预测图像。10.根据权利要求9所述的活动图像解码装置，其中，所述视差矢量生成部还针对所述解码对象区域生成针对所述...

【专利技术属性】
技术研发人员：志水信哉，杉本志织，小岛明，
申请(专利权)人：日本电信电话株式会社，
类型：发明
国别省市：日本,JP