编码装置、解码装置、再现装置、编码方法及解码方法制造方法及图纸

编码装置在将表示多个视点中的各个视点的随着时间经过的景象的帧图像群编码时，将基准视点的帧图像群不使用其他视点的帧图像作为参照图像而是作为基本视视频流数据进行编码。此外，将上述多个视点中的处于与上述基准视点之间至少夹着其他1个视点的位置关系的第1种视点的帧图像群使用基本视视频流数据的同一时刻的帧图像或其他的第1从属视视频流数据作为参照图像，作为第1从属视视频流数据而编码。进而，将作为基准视点及第1种视点以外的视点、被其他视点夹着的第2种视点的帧图像群参照夹着这第2种视点的2视点的同时刻的帧图像，作为第2从属视视频流数据而编码。

【技术实现步骤摘要】
【国外来华专利技术】编码装置、解码装置、再现装置、编码方法及解码方法
本专利技术涉及用来将影像记录或传送的编码及进行解码并再现的技术，特别涉及多视点的影像的编码及解码技术。
技术介绍
以往，在用来对来自视听者选择的视点位置的影像进行再现的技术中，有自由视点影像技术。在自由视点影像技术中，进行从使用多个摄像机从分别不同的视点拍摄的影像（以下，将从一个视点拍摄的影像称作“视点影像”）中的、距视听者选择的视点位置最近的视点影像的再现、或者使用距视听者的视点位置较近的视点影像通过插补而生成的视听者的视点位置处的影像的再现（专利文献1）。在这样的自由视点影像技术中，为了将来自各种各样的视点位置的影像高精度地再现，需要尽可能多数量的视点影像。现有技术文献专利文献专利文献1：日本特开2008－21210号公报非专利文献非专利文献1：“MPEG-4Part10AdvancedVideoCoding”，ISO/IEC，14496-10，2003专利技术概要专利技术要解决的问题但是，在将许多数量的视点影像（以下，将许多数量的视点影像的集合称作“多视点影像”）分发的情况下，与单一视点的视点影像或固定视点的3D影像的分发相比，分发的数据量增加。在用广播波等进行分发的情况下，由于广播波的带宽是有限的，所以希望分发的视频流整体的数据量尽可能少。
技术实现思路
所以，本专利技术是鉴于这样的问题而做出的，目的是提供一种在将多视点影像编码时生成能够削减视频流整体的数据量的视频流的编码装置及编码方法、以及这样的视频流的解码装置、再现装置及解码方法。为了解决上述课题，有关本专利技术的编码装置，进行视频流数据的生成，该视频流数据是将表示多个视点中的各个视点的随着时间经过的景象的帧图像群编码而得到的，其特征在于，具备：输入机构，受理上述多个视点中的各个视点的帧图像群的输入；基本视编码机构，将上述多个视点的帧图像群中的1个作为基准视点的帧图像群，生成将该帧图像群不使用其他视点的帧图像作为参照图像而编码得到的基本视视频流数据；第1从属视编码机构，生成第1从属视视频流数据，该第1从属视视频流数据是将上述多个视点中的、处于与上述基准视点之间至少夹着其他1个视点的位置关系的第1种视点的帧图像群，使用基本视视频流数据的同一时刻的帧图像或其他第1从属视视频流数据的同一时刻的帧图像作为参照图像而编码得到的；第2从属视编码机构，生成第2从属视视频流数据，该第2从属视视频流数据是将上述基准视点及第1种视点以外的、处于被其他视点夹着的位置关系的第2种视点的帧图像群，使用夹着该视点的2个视点的同时刻的帧图像作为参照图像而编码得到的；以及视频流数据输出机构，将上述基本视视频流数据和上述第1及第2从属视视频流数据输出。此外，有关本专利技术的编码方法，进行视频流数据的生成，该视频流数据是将表示多个视点中的各个视点的随着时间经过的景象的帧图像群编码而得到的，其特征在于，包括：输入步骤，受理上述多个视点中的各个视点的帧图像群的输入；基本视编码步骤，将上述多个视点的帧图像群中的1个作为基准视点的帧图像群，生成将该帧图像群不使用其他视点的帧图像作为参照图像而编码得到的基本视视频流数据；第1从属视编码步骤，生成第1从属视视频流数据，该第1从属视视频流数据是将上述多个视点中的、处于与上述基准视点之间至少夹着其他1个视点的位置关系的第1种视点的帧图像群，使用基本视视频流数据的同一时刻的帧图像或其他第1从属视视频流数据的同一时刻的帧图像作为参照图像而编码得到的；第2从属视编码步骤，生成第2从属视视频流数据，该第2从属视视频流数据是将作为上述基本视视频流数据及上述第1从属视视频流数据而编码的视点以外的、处于被其他视点夹着的位置关系的第2种视点的帧图像群，使用夹着该视点的2个视点的同时刻的帧图像作为参照图像而编码得到的；以及视频流数据输出步骤，将上述基本视视频流数据和上述第1及第2从属视视频流数据输出。此外，有关本专利技术的解码装置，其特征在于，具备：取得机构，取得由上述的编码装置生成的流数据；基本视解码机构，将包含在上述流数据中的基本视视频流数据解码，得到基准视点的帧图像群；第1从属视解码机构，先将与对第1从属视视频流数据进行解码时的参照目标的1个视点相对应的视流数据解码，参照通过解码得到的同时刻的帧图像，得到将该第1从属视视频流数据解码后的帧图像群；第2从属视解码机构，先将与对第2从属视视频流数据进行解码时的参照目标的2个视点分别对应的视流数据解码，参照通过解码得到的同时刻的帧图像，得到将该第2从属视视频流数据解码后的帧图像群；以及输出机构，将由上述基本视解码机构得到的帧图像群、和由上述第1及第2从属视解码机构得到的帧图像群输出。此外，有关本专利技术的再现装置，接收从上述的编码装置发送的传输流并再现，其特征在于，具备：流接收机构，接收上述传输流；基本视解码机构，将包含在上述传输流中的基本视视频流解码，得到基准视点的帧图像群；属性信息提取机构，提取包含在上述传输流中的属性信息；第1从属视解码机构，得到将包含在上述传输流中的第1从属视视频流基于上述属性信息而解码后的帧图像群；第2从属视解码机构，得到将包含在上述传输流中的第2从属视视频流基于上述属性信息而解码后的帧图像群；以及再现机构，将由上述基本视解码机构得到的帧图像群、和由上述第1、第2从属视解码机构得到的帧图像群再现。此外，有关本专利技术的解码方法，对由上述的编码装置生成的流数据进行解码，其特征在于，具备：取得步骤，取得所述流数据；基本视解码步骤，将包含在上述流数据中的基本视视频流数据解码，得到基准视点的帧图像群；第1从属视解码步骤，先将与对第1从属视视频流数据进行解码时的参照目标的1个视点相对应的视流数据解码，参照通过解码得到的同时刻的帧图像，得到将该第1从属视视频流数据解码后的帧图像群；第2从属视解码步骤，先将与对第2从属视视频流数据进行解码时的参照目标的2个视点分别对应的视流数据解码，参照通过解码得到的同时刻的帧图像，得到将该第2从属视视频流数据解码后的帧图像群；以及输出步骤，将由上述基本视解码步骤得到的帧图像群、和由上述第1及第2从属视解码步骤得到的帧图像群输出。专利技术效果通过上述结构，根据有关本专利技术的编码装置及编码方法，在将多视点影像编码时，能够生成能削减视频流整体的数据量的视频流。此外，根据有关本专利技术的解码装置及解码方法，能够将这样的视频流解码。此外，根据有关本专利技术的再现装置，能够将包括这样的视频流的传输流解码，将多视点影像再现。附图说明图1是表示多个视点影像的编码时的视点间的参照关系的概念图，图1（i）是仅参照1个视点影像的例子，图1（ii）是参照最近的视点影像的例子，图1（iii）是参照夹着视点影像的2视点的例子。图2是表示编码装置2600的结构的框图。图3是表示编码类型表100的结构和其一例的图。图4是表示作为从属视编码时的各个视点影像间的参照关系的参照信息200的结构和其一例的图。图5是表示基本视视频流和从属视视频流的GOP结构的图。图6是表示利用MPEG-4MVC形式的编码方式的基本视与从属视的参照关系的概念图。图7是表示多个视点影像的编码时的视点间的参照关系的概念图，图7（i）是将相邻接的视点影像依次参照的情况的一例，图7（ii）是表示本实施方式的参照关系的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.09.13 US 61/533,9711.一种编码装置，进行视频流数据的生成，该视频流数据是将表示多个视点中的各个视点的随着时间经过的景象的帧图像群编码而得到的，其特征在于，具备：输入机构，受理上述多个视点中的各个视点的帧图像群的输入；基本视编码机构，将上述多个视点的帧图像群中的1个作为基准视点的帧图像群，生成将该帧图像群不使用其他视点的帧图像作为参照图像而编码得到的基本视视频流数据；第1从属视编码机构，生成第1从属视视频流数据，该第1从属视视频流数据是将上述多个视点中的、处于与上述基准视点之间至少夹着其他1个视点的位置关系的第1种视点的帧图像群，使用基本视视频流数据的同一时刻的帧图像或其他第1从属视视频流数据的同一时刻的帧图像作为参照图像而编码得到的；第2从属视编码机构，生成第2从属视视频流数据，该第2从属视视频流数据是将上述基准视点及第1种视点以外的、处于被其他视点夹着的位置关系的第2种视点的帧图像群，使用夹着该视点的2个视点的同时刻的帧图像作为参照图像而编码得到的；以及视频流数据输出机构，将上述基本视视频流数据和上述第1及第2从属视视频流数据输出，上述第2从属视编码机构，使用基准视点及第1种视点、或者使用不同的两个第1种视点，作为在将上述第2种视点的帧图像群编码时所参照的2个视点，上述第2从属视编码机构，作为在将上述第2种视点的帧图像群编码时所参照的2个视点，使用满足在将该2个视点连结的直线上有上述第2种视点的条件的位置关系的2个视点，上述第2从属视编码机构，使用还满足与上述第2种视点的方向不同、且在各个方向中距上述第2种视点的距离最近的条件的2个视点，在上述输入机构中，被输入配置在1个直线上的视点位置的多个视点的帧图像群；上述基本视编码机构将处于上述直线上的视点中的、处于与距离最远的2个视点的距离之差为最小的位置的视点决定为基准视点，生成将该基准视点的帧图像群编码的基本视视频流数据；上述第1从属视编码机构对于上述距离最远的2个视点，分别生成将该视点的帧图像群参照上述基准视点的帧图像而编码的第1从属视视频流数据。2.如权利要求1所述的编码装置，其特征在于，还具备深度图生成机构，该深度图生成机构对于上述多个视点的帧图像群分别生成表示各帧图像的像素单位的进深信息的深度图。3.一种编码装置，进行视频流数据的生成，该视频流数据是将表示多个视点中的各个视点的随着时间经过的景象的帧图像群编码而得到的，其特征在于，具备：输入机构，受理上述多个视点中的各个视点的帧图像群的输入；基本视编码机构，将上述多个视点的帧图像群中的1个作为基准视点的帧图像群，生成将该帧图像群不使用其他视点的帧图像作为参照图像而编码得到的基本视视频流数据；第1从属视编码机构，生成第1从属视视频流数据，该第1从属视视频流数据是将上述多个视点中的、处于与上述基准视点之间至少夹着其他1个视点的位置关系的第1种视点的帧图像群，使用基本视视频流数据的同一时刻的帧图像或其他第1从属视视频流数据的同一时刻的帧图像作为参照图像而编码得到的；第2从属视编码机构，生成第2从属视视频流数据，该第2从属视视频流数据是将上述基准视点及第1种视点以外的、处于被其他视点夹着的位置关系的第2种视点的帧图像群，使用夹着该视点的2个视点的同时刻的帧图像作为参照图像而编码得到的；以及视频流数据输出机构，将上述基本视视频流数据和上述第1及第2从属视视频流数据输出，上述第2从属视编码机构，使用基准视点及第1种视点、或者使用不同的两个第1种视点，作为在将上述第2种视点的帧图像群编码时所参照的2个视点，上述第2从属视编码机构，作为在将上述第2种视点的帧图像群编码时所参照的2个视点，使用满足在将该2个视点连结的直线上有上述第2种视点的条件的位置关系的2个视点，上述第2从属视编码机构，使用还满足与上述第2种视点的方向不同、且在各个方向中距上述第2种视点的距离最近的条件的2个视点，在上述输入机构中，被输入在以上述基准视点的视线方向的矢量为法线矢量且包含上述基准视点的视点位置的平面上、以上述基准视点为中心以预先设定的间隔配置在2维矩阵上的视点位置的多个视点的帧图像群；上述第1从属视编码机构将上述多个视点中的、处于从上述基准视点相对于上下左右倾斜方向分别最远离的位置的视点决定为第1种视点，将该第1种视点的帧图像群参照上述基准视点的同时刻的帧图像而编码；上述第2从属视编码机构将上述基准视点及第1种视点以外的全部的视点的帧图像群，参照夹着该视点的基准视点及第1种视点的同时刻的帧图像而编码。4.如权利要求1或3所述的编码装置，其特征在于，上述基本视编码机构将上述基准视点的帧图像群以依据MPEG-4MVC中的基本视的形式编码；上述第1从属视编码机构将第1种视点的帧图像群以依据MPEG-4MVC中的从属视的形式编码；上述第2从属视编码机构将第2种视点的帧图像群以依据MPEG-4MVC中的从属视的形式编码，生成将MPEG-4MVC中的语法扩展后的视频流数据，以便记载表示在将第2种视点的帧图像群编码时所参照的2个视点的信息。5.如权利要求4所述的编码装置，其特征在于，还具备基准视点变更机构，该基准视点变更机构根据各视点的帧图像的内容的时间变化，按照预先设定的每个期间变更基准视点。6.如权利要求5所述的编码装置，其特征在于，上述基本视编码机构、上述第1从属视编码机构及上述第2从属视编码机构，对于每个上述视点的帧图像群，在每当变更基准视点时作为不同的GOP图片组的视频流数据而进行编码。7.如权利要求1或3所述的编码装置，其特征在于，还具备：多视视频流生成机构，使用上述基本视视频流数据、上述第1从属视视频流数据及第2从属视视频流数据，生成多视视频流；流参照信息生成机构，按照每个视频流，生成表示有关该视频流的参照关系的流参照信息；以及流送出机构，将复用了上述多视流和上述流参照信息而得到的传输流送出。8.一种解码装置，其特征在于，具备：取得机构，取得由权利要求1或3所述的编码装置生成的流数据；基本视解码机构，将包含在上述流数据中的基本视视频流数据解码，得到基准视点的帧图像群；第1从属视解码机构，先将与对第1从属视视频流数据进行解码时的参照目标的1个视点相对应的视流数据解码，参照通过解码得到的同时刻的帧图像，得到将该第1从属视视频流数据解码后的帧图像群；第2从属视解码机构，先将与对第2从属视视频流数据进行解码时的参照目标的2个视点分别对应的视流数据解码，参照通过解码得到的同时刻的帧图像，得到将该第2从属视视频流数据解码后的帧图像群；以及输出机构，将由上述基本视解码机构得到的帧图像群、和由上述第1及第2从属视解码机构得到的帧图像群输出。9.一种再现装置，接收从权利要求7所述的编码装置发送的传输流并再现，其特征在于，具备：流接...

【专利技术属性】
技术研发人员：佐佐木泰治，矢羽田洋，小川智辉，西孝启，川口透，小泽由佳，
申请(专利权)人：松下电器产业株式会社，
类型：
国别省市：