视频编码方法及装置、视频解码方法及装置制造方法及图纸

一种视频编码方法，由多个GOP构成多个图像，将各GOP的图像作为一个视频进行编码，其中包括以下步骤：确定是否对各GOP中包含的图像进行编码;对表示是否输出该GOP中包含的图像的编码数据的GOP编码有无信息进行编码;以及当输出该GOP中包含的图像的编码数据时，对该GOP中包含的图像进行编码。典型的有不依靠该GOP的编码数据的解码而通过判定利用其它1个以上的GOP生成的图像是否比由编码数据的解码而获得的图像更接近原图像，确定是否对该GOP中包含的图像进行编码。

【技术实现步骤摘要】

本专利技术涉及适合可变更观察位置或观察方向的视频技术等的视频编码及视频解码的技术。
技术介绍
一般，为了在视频编码中使用时间方向的相关实现高编码效率，采用帧间预测编码。帧的编码模式有不使用帧间相关而进行编码的I帧、由过去编码的I帧预测的P帧、可由过去编码的2帧预测的B帧。P帧中可由I帧或P帧预测，B帧中可由I帧或P帧或B帧预测。尤其在视频编码方式H.264中，可预先在编码装置内的参考图像存储器存储多个帧的解码图像，从该存储器选择参考图像用于预测。另外，P帧中输入运动图像中的时间由过去帧预测，但B帧中不仅可由过去帧预测，而且也可由未来帧预测。图7 (a)部例不了运动图像的预测关系。在B帧中由2帧预测时(两方向预测)，插补来自2帧的图像信息，作成I帧的图像信息并作成预测图像。将从第I帧到第7帧的编码模式按IBBPBBP的顺序编码时，由于存在图7(a)部所示的预测关系，在实际编码时，将图7(a)部所示的帧的编号从左到右设为I 7，按如图7(b)部所示“I — 4 — 2 — 3 — 7 — 5 — 6”的帧编号顺序对帧进行编码。这里，交替运动图像为I帧内具有2场的构成，与上述同样，可按每个场设定预测关系。一般将帧与场统称为图片。另外，B帧的两方向预测中可由过去2帧或未来2帧预测。例如在视频编码方式H.264中，预先在参考图像存储器中存储多个帧的解码图像，可从该存储器选择2帧的参考图像并加以预测。这里，选择的帧的解码后的显示时刻可为编码对象帧的显示时刻的未来也可为过去。另外，以I图片作前头的图片集合设定为图片组(GOP:group of picture),从而能够容易实现GOP单位的编码数据随时间的随机存取功能。GOP通过在特定图片的编码数据之前，包含表示GOP前头的信息，能够指定该图片为该图片以后的多个图片构成的COP的前头。MPEG-2中，通过插入具有特有的位组合的代码来指定是GOP的前头。S卩，可在表示GOP的前头的代码间构成IGOP的编码数据。还有，可在编码数据中不对表示GOP的前头的信息进行编码，而作为与编码数据独立的信息指定GOP构成信息。—般,在表不GOP前头的信息之后，也包含GOP的前头巾贞的时刻信息,在实现对于时间的随机存取时使用。另外，各图片上也可带有时刻信息。该时刻信息例如在H.263中称为TR(Temporal Reference)。TR是以单位时间为基本的、表示帧的输出顺序的信息。例如将单位时间设定为1/30秒时，每个帧增加一个值的情况等价于帧速率为30帧/秒的情况。通常TR按固定长度被编码。并且，关于多个摄像机视频的编码，提出了将各摄像机视频设定为G0P，在GOP间应用预测编码的同时作为一个视频信息加以编码的方法。例如，在下述的非专利文献I或非专利文献2中，提出了定义Base GOP和InterGOP来表示GOP间的预测关系的方法。在Base GOP中包含的图片仅参考同一 GOP内包含的图片，在Inter GOP中包含的图片参考同一或其它GOP内包含的图片。Inter GOP中头部包含表示参考的GOP的参考GOP信息。这样，如果预先具有多个摄像机输入视频，可通过切换输入视频变更观察位置与观察方向。如此就能获得拍摄的位置上的视频，但还提出了生成未拍摄到的观察位置或观察方向的视频的技术。例如，在下述的非专利文献3中，提出了由多个摄像机输入图像生成光线空间，通过从该光线空间抽出图像信息，生成未拍摄到的观察位置或观察方向的视频的方法。在生成这样的视频的技术中，一般在多个摄像机输入图像中被拍摄了相同的被照体时，使用这些被拍摄的图像信息，对于该被照体生成未拍摄到的观察位置或观察方向的图像信息。即，对于在多个摄像机输入图像中被拍摄的被照体，使用各摄像机输入图像的一部分生成图像信息。作为该图像生成技术例如有适应过滤方法(例如参考非专利文献4)或表参考法(例如参考非专利文献5)。非专利文献 I:Hideaki Kimata and Masaki Kitahara, Preliminary resultson multiple view video coding(3DAV), document M10976 MPEGRedmond Meeting,July,2004.非专利文献 2:Hideaki Kimata, Masaki Kitahara, Kazuto Kamikura, YoshiyukiYashima,Toshiaki Fujii,and Masayuki Tanimoto, System Design of Free ViewpointVideo Communication, CIT2004, Sep.,2004.非专利文献3:藤井、木本、谷本:“光线组表现中的三维空间信息的压缩”，三维图像讨论会(3 次元画像 - > 7 r 7 ) ’ 96，pp.1-6 (1996.7)。非专利文献4:Τ.Kobayashi, Τ.Fujii, Τ.Kimoto, Μ.Tanimoto, Interpolationof Ray-Space Data by Adaptive Filtering, IS&T/SPIEElectronic Imaging 2000,2000.非专利文献5:Μ.Kawaura, T.1shi garni , T.Fujii, T.Kimoto ,M.Tanimoto, Efficient Vector Quantization of Epipolar Plane Images ofRay Space By Dividing into Oblique Blocks, Picture Coding Symposium2001,pp.203-206,2001.专利技术的公开在多个摄像机视频中，若按照生成未拍摄到的观察位置或观察方向的视频的技术得到质量十分好的图像时，可以不对一部分的摄像机视频的图像信息进行编码而在视频再现侧生成图像，因此最终可提高对多个摄像机视频的编码效率。但是，在传统的视频编码方式中，即使在视频再现侧不使用一部分的摄像机视频的图像也判定是否能生成对应的图像，并且，由于没有对表示可生成的信息进行编码的计划，实际上对全部的摄像机视频进行编码后发送，编码效率没有得到提高。本专利技术鉴于上述情况构思而成，目的在于提供新视频编码及视频解码相关的技术，适合于即使在视频再现侧不使用一部分的摄像机视频的图像也判定是否能生成对应的图像，并且，通过提供对表示可生成的信息进行编码的计划，可变更观察位置或观察方向的视频技术等。为达成该目的，本专利技术提供一种视频编码方法，由多个GOP构成多个图像，将各GOP的图像作为一个视频进行编码，其中包括以下步骤:确定是否对各GOP中包含的图像进行编码的GOP编码确定步骤；对表示是否输出该GOP中包含的图像的编码数据的GOP编码有无信息进行编码的GOP编码有无信息编码步骤；以及当输出该GOP中包含的图像的编码数据时，对该GOP中包含的图像进行编码的GOP内图像编码步骤。 作为典型例，在上述GOP编码确定步骤中，不依靠该GOP的编码数据的解码而通过判定利用其它I个以上的GOP生成的图像是否比由编码数据的解码而获得的图像本文档来自技高网...

【技术保护点】
一种视频编码方法，将观察位置及观察方向中至少一方不同的多个摄像机摄取的多个摄像机输入视频进行编码，不对所述多个摄像机输入视频中一部分的摄像机输入视频的图像信息进行编码而能够在视频再现侧生成图像，其中包括以下步骤：将所述多个摄像机输入视频的每一个中包含的多个图像分组形成多个GOP的步骤；GOP编码确定步骤，对所述多个摄像机输入视频中预定的一个摄像机输入视频的各GOP而言，在判断为那些GOP中包含的图像即使不使用那些图像的编码数据也能够在解码侧生成的情况下，确定为不对那些图像进行编码并且不输出编码数据；在判断为如果不使用那些图像的编码数据则在解码侧不能生成的情况下，确定为对那些图像进行编码并且输出编码数据；通过所述GOP编码确定步骤的确定，对表示是否输出那些GOP中包含的图像的编码数据的GOP编码有无信息进行编码的GOP编码有无信息编码步骤；以及当所述GOP编码有无信息表示输出那些GOP中包含的图像的编码数据时，对那些GOP中包含的图像进行编码的GOP内图像编码步骤。

【技术特征摘要】
2004.10.07 JP 2004-2944141.一种视频编码方法，将观察位置及观察方向中至少一方不同的多个摄像机摄取的多个摄像机输入视频进行编码，不对所述多个摄像机输入视频中一部分的摄像机输入视频的图像信息进行编码而能够在视频再现侧生成图像，其中包括以下步骤: 将所述多个摄像机输入视频的每一个中包含的多个图像分组形成多个GOP的步骤； GOP编码确定步骤，对所述多个摄像机输入视频中预定的一个摄像机输入视频的各GOP而言，在判断为那些GOP中包含的图像即使不使用那些图像的编码数据也能够在解码侧生成的情况下，确定为不对那些图像进行编码并且不输出编码数据；在判断为如果不使用那些图像的编码数据则在解码侧不能生成的情况下，确定为对那些图像进行编码并且输出编码数据； 通过所述GOP编码确定步骤的确定，对表示是否输出那些GOP中包含的图像的编码数据的GOP编码有无信息进行编码的GOP编码有无信息编码步骤；以及 当所述GOP编码有无信息表示输出那些GOP中包含的图像的编码数据时，对那些GOP中包含的图像进行编码的GOP内图像编码步骤。2.如权利要求1所述的视频编码方法，其特征在于:在上述GOP编码确定步骤中，所述判断包括如下步骤: 通过判定不依靠那些GOP的编码数据的解码而利用其它I个以上的GOP生成的图像是否比由那些GOP的编码数据的解码而获得的图像更接近原图像，确定是否对那些GOP中包含的图像进行编码。3.如权利要求1所述的视频编码方法，其特征在于:还包括当不输出那些GOP中包含的图像的编码数据时，对生成那些GOP中包含的图像时使用的、指定其它I个以上GOP的生成参考GOP指定信息进行编码的生成参考GOP编码步骤。4.如权利要求1所述的视频编码方法，其特征在于:当不输出编码数据时，所述视频编码方法还包括对生成那些GOP中包含的图像时使用的、指定图像生成方法的生成信息进行编码的生成信息编码步骤。5.一种视频解码方法，对将观察位置及观察方向中至少一方不同的多个摄像机摄取的多个摄像机输入视频进行编码来生成的编码数据进行解码，不对所述多个摄像机输入视频中一部分的摄像机输入视频的图像信息进行编码而能够在视频再现侧生成图像，其中包括以下步骤: 对将所述多个摄像机输入视频每一个中包含的多个图像分组形成多个GOP中的预定的一个摄像机输入视频的各GOP而言，对表示是否对那些GOP中包含的图像的编码数据进行解码的GOP编码有无信息进行解码的GOP编码有无信息解码步骤； GOP内图像解码步骤，当所述GOP编码有无信息表示对那些GOP中包含的图像的编码数据进行解码时，对那些GOP中包含的图像进行解码；当所述GOP编码有无信息表示对那些GOP中包含的图像的编码数据不进行解码时，采用不使用那些编码数据的图像生成技术对那些GOP中包含的图像进行解码。6.如权利要求5所述的视频解码方法，其特征在于:还包括当不对那些GOP中包含的图像的编码数据进行解码时，对生成那些GOP中包含的图像时使用的、指定其它I个以上的GOP的生成参考GOP指定 信息进行解码的生成参考GOP解码步骤。7.如权利要求5所述的视频解码方法，其特征在于:还包括当不对那些GOP中包含的图像的编码数据进行解码时，对生成那些GOP中包含的图...

【专利技术属性】
技术研发人员：北原正树，木全英明，
申请(专利权)人：日本电信电话株式会社，
类型：发明
国别省市：