视频编码方法及解码视频信号的方法技术

本公开提供视频编码方法及解码视频信号的方法。在一个实施例中，该视频编码方法包括：将第一图像和第二图像分别子采样成第一采样数据和第二采样数据；将第一采样图像数据和第二采样图像数据中的每个分离成多个子图像，其中，子图像中的每个包括通过模式选择的相应采样图像数据的图像数据；至少将多个子图像一起封装成视频流的单个图像帧，其中，封装包括根据指示如何将子图像平铺在一起的布置将子图像平铺在一起，布置指示将对应于第一采样图像数据的多个子图像平铺成图像帧的第一矩形块，以及将对应于第二采样图像数据的多个子图像平铺成图像帧的第二矩形块，第一矩形块被定位成在图像帧中与第二矩形块成并排关系或顶-底关系；以及对单个图像帧进行编码，以及编码布置的标识符。

【技术实现步骤摘要】
视频编码方法及解码视频信号的方法本申请是申请号为201080006265.2、申请日为2010年1月28日、名称为“对如立体图像的多个图像进行子采样和交织的方法和装置”的PCT专利技术专利申请的分案申请。相关申请的交叉引用本申请要求2009年1月29日提交的美国临时专利申请61/148,051号的优先权，通过引用将其全部内容包含于此。
本专利技术涉及数字数据的编码和解码，尤其涉及数字视频数据。
技术介绍
近年来，内容提供商对将立体(3D)内容传送到家庭相当感兴趣。这种兴趣不仅受到3D素材越来越普及和产品越来越多的驱动，而且受到若干已经对消费者销售的立体装置的出现的驱动。已经提出了若干用于将立体素材传送到家庭的系统。
技术实现思路
本专利技术人实现了对3D以及其它多图像视频系统更好地编码和解码的需要。在各种实施例中，本专利技术提供了用于编码和解码视频数据的方法、系统和体系结构。例如，使用数据或“红”或“黑”的棋盘式(CB)交织的视频数据，以“红”数据跟着“红”数据之前的黑数据等的格式，进行编码和解码(“红”数据意味着第一图像、视图或者场景的图像数据(被统称为复数的“各视图”或者单数的“视图”)，且“黑”数据意味着(例如，单独视频流的)第二独立视图或者相关视图(例如，要根据“红”和“黑”数据二者绘制(render)的3D图像的第二视图，或者“红”数据中承载的相同视图的另一个角度)的图像数据)。将这些概念扩展，例如，交织视频可以包括例如来自多个节目流、相同场景的多个角度、或者相同或者不同场景、视频游戏或者节目的多组3D视图的多个图像中的任何之一或者更多。另外，用于编码的帧的准备可以包括通过梅花形五点采样或者其它采样技术执行的采样。然后，以有利的格式(例如，考虑到编码器的容量/意向或者数据的格式)布置采样的数据，该格式可以是直棋盘式或者以一个或者更多模式交织的数据(例如，子图像)分组。然后，例如，可以通过MPEG-4AVC或者另一种编码技术进行编码。在一个实施例中，本专利技术提供了一种方法，包括步骤：对n个图像进行子采样(sub-sample)；将采样图像中的每个采样图像分离为子图像；将子图像一起封装到图像帧中；以及通过视频编码器对单个图像帧进行编码。子采样步骤包括例如梅花形五点采样。该图像可以包括例如3D图像的左视图和右视图、相同场景的多个视图以及多个图像至少之一(并且该图像还可以包括深度和遮挡信息之一)，或者该图像可以包括来自该图像之一的多于一个像素的组。该子图像可以包括其特性与标准图像相似的图像内的数据，或者该子图像可以包括从相应图像中通过模式选择的数据。分离步骤可以包括例如基于行和基于列中至少之一分离采样图像。分离步骤可以包括从采样图像中的每个采样图像准备多个块的邻近数据。封装步骤可以包括以预定格式交织子图像。预定格式可以基于例如图像、采样图像和所分离的图像样本的任何一个自适应地改变。该方法还可以包括编码标识预定格式的映射的步骤。可以在例如图像帧的区域中编码映射，并且在图像帧的其它区域中执行子图像的封装。映射可以被编码为边信息。交织可以包括例如水平交织、垂直交织和矩形块交织之一。该子采样步骤可以包括梅花形五点采样，该分离步骤可以包括使用子采样图像的每个其它行和每个其它列之一准备子图像，并且该封装步骤可以包括布置基于行和基于列的子图像之一。该方法可以还包括编码子图像在该图像帧内的布置的标识符的步骤。在一个实施例中，该标识符是放置在该编码模式块的边信息中的代码。作为一种选择，它还可以被放置在该图像帧中。该封装步骤可以包括根据这里描述的模式和其它模式的任何一个进行封装。该封装可以例如维持至少一个尺寸与该子采样图像之一的尺寸相等。该封装可以包括例如要有效利用解码该编码图像要使用的资源而选择的封装格式。该封装可以包括为了允许包括SNR/分辨率可伸缩性和2D至3D可伸缩性的高级可伸缩性特征而选择的封装格式。基于诸如处理能力的可用资源，可以选择该封装格式。该封装可以包括例如维持具有高值的像素以解码/上采样互相非常靠近的每个[子图像]。该编码步骤可以包括诸如JPEG、JPEG-2000、类MPEG－2、MPEG－4AVC和VC1编码的任何一个图像或者视频编码系统。在其它实施例中，本专利技术可以被实现为一种视频装置，包括：解码器，被配置为解码编码的视频信号，在视频信号中每帧包括多于一个的图像；以及格式转换器，包括被配置为对在所解码的视频信号中以帧格式交织的各组视频数据进行去交织的格式转换器，其中各组视频数据包括来自第一图像的一组或者更多组视频数据以及来自第二图像的一组或者更多组视频数据。该格式转换器可以包括例如去交织器，该去交织器被配置为从多个交织格式对数据组进行去交织。该格式转换器可以包括例如格式读取器，该格式读取器被配置为确定该数据组的交织格式。该格式转换器可以包括选择装置，该选择装置被配置为基于交织数据组的格式选择算法和专用电子部件之一进行去交织。该格式转换器可以被配置为例如对水平的、垂直的、基于块的和基于映射的交织视频数据组的至少之一进行去交织。本专利技术还可以包括上转换器，上转换器被配置为对来自图像至少之一的去交织数据组进行上转换。该上转换数据可以例如被作为2D图像输出。例如，可以以HDMI兼容信号格式化该2D图像。该上转换数据可以包括包含3D图像中的第一视图的第一图像的数据和包含该3D图像的第二视图的第二图像的数据。视频装置可以是例如蓝光DVD播放器、媒体播放器、机顶盒、电视译码器、计算机视频卡、调谐器或者其它电子装置至少之一的一部分。该解码器可以包括MPEG-2、MPEG-4AVC、VC1以及其它解码器之一。在另一个实施例中，本专利技术可以被实现为一种编码系统，包括：子采样器，被配置为对至少两个不同视图的图像进行子采样；格式化器，被配置为从每个视图中选择至少一组图像数据，并且将组交织在视频流的单个图像帧中；以及编码器，被配置为对视频流进行编码。编码器可以包括例如MPEG-4AVC编码器。图像数据组包括例如多于一个像素的组。格式化器可以包括例如奇偶行列选择器，并且交织图像数据组包括包含水平重新布置、垂直重新布置、交织水平重新布置、交织垂直重新布置、块重新布置、交织块重新布置、垂直交织重新布置和水平交织重新布置中至少之一的组该编码器可以还包括选择装置，该选择装置被配置为选择用于交织该组数据的布置。该编码器还可以包括映射器，该映射器被配置为从所格式化的这两个图像映射数据的布置。本专利技术还可以被实现为一种媒体存储器，其具有存储在其上的视频流，其中该视频流包括来自至少两个视图的交织的数据集，当由相应媒体播放器装载和读取时，使播放器解码，然后去交织该视频流，之后，格式化显示装置的视频流。该数据集可以包括例如对应于3D图像的第一视图的多个数据集和对应于该3D图像的第二视图的多个数据集。媒体存储器可以包括存储卡、盘和电磁载体的物理属性至少之一。由存储卡、电磁载体和光盘至少之一的物理特性表示的该媒体存储器的存储内容包括视频流，并且被加密。本专利技术又可以被实现为一种视频编码系统，包括：格式化器，被配置为将对应于第一图像的数据的至少一个封装、对应于第二图像的数据的至少一个封装、第一图像的分辨率和动态范围增强至少之一、以及第二图像的分辨率和动态范围增强至本文档来自技高网...

【技术保护点】
一种视频编码方法，包括：将第一图像和第二图像分别子采样成第一采样图像数据和第二采样图像数据；将所述第一采样图像数据和所述第二采样图像数据中的每个分离成多个子图像，其中，所述子图像中的每个包括通过模式选择的相应采样图像数据的图像数据；至少将所述多个子图像一起封装成视频流的单个图像帧，其中，所述封装包括根据指示如何将所述子图像平铺在一起的布置将所述子图像平铺在一起，所述布置指示将对应于所述第一采样图像数据的所述多个子图像平铺成所述图像帧的第一矩形块，以及将对应于所述第二采样图像数据的所述多个子图像平铺成所述图像帧的第二矩形块，所述第一矩形块被定位成在所述图像帧中与所述第二矩形块成并排关系或顶底关系；以及对所述单个图像帧进行编码，以及编码所述布置的标识符。

【技术特征摘要】
2009.01.29 US 61/148,0511.一种视频编码方法，包括：将第一图像和第二图像分别子采样成第一采样图像数据和第二采样图像数据；将所述第一采样图像数据和所述第二采样图像数据中的每个分离成多个子图像，其中，所述子图像中的每个包括通过模式选择的相应采样图像数据的图像数据；至少将所述多个子图像一起封装成视频流的单个图像帧，其中，所述封装包括根据指示如何将所述子图像平铺在一起的布置将所述子图像平铺在一起，所述布置指示将对应于所述第一采样图像数据的所述多个子图像平铺成所述图像帧的第一矩形块，以及将对应于所述第二采样图像数据的所述多个子图像平铺成所述图像帧的第二矩形块，所述第一矩形块被定位成在所述图像帧中与所述第二矩形块成并排关系或顶底关系；以及对所述单个图像帧进行编码，以及编码所述布置的标识符。2.根据权利要求1所述的方法，其中，所述标识符是放置在编码模式块的边信息中的代码和/或放置在所述图像帧中的代码。3.根据权利要求1所述的方法，其中，所述子采样包括梅花形五点采样、水平采样或垂直采样。4.根据权利要求1-3中的任一项所述的方法，其中，所述第一图像和所述第二图像包括来自多个节目流、相同场景的多个角度、或者相同或不同场景、视频游戏或节目的多组3D视图中的多个图像中的任何一个或多个。5.一种使用处理器解码经过编码的视频信号的方法...

【专利技术属性】
技术研发人员：亚历山德罗斯·图拉皮斯，沃尔特·J·胡萨克，佩沙拉·V·帕哈拉瓦达，阿萨纳西奥斯·莱昂塔里斯，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US