视频装置、用于将多视图帧的序列编码为比特流的装置制造方法及图纸

提供一种视频装置、用于将多视图帧的序列编码为比特流的装置。该视频装置包括存储在非易失性机器可读介质上的比特流，比特流的特征在于：封装的视频帧的像素，其中，每一帧包括按照交织布置的第一图像和第二图像；第一边信息，其指示交织布置的采样格式；以及第二边信息，其指示按照交织布置的第一图像和第二图像的像素的布置，其中，交织布置指示用于每一封装的视频帧的四个子图像的平铺信息。

【技术实现步骤摘要】
视频装置、用于将多视图帧的序列编码为比特流的装置本申请是申请号为201080006265.2(PCT/US2010/022445)、申请日为2010年1月28日、专利技术名称为“视频编码方法、视频装置和编码系统”的母案申请的分案申请。相关申请的交叉引用本申请要求2009年1月29日提交的美国临时专利申请61/148,051号的优先权，通过引用将其全部内容包含于此。
本专利技术涉及数字数据的编码和解码，尤其涉及数字视频数据。
技术介绍
近年来，内容提供商对将立体(3D)内容传送到家庭相当感兴趣。这种兴趣不仅受到3D素材越来越普及和产品越来越多的驱动，而且受到若干已经对消费者销售的立体装置的出现的驱动。已经提出了若干用于将立体素材传送到家庭的系统。
技术实现思路
本专利技术人实现了对3D以及其它多图像视频系统更好地编码和解码的需要。在各种实施例中，本专利技术提供了用于编码和解码视频数据的方法、系统和体系结构。例如，使用数据或“红”或“黑”的棋盘式(CB)交织的视频数据，以“红”数据跟着“红”数据之前的黑数据等的格式，进行编码和解码(“红”数据意味着第一图像、视图或者场景的图像数据(被统称为复数的“各视图”或者单数的“视图”)，且“黑”数据意味着(例如，单独视频流的)第二独立视图或者相关视图(例如，要根据“红”和“黑”数据二者绘制(render)的3D图像的第二视图，或者“红”数据中承载的相同视图的另一个角度)的图像数据)。将这些概念扩展，例如，交织视频可以包括例如来自多个节目流、相同场景的多个角度、或者相同或者不同场景、视频游戏或者节目的多组3D视图的多个图像中的任何之一或者更多。另外，用于编码的帧的准备可以包括通过梅花形五点采样或者其它采样技术执行的采样。然后，以有利的格式(例如，考虑到编码器的容量/意向或者数据的格式)布置采样的数据，该格式可以是直棋盘式或者以一个或者更多模式交织的数据(例如，子图像)分组。然后，例如，可以通过MPEG-4AVC或者另一种编码技术进行编码。在一个实施例中，本专利技术提供了一种装置，该装置包括存储在非易失性机器可读介质上的比特流，比特流的特征在于：封装的视频帧的像素，其中，每一帧包括按照交织布置的第一图像和第二图像；第一边信息，其指示交织布置的采样格式；以及第二边信息，其指示按交织布置的第一图像和第二图像的像素的布置，其中，如果第一边信息指示梅花形五点采样格式且第二边信息指示垂直布置，则第一图像和第二图像被封装在封装的视频帧中，封装的视频帧包括：第一图像的奇数行和奇数列的样本，被布置为封装的视频帧的左上半部；第一图像的偶数行和偶数列的样本，被布置为封装的视频帧的左下半部；第二图像的奇数行和偶数列的样本，被布置为封装的视频帧的右上半部；以及第二图像的偶数行和奇数列的样本，被布置为封装的视频帧的右下半部。在另一个实施例中，本专利技术提供了一种用于将多视图帧的序列编码为比特流的装置，该装置包括：输入端口，用于接收第一视图图像和第二视图图像；处理器，用于采样第一视图图像的奇数行和奇数列，以生成封装的视频帧的第一子图像；处理器，用于采样第一视图图像的偶数行和偶数列，以生成封装的视频帧的第二子图像；处理器，用于采样第二视图图像的奇数行和偶数列，以生成封装的视频帧的第三子图像；处理器，用于采样第二视图图像的偶数行和奇数列，以生成封装的视频帧的第四子图像；处理器，用于生成封装的视频帧的第一边信息，第一边信息指示交织的第一视图图像和第二视图图像的梅花形五点采样格式；处理器，用于生成封装的视频帧的第二边信息，第二边信息指示第一、第二、第三和第四子图像如何被平铺在一起以形成封装的视频帧；以及输出端口，用于输出封装的视频帧，第一边信息和第二边信息。在另一个实施例中，本专利技术提供了一种装置，该装置包括存储在非易失性机器可读介质上的比特流，比特流的特征在于：封装的视频帧的像素，其中，每一帧包括按照交织布置的第一图像和第二图像；第一边信息，其指示交织布置的采样格式；以及第二边信息，其指示按照交织布置的第一图像和第二图像的像素的布置，其中，交织布置指示用于每一封装的视频帧的四个子图像的平铺信息。在一个实施例中，本专利技术提供了一种方法，包括步骤：对n个图像进行子采样(sub-sample)；将采样图像中的每个采样图像分离为子图像；将子图像一起封装到图像帧中；以及通过视频编码器对单个图像帧进行编码。子采样步骤包括例如梅花形五点采样。该图像可以包括例如3D图像的左视图和右视图、相同场景的多个视图以及多个图像至少之一(并且该图像还可以包括深度和遮挡信息之一)，或者该图像可以包括来自该图像之一的多于一个像素的组。该子图像可以包括其特性与标准图像相似的图像内的数据，或者该子图像可以包括从相应图像中通过模式选择的数据。分离步骤可以包括例如基于行和基于列中至少之一分离采样图像。分离步骤可以包括从采样图像中的每个采样图像准备多个块的邻近数据。封装步骤可以包括以预定格式交织子图像。预定格式可以基于例如图像、采样图像和所分离的图像样本的任何一个自适应地改变。该方法还可以包括编码标识预定格式的映射的步骤。可以在例如图像帧的区域中编码映射，并且在图像帧的其它区域中执行子图像的封装。映射可以被编码为边信息。交织可以包括例如水平交织、垂直交织和矩形块交织之一。该子采样步骤可以包括梅花形五点采样，该分离步骤可以包括使用子采样图像的每个其它行和每个其它列之一准备子图像，并且该封装步骤可以包括布置基于行和基于列的子图像之一。该方法可以还包括编码子图像在该图像帧内的布置的标识符的步骤。在一个实施例中，该标识符是放置在该编码模式块的边信息中的代码。作为一种选择，它还可以被放置在该图像帧中。该封装步骤可以包括根据这里描述的模式和其它模式的任何一个进行封装。该封装可以例如维持至少一个尺寸与该子采样图像之一的尺寸相等。该封装可以包括例如要有效利用解码该编码图像要使用的资源而选择的封装格式。该封装可以包括为了允许包括SNR/分辨率可伸缩性和2D至3D可伸缩性的高级可伸缩性特征而选择的封装格式。基于诸如处理能力的可用资源，可以选择该封装格式。该封装可以包括例如维持具有高值的像素以解码/上采样互相非常靠近的每个[子图像]。该编码步骤可以包括诸如JPEG、JPEG-2000、类MPEG－2、MPEG－4AVC和VC1编码的任何一个图像或者视频编码系统。在其它实施例中，本专利技术可以被实现为一种视频装置，包括：解码器，被配置为解码编码的视频信号，在视频信号中每帧包括多于一个的图像；以及格式转换器，包括被配置为对在所解码的视频信号中以帧格式交织的各组视频数据进行去交织的格式转换器，其中各组视频数据包括来自第一图像的一组或者更多组视频数据以及来自第二图像的一组或者更多组视频数据。该格式转换器可以包括例如去交织器，该去交织器被配置为从多个交织格式对数据组进行去交织。该格式转换器可以包括例如格式读取器，该格式读取器被配置为确定该数据组的交织格式。该格式转换器可以包括选择装置，该选择装置被配置为基于交织数据组的格式选择算法和专用电子部件之一进行去交织。该格式转换器可以被配置为例如对水平的、垂直的、基于块的和基于映射的交织视频数据组的至少之一进行去交织。本专利技术还可以包括上转换器，上转换器被配本文档来自技高网...

【技术保护点】
一种装置，包括存储在非易失性机器可读介质上的比特流，所述比特流的特征在于：封装的视频帧的像素，其中，每一帧包括按照交织布置的第一图像和第二图像；第一边信息，其指示所述交织布置的采样格式；以及第二边信息，其指示按所述交织布置的所述第一图像和所述第二图像的像素的布置，其中，如果所述第一边信息指示梅花形五点采样格式且所述第二边信息指示垂直布置，则所述第一图像和所述第二图像被封装在封装的视频帧中，所述封装的视频帧包括：所述第一图像的奇数行和奇数列的样本，被布置为所述封装的视频帧的左上半部；所述第一图像的偶数行和偶数列的样本，被布置为所述封装的视频帧的左下半部；所述第二图像的奇数行和偶数列的样本，被布置为所述封装的视频帧的右上半部；以及所述第二图像的偶数行和奇数列的样本，被布置为所述封装的视频帧的右下半部。

【技术特征摘要】
2009.01.29 US 61/148,0511.一种视频装置，包括解码器和媒体存储器；其中，所述媒体存储器上存储有比特流，所述比特流的特征在于：封装的视频帧的像素，其中，每一帧包括按照交织布置的第一图像和第二图像；第一边信息，其指示所述交织布置的采样格式；以及第二边信息，其指示按所述交织布置的所述第一图像和所述第二图像的像素的布置，其中，如果所述第一边信息指示梅花形五点采样格式且所述第二边信息指示第一布置，则所述第一图像和所述第二图像被封装在封装的视频帧中，所述封装的视频帧包括：所述第一图像的奇数行和奇数列的样本，被布置为所述封装的视频帧的左上半部；所述第一图像的偶数行和偶数列的样本，被布置为所述封装的视频帧的左下半部；所述第二图像的奇数行和偶数列的样本，被布置为所述封装的视频帧的右上半部；以及所述第二图像的偶数行和奇数列的样本，被布置为所述封装的视频帧的右下半部；并且所述解码器被配置为解码所述比特流。2.根据权利要求1所述的视频装置，其中，如果所述第一边信息指示梅花形五点采样格式且所述第二边信息指示第二布置，则所述第一图像和所述第二图像被封装在封装的视频帧中，所述封装的视频帧包括：所述第一图像的奇数行和奇数列的样本，被布置为所述封装的视频帧的左上半部；所述第一图像的偶数行和偶数列的样本，被布置为所述封装的视频帧的右上半部；所述第二图像的奇数行和偶数列的样本，被布置为所述封装的视频帧的左下半部；以及所述第二图像的偶数行和奇数列的样本，被布置为所述封装的视频帧的右下半部。3.根据权利要求1所述的视频装置，其中，如果所述第一边信息指示梅花形五点采样格式且所述第二边信息指示第三布置，则所述第一图像和所述第二图像被封装在封装的视频帧中，所述封装的视频帧包括：所述第一图像的奇数行和奇数列的样本，被布置为所述封装的视频帧的左上半部；所述第一图像的偶数行和偶数列的样本，被布置为所述封装的视频帧的右下半部；所述第二图像的奇数行和偶数列的样本，被布置为所述封装的视频帧的右上半部；所述第二图像的偶数行和奇数列的样本，被布置为所述封装的视频帧的左下半部。4.根据权利要求1所述的视频装置，其中，所述比特流包括具有左视图和右视图的立体(3D)视频信号。5.根据权利要求1所述的视频装置，其中，所述第二边信息被在所述比特流中适应性地改变。6.一种用于将多视图帧的序列编码为比特流的装置，所述装置包括：输入端口，用于接收第一视图图像和第二视图图像；处理器，用于采样所述第一视图图像的奇数行和奇数列，以生成封装的视频帧的第一子图像；处理器，用于采样所述第一视图图像的偶数行和偶数列，以生成所述封装的视频帧的第二子图像；处理器，用于采样所述第二视图图像的奇数行和偶数列，以生成所述封装的视频帧的第三子图像；处理器，用于采样所述第二视图图像的偶数行和奇数列，以生成所述封装的视频帧的第四子图像；处理器，用于生成所述封装的视频帧的第一边信息，所述第一边信息指示交织的第一视图图像和第二视图图像的梅花形五点采样格式；处理器，用于生成所述封装的视频帧的第二边信息，所述第二边信息指示所述第一、第二、第三和第四子图像如何被平铺在一起以形成所述封装的视频帧；以及输出端口，用于输出所述封装的视频帧，所述第一边信息...

【专利技术属性】
技术研发人员：亚历山德罗斯·图拉皮斯，沃尔特·J·胡萨克，佩沙拉·V·帕哈拉瓦达，阿萨纳西奥斯·莱昂塔里斯，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US