一种视频序列码流及其解码方法技术

本发明专利技术公开一种视频序列码流，用于提供通过摄像机参数集来传输视频序列的摄像机参数，所述摄像机参数集包含V×F×M个参数，V为所述参数集对应的视点个数，F为所述参数集对应的帧个数，M为所述参数集包含的摄像机参数的类型数；所述摄像机参数集还包含有该摄像机参数集对应的视点中的I个视点的视点序号；所述摄像机参数集还包含有该摄像机参数集对应的J个视点中的起始帧的帧序号。本发明专利技术还公开了一种上述视频序列码流的解码方法，通过将视频序列码流中的摄像机参数集解码为摄像机参数数组，使各帧在编码和解码过程中可以方便地获取其对应的摄像机参数。在本发明专利技术中，一个帧可以灵活地使用一个或多个摄像机参数集中的部分参数。

【技术实现步骤摘要】
一种视频序列码流及其解码方法
本专利技术涉及多媒体通信领域，特别是一种视频序列码流及其解码方法。
技术介绍
一个视频序列的码流不仅包含编码各帧图像直接产生的码流，还包括一些参数信息，如图像宽度、图像高度等，这些参数通常被组织在一个称为参数集的语法结构中，编码成为参数集码流，例如H.264/AVC中的序列参数集(SequenceParameterSet，简称SPS)和图像参数集(PictureParameterSet，简称PPS)。广义的说，一个视频序列包含V(V≥1)个视点，每个视点包含F(F≥1)帧图像；当V＝1时，这样的视频序列为常见的单视点视频序列；当V＞1时，这样的视频序列通常也称为多视点视频序列。采用H.264/AVC等编码标准时，一帧图像可以划分为多个条带(slice)，对每个条带分别进行编码和解码。每个条带含有一个条带头(sliceheader)，包含了这个条带的一些编码参数。在H.264/AVC中的分层结构中，使用了图像参数集和序列参数集两级参数集来描述视频序列的一些参数。参数集可以被条带引用，即根据条带含有的参数集序号，找到对应序号的参数集，从中获取参数。例如，条带能够根据其含有的序列参数集序号，在对应序号的序列参数集中获取该条带所在视点的视点序号；条带也能够根据其含有的图像参数集序号，在对应序号的图像参数集中获取到图像播放顺序(PictureOrderCount，简称POC)编码方法等参数，利用这些参数以及条带头中的参数信息，条带能够获取到该条带所在帧的帧序号，即图像播放顺序。因此，视频序列的每一帧可以通过其包含的条带，获得该帧所在视点的视点序号和该帧的帧序号。值得注意的是，为了限制帧序号的无限制增加，通常要将帧序号限制在某一范围内，帧序号则在此范围内进行循环，例如要将帧序号限制在255以内，则只需将帧序号对256进行取模运算，即可使帧序号按照0，1，2...254，255，0，1...的方式进行循环，该限制范围一般被保存在序列参数集中。此外，同一个图像参数集也可以被多个图像引用。随着技术的发展，特别是三维图像获取技术和三维显示设备的发展，视频序列除了包含一个或多个视点的纹理信息之外，还可能包括一个或多个视点的深度信息，也可能再包含一个或多个视点的摄像机参数。摄像机参数可包括如焦距等内参数、以及摄像机相对于某一参考点的距离等外参数；当视频序列包含深度信息时，摄像机参数通常还会包括深度信息所对应的最远平面的深度数值和最近平面的深度数值。这些视频序列摄像机参数可能是解码视频序列的纹理信息或深度信息所必需的参数，也可能是合成虚拟视点的纹理信息或深度信息所必须的参数，因此在某些应用下需要编码成为码流，进行传输。当前的H.264/AVC标准中，摄像机参数仅可包含在辅助增强信息(SupplementalEnhancementInformation，简称SEI)这种语法结构中。SEI独立于视频图像内容，用于存储影片简介、版权信息、用户自行定义的资料等，每个条带的编码和解码过程并不引用SEI，或者说视频图像的编码和解码和SEI无关。但是对于包含深度信息的三维视频序列，编码和解码过程中各帧需要用到摄像机参数，例如用于合成目标视点图像作为视间参考帧，即常说的viewsynthesisprediction。对于这样的三维视频序列，如果按照现有的H.264/AVC标准中的技术将摄像机参数包含在辅助增强信息中，将无法使得各条带在编码和解码过程中引用到需要的摄像机参数，从而导致编码和解码过程无法正常进行。如果将摄像机参数包含在条带头中，则编码和解码过程可以正常进行，但是编码效率很低。在AVS，HEVC等类似的视频编解码标准中，也存在类似的问题。
技术实现思路
本专利技术提出一种视频序列码流，用于提供一个新的语法结构，即摄像机参数集来传输视频序列的摄像机参数。相应的，摄像机参数集信息需要被编码成码流，组成视频序列码流的一部分。本专利技术一实施例提出一种视频序列码流，其至少包含一个摄像机参数集；所述每个摄像机参数集包含V×F×M个参数；V为所述摄像机参数集对应的视点个数，F为所述摄像机参数集对应的帧个数，M为所述摄像机参数集包含的摄像机参数的类型数；所述摄像机参数集还包含有该摄像机参数集对应的视点中的I个视点的视点序号Pi(i＝1，2，...I)；所述摄像机参数集还包含有该摄像机参数集对应的J个视点中的起始帧的帧序号Sj(j＝1，2，...J)；其中V、F、M为正整数，I、J为不大于V的非负整数。进一步的，所述的视频序列码流还包含K帧图像信息，所述K帧图像信息中的每一帧与所述的摄像机参数集中的M个摄像机参数对应，所述的对应是M个摄像机参数由K帧图像信息中的每一帧所在视点的视点序号和所述帧的帧序号确定，其中K为正整数。本专利技术的另一实施例提出一种对上述视频序列码流的解码方法，该解码方法解码至少一个摄像机参数集，解码步骤至少包括：(1)获得视点序号Pi和起始帧的帧序号Sj；(2)获得一个包含Vd×Fd×Md个元素的摄像机参数数组，数组的每个元素均为摄像机参数；Vd为该数组对应的视点个数，Fd为该数组对应的帧个数，Md为该数组包含的摄像机参数的类型数，其中Vd、Fd、Md均为正整数；(3)所述的摄像机参数数组对应于帧序号从Sj开始的连续Fd个帧的摄像机参数。进一步的，所述解码方法获取视点序号和起始帧的帧序号的方法为以下两种方法之一：(1)当所述视频序列码流中包含其对应的V个视点中的全部视点的视点序号时(即I＝V时)，视点序号直接从码流中得到；当所述视频序列码流中包含其对应的V个视点中的全部视点的起始帧的帧序号时，即J＝V时，起始帧的帧序号直接从码流中得到；(2)当所述视频序列码流中不包含其对应的V个视点中的一个或多个的视点序号时，即I＜V时，根据编解码端约定好的规则获得所述视频序列码流中不包含的视点序号；当所述视频序列码流中不包含其对应的V个视点中的一个或多个的起始帧的帧序号时，即J＜V时，根据编解码端约定好的规则获得所述视频序列码流码流中不包含的起始帧的帧序号。进一步的，所述解码方法中的视频序列码流还包含K帧图像信息，所述K帧图像信息中的每一帧与所述的摄像机参数数组中的Md个摄像机参数对应，所述的对应是Md个摄像机参数由K帧图像信息中的每一帧所在的视点的视点序号和所述帧的帧序号确定，其中K为正整数。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术提出的一种视频序列码流，其包含一个新的与编码和解码相关的语法结构，即摄像机参数集，用来传输视频序列的摄像机参数；并在每个摄像机参数集中加入了该摄像机参数集对应的起始帧的帧序号，从而实现了各帧在编码和解码过程中对摄像机参数集的使用。本专利技术提出的一种视频序列码流的解码方法，通过将视频序列码流中的摄像机参数集解码为摄像机参数数组，使各帧在编码和解码过程中可以方便地获取其对应的摄像机参数。在本专利技术中，一个帧可以灵活地使用一个或多个摄像机参数集中的部分参数。具体实施方式本专利技术的解码方法适用于多种类型的参数，如摄像机的焦距等内参数、位置等外参数，以及视点对应的深度数据的最远深度平面、最近深度平面等参数。本专利技术实施例的视频序列码流至少包含一个摄像机参数集；所述每个摄像机参数集包含V×F本文档来自技高网...

【技术保护点】
一种视频序列码流，其特征在于，至少包含一个摄像机参数集；所述每个摄像机参数集包含V×F×M个参数；V为所述摄像机参数集对应的视点个数，F为所述摄像机参数集对应的帧个数，M为所述摄像机参数集包含的摄像机参数的类型数；所述摄像机参数集还包含有该摄像机参数集对应的视点中的I个视点的视点序号Pi(i＝1，2，...I)；所述摄像机参数集还包含有该摄像机参数集对应的J个视点中的起始帧的帧序号Sj(j＝1，2，...J)；其中V、F、M为正整数，I、J为不大于V的非负整数。

【技术特征摘要】
1.一种视频序列码流的解码方法，其特征在于：所述视频序列码流至少包含一个摄像机参数集，所述每个摄像机参数集包含V×F×M个参数；V为所述摄像机参数集对应的视点个数，F为所述摄像机参数集对应的帧个数，M为所述摄像机参数集包含的摄像机参数的类型数；所述摄像机参数集还包含有该摄像机参数集对应的视点中的I个视点的视点序号Pi(i＝1,2,…I)；所述摄像机参数集还包含有该摄像机参数集对应的J个视点中的起始帧的帧序号Sj(j＝1,2,…J)；其中V、F、M为正整数，I、J为不大于V的非负整数；解码至少一个摄像机参数集，至少包括如下步骤：(1)获得视点序号Pi和起始帧的帧序号Sj；(2)获得一个包含Vd×Fd×Md个元素的摄像机参数数组，数组的每个元素均为摄像机参数；Vd为该数组对应的视点个数，Fd为该数组对应的帧个数，Md为该数组包含的摄像机参数的类型数，其中Vd、Fd、Md均为正整数；(3)所述的摄像机参数数组对应于帧序号从Sj开始的连续Fd个帧的摄像机参数。2.根据权利要求1所述的视频序列码...

【专利技术属性】
技术研发人员：虞露，吕鹏，赵寅，
申请(专利权)人：浙江大学，
类型：发明
国别省市：