多视图象编解码方法及编解码器技术

本发明专利技术涉及一种多视图象编解码方法及编解码器。在多视图象的编码过程中，为了提高编码效率，需要利用视间图象参考以利用不同视图象之间的相关性，但是这样往往也因为需要参考本时刻其他视图象而影响各个视编码的并行性和增加编解码的延时。本发明专利技术通过限制同一时刻参考图象的选择，使得在多视编码中实现低延时和并行处理，同时允许选择其他时刻的不同视之间的参考以兼顾编码效率。而且，本发明专利技术还提出了视组的概念，使得对于编解码并行性的设定更加灵活。

【技术实现步骤摘要】

本专利技术涉及视频编码
，尤其涉及一种多视编码技术。
技术介绍
目前的视频编码标准如国际电信联盟(ITU， International Telecommuni cation Union)制定的H.261、 H.263、 H.263+、 H.264标准，以及运动图象 专家组(MPEG， Moving Picture Experts Group)制定的MPEG-1、 MPEG-2、 MPEG-3、 MPEG-4等图象编码标准，都是建立在混合编码(Hybrid Coding)框架之上。所述的混合编码框架是一种混合时间空间的视频图象编码方法，具体 为在编码时，先进行图象内、图象间的预测，得到预测值，以消除时间域 的相关性；然后，根据预测值与原始图象实际值的差值，得到残差图象，对 残差图象采用离散余弦变换法或其它的变换法进行二维变换，以消除空间域 的相关性；最后，对变换后的数据进行量化以减小数据量，和熵编码，以消 除统计上的冗余度，将熵编码后的数据与解码所需的包括运动矢量在内的一 些边信息， 一起组成一个压缩后的码流，供后续传输和存储用，达到压缩视 频图象的目的。相应地，在混合编码对应的解码端进行解码时，4妄照熵解码、反变换以 及预测补偿等 一 系列解码过程重建出图象。所述的图像可以是静止图象也可 以是序列图象中的一幅，可以是逐行扫描，隔行扫描，也可以是其它扫描得 来，或是人工拼接构成。混合编码框架中包括了图象内编码和图象间编码两种不同的编码方法。 且所述的帧内编码与帧间编码过程中，均采用了预测技术，以充分利用了帧 内以及帧间的空间、时间相关性，在消除相关性的基础上减小码率，并提高 压缩码流与原始图象的数据量压缩比。尤其在混合编码框架中，帧间预测是减小图象时间相关性的有效方法，特别是在最近的视频标准H.264的高级视 频编码(H.264/AVC, Advanced Video Coding)中，帧间预测采用了范围 更广的块尺寸划分，包括从16x 16到4x4,以及多参考图象帧等技术。同样，在多视视频编码
中，如多个摄像机对同一个对象或场景 进行拍摄时，所拍到的多个视频序列的各个图象之间也存在着较大的相关 性。因此在对多个视频序列同时编码时，可以利用当前视频序列中或其它视 频序列中已编码的图象作为参考图象对当前待编码图象进行预测，得到残差 图象，并对残差图象进行编码，从而消除多个视频序列的图象之间的相关 性，有效降低图象之间的冗余度。如图1所示，为便于描述，称各摄像机为视，即在图1中，视1、视2........视5分别来自于不同的摄像机的序列集合。同一时刻的图象组，是指同 一物理时刻所有摄像机拍摄到的图象集合或者人为规定的同 一时刻所有 摄像机拍摄到的图象集合。参照图2所示，相应的A1和B1是同一时刻的图象 组，A2和B2是同一时刻的图象组，等等。通常情况下，作为当前待编码图象的参考图象，可以是当前时刻已经编 码过的其他视拍摄到的图象，也可以是其他时刻已经编码过的所有摄像机拍 摄(所有视)的图象。如图2所示，T1 T3是三个时刻，T1<T2<T3， A和B 是两个不同的视，其中，B2是当前时刻(即T2时刻)的待编码图象，A2是 当前时刻不同视的已经编码的图象；图2中的A1和B1是T1时刻已经编码过的 图象。T3时刻的图象先于T2时刻的图象进行编码。A3和B3是T3时刻已经编 码过的图象。在对B2进行编码时，可以用A1、 B1、 A3、 B3和A2作为参考帧 进行预测。目前具体可以采用的多视编码实现方案可以为以下两种。 实现方案一该实现方案一的编码结构如图3所示。在丁=1时刻，图象A1最先进行编 码。编码B1图象可以参考A1图象，编码C1可以参考B1图象，依此类推。在 其他后续时刻，当前待编码图象只参考当前视中已经编码过的图象，不同视 之间的图象不进行相互参考。在T-1时刻，首先编(解)码的图象是A1，然后是B1，然后是C1，然 后是D1，最后是E1。因此，丁=1时刻的编(解)码延时是5个单位。在T = 2以及后续时刻，如果前面时刻的各个视的参考图象都已经获得， 则各个视同一时刻的图象可以同时进行编(解)码，所以这些时刻的编 (解)码延时是0个单位；所述的编(解)码延时的单位是指同一时刻最先 编(解)码的一帧(或多帧)图象和最后编(解)码的一帧(或多帧)图象 之间经过的图象个数。该编码结构简单的将单视图象序列的编码结构组合构成多视编码结构， 除了第一个时刻各个视图象间有参考关系，其他时刻的视图象均仅参考本视 的已经编码的图象。虽然可以做到低延时和并行处理，但是由于没有使用视 间图象的参考，编码效率相比单视编码的直接组合提高有限。实现方案二该实现方案二的编码结构如图4所示。在丁=1时刻，A1图象最先进行编 码，编码C1可以参考A1图象，编码B1可以参考A1和C1图象，依此类推。在 其他后续时刻，当前待编码图象即参考当前视中已经编码过的图象，也可以 参考不同视之间的已经编码过的图象。在T-1时刻，首先编(解)码的图象是A1，然后是C1，然后是E1，然 后是B1和D1。所以丁=1时刻的编(解)码延时是3个单位。在丁 = 2时刻，首先编(解)码的图象是A2和C2和E2，然后是B2和D2。 所以丁 = 2时刻的编(解)码延时是1个单位。这种编码结构大量使用了帧间参考，相比单视图象的直接组合在编码效 率上有较大的提升，但是由于同一时刻各个视图象存在编解码依赖关系，因 此编码和解码延时比4支大，而且不利于并行处理各个^f见图象。
技术实现思路
本专利技术的目的是提供一种多视编解码方法及多视编解码器，从而可以降 低编解码延时。本专利技术的目的是通过以下技术方案实现的本专利技术还提供了 一种多视图象编解码方法，包括编码端将多视图象信息 进行编码并发送给解码端，解码端对接收到的码流进行解码获得视频数据， 包括在编码端，获取当前时刻各个视对应的待编码的图象信息，并对当前时 刻的所有视的图象采用相互之间各自独立地编码方式进行编码操作，获得编 码后的码流，发送给解码端；在解码端，接收所述码流，对某一时刻各个视对应的码流进行相互独立 的解码操作，获得解码后的视频数据。所述的方法还包括在编码当前时刻各个视图象时，利用参考图象进行 预测编码，且所述的参考图象仅为其他时刻的至少一个已经编码重建的图 象，或者，为其他时刻的至少一个已经编码重建的图象按照预定规则处理获 得的图象。所述的参考图象是根据当前时刻的相邻时刻从已经编码过的图象中选取 获得0所述的方法还包括对当前时刻所有视图象同时分别进行并行编码操作。所述的方法还包括在码流中设置编码标识，用于表示编码当前时刻某 一视图象时，是否允许利用当前时刻其他视已经编码过的图象作为参考图 象。本专利技术还提供了 一种多视图象的编码方法，包括编码端将多视图象信息 进行编码并发送给解码端，解码端对接收到的码流进行解码获得视频数据， 其中，在编码端，将多视编码中不同的视对应的图象信息按照预定规则划分为 不同的视组，且相应的编码操作包括获取当前时刻的各个待编码的视组， 并对当前时刻的所有视组包含的图象采用视组相互之间各自独立地编码方式 进行编码:澡作；在解码端，4妄收所述码流，对某一时刻各个视组对本文档来自技高网...

【技术保护点】
一种多视图象编解码方法，包括编码端将多视图象信息进行编码并发送给解码端，解码端对接收到的码流进行解码获得视频数据，其特征在于，包括：　　　　在编码端，获取当前时刻各个视对应的待编码的图象信息，并对当前时刻的所有视的图象采用相互之间各自独立地编码方式进行编码操作，获得编码后的码流，发送给解码端；　　　　在解码端，接收所述码流，对某一时刻各个视对应的码流进行相互独立的解码操作，获得解码后的视频数据。

【技术特征摘要】
CN 2006-10-24 20061013646361、一种多视图象编解码方法，包括编码端将多视图象信息进行编码并发送给解码端，解码端对接收到的码流进行解码获得视频数据，其特征在于，包括在编码端，获取当前时刻各个视对应的待编码的图象信息，并对当前时刻的所有视的图象采用相互之间各自独立地编码方式进行编码操作，获得编码后的码流，发送给解码端；在解码端，接收所述码流，对某一时刻各个视对应的码流进行相互独立的解码操作，获得解码后的视频数据。2、 根据权利要求1所述的方法，其特征在于，所述的方法还包括 在编码当前时刻各个视图象时，利用参考图象进行预测编码，且所述的参考图象仅为其他时刻的至少一个已经编码重建的图象，或者，为其他时刻 的至少一个已经编码重建的图象按照预定规则处理获得的图象。3、 根据权利要求2所述的方法，其特征在于，所述的参考图象是根据当 前时刻的相邻时刻从已经编码过的图象中选取获得。4、 根据权利要求1所述的方法，其特征在于，所述的方法还包括对当 前时刻所有视图象同时分别进行并行编码操作。5、 根据权利要求1至4任一项所述的方法，其特征在于，所述的方法还 包括在码流中设置编码标识，用于表示编码当前时刻某一视图象时，是否 允许利用当前时刻其他视已经编码过的图象作为参考图象。6、 一种多视图象的编码方法，包括编码端将多视图象信息进行编码并发 送给解码端，解码端对接收到的码流进行解码获得视频数据，其特征在于，在编码端，将多视编码中不同的视对应的图象信息按照预定规则划分为 不同的视组，且相应的编码操作包括获取当前时刻的各个待编码的视组，并对当前时刻的所有视组包含的图象采用视组相互之间各自独立地编码方式进行编码操作；在解码端，4妄收所述码流，对某一时刻各个视i且对应的码流进行相互独 立的解码操作，获得解码后的视频数据。7、 根据权利要求6所述的方法，其特征在于，所述的方法还包括 根据参考图象对当前时刻的视组包含的各个视图象进行预测编码，且所述的参考图象为其他时刻的至少一个已经编码重建的图象，或者，同一时 刻处于同一视组内的至少一个已经编码重建的视图象，或者，为其他时刻的 至少一个...

【专利技术属性】
技术研发人员：杨平，何芸，朱刚，许晓中，孟新建，史舒娟，郑建铧，郑萧桢，
申请(专利权)人：华为技术有限公司，清华大学，
类型：发明
国别省市：94[中国|深圳]