使用视角时间参考图像缓冲器的预测编码／解码装置及使用其的方法制造方法及图纸

提供一种用于预测编码／解码的装置和方法，其使用一个或两个附加参考帧缓冲器来提高多视角视频的压缩率。所述预测编码装置包括：多视角参考图像提供单元，用于根据时间和空间ＧＯＰ结构信息为预测编码提供参考图像；预测单元，用于通过预测当前编码的图像参考从多视角参考图像提供单元输入的参考图像的哪个部分来创建向量；变换和量化单元，用于获得从预测单元输入的预测信号与当前编码的图像信号之间的差信号，变换所获得的差信号，量化变换后的信号，并且压缩量化后的信号；以及熵编码单元，用于根据预定方案编码量化后的信号和向量并且输出编码后的信号。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及使用一个或两个附加参考帧緩冲器来提高多视角视频的压缩率的 预测编码/解码的装置和方法。
技术介绍
为了提供逼真的视频服务，已在各种应用领域中使用了多视角视频。这 样的多视角视频被压缩，并且压缩后的多视角视频被传输给用户以便提供相 关服务。尽管根据常规编码和压缩方案压缩了多视角视频，但是其要求和要 传输给用户的视角数量的两倍一样多的大量的数据。因此，需要宽的带宽来 提供多视角视频的相关服务。为了有效地传输多视角视频数据，使用相邻摄像机视角和当前视角的冗 余信息来提高压缩率。通常通过从具有高相关性的 一 组数据中移除冗余信息、 将该组数据变换为不具相关性的数据并且编码变换后的数据来提高压缩率。图像緩冲器。也就是说，常规的基于AVC的多视角编码严格地考虑视角之间 的预测编码的效率。因此，要求提高预测编码的效率。作为编码多个图像的常规方法，引入了用于处理与两个视角相关的立体 视频的方法。作为用于基于多于三个视角处理多视角视频的方法，引入了处 理多镜头反射固体(multiple lens reflex solid)的多视角视频的方法，以及处理从 相邻设置的摄像机获得的多视角视频的方法。用于使用MPEG-2多视角概况 (MultiView Profile, MVP)和MPEG-4时间可伸缩性(TS)进行编码的技术被广 泛用于编码立体碎见频。在第10-2002-0021757号韩国专利申请和第10-2003-0002116号韩国专利 申请中介绍了使用MPEG-2 MVP和MPEG-4 TS编码的技术。在由 Kwang-Hoon Son发表的名为multiview video CODEC using view scalability 的文章中，以及由Yong-Tae Kim发表的名为method for estimating motion andvariation in stereoscopic video with boundary directivity的另 一文章中也介绍了 上述技术。在第10-2002-0021757号韩国专利申请和Son的文章中,都提出了图像组 (GOP)。第10-2002-0021757号韩国专利申请也使用基于MPEG-2的CODEC 。 第10-2002-0021757号韩国专利申请专注于压缩，Kim的文章专注于使用基于 MPEG-2的CODEC增加视角单元中的可伸缩性。第10-2003-0002116号韩国专利申请创建了中心视点的比特流,并且创建 的中心视点的参考图像被用于创建左/右视点图像的比特流。在Kim的文章 中，提出了通过减少立体视频中的预测空间和时间视差的误差来提高压缩率 的方法。除了第10-2003-0002116号韩国专利申请，由于与MPEG - 2的兼容性， 在编码P图像时，上述的常规技术使用单个预测运动向量。由于为编码B图 像使用两个向量，所以使用来自先前帧的运动向量和来自当前时间中的相邻 视点的视差向量。第10-2003-0002116号韩国专利申请使用 一个运动向量和一 个视差向量来参考中心视点图像。在B图像的情况中，向量的使用与典型的 MPEG-2类似，并且在左/右视点的时间轴上不出现B图像。由于与MPEG-2的兼容性，这些常规技术使用不多于两个的运动向量或 者视差向量。当编码MPEG-2的B图像时，不能在时间轴上执行双向预测编 码。进一步，当编码I图像时，通过增加视点的数量来减小视点之间的距离 和基线的尺寸。它不是合适的视差向量预测方法。它需要将相邻视点变换为 当前视点的步骤。而且，由于采用同样的方案对本质上不同的^L差向量和运动向量编码， 因此压缩率也会降低。也就是说，视差向量的尺寸通常大于运动向量。当在 先前块选择运动向量以及在后续块选择视差向量时，从对向量差执行熵编码 的编码器的特征角度而言向量的差并不显著。而且，当执行像AVC—样的上 下文自适应熵编码时，不能获得反映上下文的效果。
技术实现思路
技术问题因此，本专利技术的一个目的是提供一种使用附加视角时间参考图像緩冲器 以及在H.264中使用的列表-0和列表-l缓沖器进行预测编码/解码的装置和方法，以便当编码多视角视频时利用运动向量和视差向量的大多数特征。本专利技术的另 一个目的是通过一种编码多视角视频的方法提供各种多视角视频服务，该编码多视角视频的方法是通过有效地移除视点的冗余信息而减少单视角编码器的数据量而实现的。 技术方案根据本专利技术的一个方面，提供一种使用视角时间参考图像緩冲器的预测编码装置，包括多视角参考图像提供单元，用于根据时间和空间图像组(GOP) 结构信息为预测编码提供参考图像；预测单元，用于通过预测当前编码的图 像参考从多视角参考图像提供单元输入的参考图像的哪个部分来创建向量； 变换和量化单元，用于获得从预测单元输入的预测信号和当前编码的图像信 号之间的差信号，变换所获得的差信号、量化变换后的信号，并且压缩量化 后的信号；以及熵编码单元，用于根据预定方案编码来自变换和量化单元的 量化后的信号以及从预测单元提供的向量，并且输出编码后的信号。根据本专利技术的另 一个方面，提供了 一种使用视角时间参考图像缓沖器预 测编码的方法，该方法包括步骤a)根据时间和空间GOP结构信息为预测编 码提供参考图像；b)使用所提供的参考图像创建向量并且预测当前编码的图 像；c)变换预测信号，量化变换后的信号，并且压缩量化后的信号；以及d) 根据预定编码方案对为预测单元提供的量化后的信号和向量进行编码并且输 出压缩后的信号。根据本专利技术的另 一个方面，提供了 一种用于解码通过对从多个摄像机获 得的多视角图像进行编码而获得的信号的装置，该装置包括解码单元，用 于通过熵解码、逆重排列、逆量化和逆变换对从外部输入的信号进行解码； 基于时间和空间GOP的图像恢复单元，用于根据使用时间和空间GOP配置 信息从解码单元输入的解码信号恢复多视角图像，所述时间和空间GOP配置 信息表达用于预测编码的时间上和空间上的图像之间的参考关系；以及场景 合成单元，用于合成从基于时间和空间GOP的图像恢复单元恢复的多视角图 像，并且输出合成的多视角图像，其中所述熵解码使用运动向量和视差向量。根据本专利技术的另一个方面，提供了一种解码方法，包括步骤a)通过熵 解码、逆重排列、逆量化和逆变换对从外部输入的信号进行解码；b)使用时 间和空间GOP配置信息从解码后的信号中恢复多视角图像，该时间和空间 GOP配置信息表达用于预测编码的时间上和空间上的图像之间的参考关系；以及C)合成所恢复的多视角图像并且输出合成的多视角图像，其中所述熵解 码使用运动向量和视差向量。 有益效果本专利技术涉及用于有效地执行视角到视角预测编码的装置和方法，其允许 获得、压缩、传输、恢复和显示多视角视频的多视角视频服务。因此，其可以用于3D显示服务、欧姆尼视频服务(omhni video service)、全景视频服务和 自由视点TV服务。而且，当编码多视角视频时，使用相邻视点的信息可以 提高压缩率。附图说明通过后续参照附图对本专利技术优选实施例的描述，本专利技术的上述及其它目 的和特征将变得更为明显，其中图1是示出根据本专利技术一个实施例的多视角视频编码/解码系统的框图； 图2是示出本文档来自技高网...

【技术保护点】
一种使用视角时间参考图像缓冲器的预测编码装置，包括：多视角参考图像提供单元，用于根据时间和空间图像组（ＧＯＰ）结构信息为预测编码提供参考图像；预测单元，用于通过预测当前编码的图像参考从所述多视角参考图像提供单元输入的参考图像的哪个部分来创建向量；变换和量化单元，用于获得从所述预测单元输入的预测信号和当前编码的图像信号之间的差信号，变换所获得的差信号，量化变换后的信号，以及压缩量化后的信号；以及熵编码单元，用于根据预定方案编码来自所述变换和量化单元的量化后的信号以及从所述预测单元提供的向量，并且输出编码后的信号。

【技术特征摘要】
【国外来华专利技术】KR 2005-7-18 10-2005-00649921.一种使用视角时间参考图像缓冲器的预测编码装置，包括多视角参考图像提供单元，用于根据时间和空间图像组(GOP)结构信息为预测编码提供参考图像；预测单元，用于通过预测当前编码的图像参考从所述多视角参考图像提供单元输入的参考图像的哪个部分来创建向量；变换和量化单元，用于获得从所述预测单元输入的预测信号和当前编码的图像信号之间的差信号，变换所获得的差信号，量化变换后的信号，以及压缩量化后的信号；以及熵编码单元，用于根据预定方案编码来自所述变换和量化单元的量化后的信号以及从所述预测单元提供的向量，并且输出编码后的信号。2. 如权利要求1所述的预测编码装置，其中所述预测单元包括 视差/运动预测单元，用于如果输入的参考图像的视点与当前编码的图像相同，则通过预测运动创建运动向量，以及当参考图像的视点与当前编码的 图像的视点不同时，创建视差向量；以及视差/运动补偿单元，用于如果输入的参考图像的视点与当前编码的图像 相同，则补偿运动，以及当参考图像的视点与当前编码的图像的视点不同时， 补偿视差。3. 如权利要求1所述的预测编码装置，其中所述多视角参考图像提供单 元包括恢复图像存储单元，用于存储和输出当前视点不同时间的恢复图像； 第一相邻视点参考图像存储单元，用于存储和输出相邻视点当前时间的 恢复图像；第二相邻视点参考图像存储单元，用于存储和输出相邻视点不同时间的 恢复图像；视点变换单元，用于根据先前输入的摄像机信息，将从第一相邻视点参 考图像存储单元和第二相邻视点参考图像存储单元输入的相邻视点图像变换 为当前视点图像；以及参考图像选择单元，用于根据从GOP信息产生单元输入的时间和空间 GOP结构信息，选择从所述恢复图像存储单元和所述视点变换单元输入的图像之一作为参考图像。4. 如权利要求1所述的预测编码装置，其中熵编码单元为从预测单元输 入的运动向量和视差向量创建查找表，基于创建的查找表分离运动向量和视 差向量，并且对运动向量和视差向量执行熵编码。5. 如权利要求1所述的预测编码装置，其中熵编码单元通过编码视差向 量和整体视差向量之间的向量差来补偿运动向量和视差向量之间的特征差 异。6. 如权利要求5所述的预测编码装置，其中如果从相邻块获得的预测值是预测运动向量PMV并且当前块是运动向 量，则熵编码单元对运动向量和PMV之间的向量差进4亍编码，如果从相邻块获得的预测值是预测视差向量PDV并且当前块是视差向 量，则熵编码单元对视差向量和PDV之间的向量差进行编码，如果从相邻块获得的预测值是预测运动向量并且当前块是视差向量，则 熵编码单元对通过从视差向量中减去整体视差向量和预测运动向量而获得的 向量差进行编码，以及如果从相邻块获得的预测值是预测视差向量并且当前块是运动向量，则 熵编码单元对通过从运动向量和整体视差向量GDV之和中减去预测视差向 量而获得的向量差进行编码。7. —种使用视角时间参考图像緩冲器进行预测编码的方法，该方法包括 以下步骤a) 根据时间和空间GOP结构信息为预测编码提供参考图像；b) 使用所提供的参考图像创建向量并且预测当前编码的图像；c) 变换预测信号，量化变换后的信号，并且压缩...

【专利技术属性】
技术研发人员：金大熙，许南淏，李寿寅，李英烈，金钟律，曹叔嬉，
申请(专利权)人：韩国电子通信研究院，
类型：发明
国别省市：KR[韩国]