利用加权预测编码/解码多层视频的方法和装置制造方法及图纸

一种在多层视频编解码器中利用层间信息有效地编码多个层的方法和装置。该方法包括：读取关于下层画面的信息；利用所述关于下层画面的信息来计算权重因子；利用所述权重因子来计算当前画面的参考画面的加权总和并产生当前画面的预测画面；以及对当前画面与所述预测画面之间的差进行编码。

【技术实现步骤摘要】
【国外来华专利技术】
符合本专利技术的装置和方法涉及视频编码，而且更具体地，涉及在多层视 频编解码器中利用层间信息有效地编码多个层。
技术介绍
随着信息通信技术的发展，包括因特网在内，包含诸如文本、视频、音 频等等各种信息的多媒体服务日益增多。多媒体数据需要存储媒体的较大的 容量以及用于传送的较宽的带宽，因为多媒体数据的量通常很大。例如，具有640*480分辨率的24位真彩图像每帧需要640*480*24位的容量，即，大 约7.37兆位的数据。当以每秒30帧的速度传送该图像时，需要221兆位/ 秒的带宽。当存储基于这样的图像的90分钟电影时，需要大约1200千兆位 的存储空间。因而，压缩编码方法是用于传送包含文本、视频、和音频的多 媒体数据所必须的。数据压缩的基本原理是去除数据冗余度。可以通过去除其中在图像中重 复相同的颜色或物体的空间冗余度、其中在运动图像中相邻帧之间改变甚微 或在音频中重复相同的声音的时间冗余度、或者考虑人眼视力和对高频的有 限感知的心理视觉冗余度来压缩数据。可以将数据压缩根据是否损失源数据 而划分为有损/无损压缩，根据是否独立地压缩单独的帧而划分为帧内/帧间 压缩，以及根据压缩所需的时间是否与复原所需的时间相同而划分为对称/ 不对称压缩。数据压缩如果压缩/复原时间延迟不超过50毫秒则定义为实时 压缩，而当帧具有不同的分辨率时就定义为可缩放压缩。对于文本或医学 (medical)数据，通常使用无损压缩。对于多媒体数据，通常使用有损压缩。 进一步，帧内压缩通常用于去除空间冗余度，而帧间压缩通常用于去除时间 冗余度。用于传送多媒体信息的传输介质根据传送的媒体类型而在性能上有差 异。当前使用的传输介质具有各种传输率，范围例如从能够以每秒数十兆位 的传输率传送数据的很高速度的通信网络到具有384 Kbps的传输率的移动通信网络。诸如MPEG-1、 MPEG-2、 H.263或H.264的之前的一见频编码4支术 基于经运动补偿的预测编码技术去除冗余度。具体地，通过运动补偿来去除 时间冗余度，而通过变换编码来去除空间冗余度。这些技术具有良好的压缩 率，但是由于在主算法中使用了递归方法而不能提供真实可缩放位流的灵活 性。因而，近来已经对基于小波的可缩放视频编码进行了积极的研究。可缩 放性表示部分地解码单个压缩位流的能力，即，执行多种类型的视频再现的 能力。可缩放性包括表示视频分辨率的空间可缩放性、表示视频质量等级的 信噪比(SNR)可縮放性、表示帧频的时间可缩放性、以及其组合。H.264可缩放扩展(以下称为'H.264 SE，)的标准化目前由MPEG (运 动画面专家组)和ITU (国际电信联盟)的联合视频组(JVT )执行。H.264 SE的一个有利特征在于，其利用了层之间的关联以在采用H.264编码技术 时编码多个层。虽然所述多个层从分辨率、帧频、SNR等等方面考虑彼此不这一点，提出了多种在编码上层数据时利用关于下层的信息的有效技术。图1是用于说明传统H.264中提出的加权预测的图。所述加权预测允许 将经运动补偿的参考画面适当地缩放而不是平均地缩放，以便改善预测效率。当前画面10中的运动块11 ('宏块，或'子块，作为用于计算运动向量 的基本单位)与由前向运动向量22指向的左参考画面20中的预定图像21 对应，同时与由后向运动向量32指向的右参考画面30中的预定图像31对 应。编码器通过从运动块11中减去从图像21和31获得的预测图像来减少 用于表示运动块11所需的位数。不使用加权预测的传统编码器通过简单地 将图像21和31平均来计算预测图像。然而，由于运动块11通常与左和右 图像21和31的平均不相同，因而难以获得准确的预测图像。为了克服该不足，H.264中提出了一种利用加权总和确定预测图像的方 法。根据该方法，为每个片段(slice)确定权重因子a和(3，并使用权重因 子a和(3与图像21和31的乘积的总和作为预测图像。所述片段可以由多个 宏块组成而且与画面相同。多个片段可以构成画面。所述提出的方法可以通 过调整权重因子而获得与运动块11差别甚小的预测图像。该方法还可以通 过从运动块11中减去预测图像而改善编码效率
技术实现思路
技术问题虽然H.264中定义的加权预测很有效，但是该技术迄今仅被用于单层视频编码。尚未有研究关注于将该技术应用于多层可缩放视频编码。从而，需 要将加权预测应用于多层可縮滋j见频编码。技术方案本专利技术的说明性的、非限制性的实施例克服上面的缺点以及上面未描述 的其它不足。符合本专利技术的装置和方法利用来自下层中的画面的信息来估计 将被应用于上层中的画面的权重因子，并利用所估计的权重因子对所述上层 中的画面才丸4亍力口权预测。这些装置和方法还提供用于执行所述加权预测的算法。 通过下面对优选实施例的描述，本专利技术的这些和其它方面将得到说明或 显而易见。根据本专利技术的 一个方面，提供一种通过利用关于下层中的画面的信息对 上层中的当前画面执行加权预测来编码视频的方法，该方法包括读取关于 下层画面的信息；利用所述关于下层画面的信息计算权重因子；利用所述权 重因子计算当前画面的参考画面的加权总和并产生当前画面的预测画面；以 及对当前画面与所述预测画面之间的差进行编码。根据本专利技术的另 一个方面，提供一种通过利用关于下层中的画面的信息 对上层中的当前画面执行加权预测来解码视频的方法，该方法包括从输入 位流中提取紋理数据和运动数据；从紋理数据重建关于下层画面的信息；利 用所述关于下层画面的信息计算权重因子；利用所述权重因子计算当前画面 的参考画面的加权总和并产生当前画面的预测画面；以及从紋理数据重建当 前画面的余量信号并将重建的余量信号添加到预测画面。根据本专利技术的另 一个方面，提供一种利用关于下层中的画面的信息对上 层中的当前画面执行加权预测的视频编码器，该视频编码器包括用于读取 关于下层画面的信息的部件；用于利用所述关于下层画面的信息计算权重因 子的部件；用于利用所述权重因子计算当前画面的参考画面的加权总和并产 生当前画面的预测画面的部件；以及用于对当前画面与所述预测画面之间的差进行编码的部件。根据本专利技术的另一个方面，提供一种利用关于下层中的画面的信息对上层中的当前画面执行加权预测的视频解码器，该视频解码器包括用于从输 入位流中提取紋理数据和运动数据的部件；用于从紋理数据重建关于下层画 面的信息的部件；用于利用所述关于下层画面的信息计算权重因子的部件； 用于通过利用所述权重因子计算当前画面的参考画面的加权总和来产生当 前画面的预测画面的部件；以及用于将紋理数据当中当前画面的紋理数据添 加到预测画面的部件。附图说明通过结合附图详细描述其优选实施例，本专利技术的以上和其它特征以及优 点将变得更加显而易见，其中图1是用于说明H.264中提出的传统加权预测的图2是示出根据本专利技术的实施例的多层加权预测方法的流程图3是示出图2中所示的步骤S50的子步骤的流程图4示出其中上层分辨率为下层两倍但帧频与下层相同的多层视频结构；图5示出其中上层和下层具有经运动补偿的时间滤波(MCTF)结构的 多层视频结构；图6示出其中上层和下层具有分层B结构的多层视频结构； 图7示出其中上层具有MCTF结构而且下层具有分层B结构的多层视 频结本文档来自技高网...

【技术保护点】
一种通过利用关于下层中的画面的信息对上层中的当前画面执行加权预测来编码视频的方法，该方法包括：　　　　读取关于下层画面的信息；　　　　利用所述关于下层画面的信息计算权重因子；　　　　利用所述权重因子计算当前画面的参考画面的加权总和并产生当前画面的预测画面；以及　　　　对当前画面与预测画面之间的差进行编码。

【技术特征摘要】
【国外来华专利技术】US 2005-5-2 60/676,314;KR 2005-7-4 10-2005-00598341.一种通过利用关于下层中的画面的信息对上层中的当前画面执行加权预测来编码视频的方法，该方法包括读取关于下层画面的信息；利用所述关于下层画面的信息计算权重因子；利用所述权重因子计算当前画面的参考画面的加权总和并产生当前画面的预测画面；以及对当前画面与预测画面之间的差进行编码。2. 如权利要求1所述的方法，其中所述关于下层画面的信息包含与当 前画面》寸应的基础画面以及所述基；出画面的参考画面。3. 如权利要求2所述的方法，其中所述基础画面的参考画面是从所述 基础画面通过运动向量经运动补偿得到的画面。4. 如权利要求2所述的方法，其中所述基础画面是具有与当前画面最 接近的时间位置的下层帧。5. 如权利要求2所述的方法，其中所述基础画面是具有与当前画面相 同的时间位置的下层帧。6. 如权利要求4所述的方法，其中如果当前画面具有与所述基础画面 相同的参考方案和参考距离则执行所述信息的读取、所述权重因子的计算、 参考画面的所述加权总和的计算、以及对所述差的编码。7. 如权利要求1所述的方法，其中以画面、片段、宏块、和运动块其 中之一为单位执行所述权重因子的计算以及参考画面的所述加权总和的计8. 如权利要求2所述的方法，其中所述权重因子的计算包括 利用预定系数计算所述基础画面的参考画面的加权总和；以及计算使所述基础画面与所述加权总和之间的差的平方最小化的系数的值。9. 如权利要求8所述的方法，其中所述系数包括前向和后向系数。10. 如权利要求9所述的方法，其中所述前向和后向系数之和为1 。11. 如权利要求l所述的方法，其中参考画面的所述加权总和的计算包括 如果仅存在当前画面的一个参考画面，则计算所述权重因子与当前画面 的参考画面的乘积；以及如果存在当前画面的多个参考画面，则将适当的权重因子分别乘以所述 多个参考画面，并将乘积加到一起。12. —种通过利用关于下层中的画面的信息对上层中的当前画面执行加 权预测来解码包含在输入位流中的视频的方法，该方法包括从所述输入位流中提取紋理数据和运动数据； 从所述紋理数据重建关于下层画面的信息； 利用所述关于下层画面的信息计算权重因子；利用所述权重因子计算当前画面的参考画面的加权总和并产生当前画 面的子贞测画面；以及从所述紋理数据重建当...

【专利技术属性】
技术研发人员：李教爀，车尚昌，韩宇镇，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：KR[韩国]