本发明专利技术提供了一种基于分层WZ帧的小波域分布式多视点视频编码方案。在编码端将K帧进行传统的帧内编解码，对WZ帧进行N层离散小波变换后，进行量化，比特面提取，信道编码。在解码端，本发明专利技术充分考虑了视频序列的运动特性，提出了基于分层WZ帧的边信息预测结构，当前层视频帧的初始边信息由相邻最近的两个更高级别层次的已解码帧进行MCTI得到。解码时，根据当前帧的前向和后向参考帧及生成的初始边信息，由低分辨率图像到高分辨率图像逐步更新运动矢量和质量越来越高的边信息进行迭代解码。实验结果表明，本发明专利技术与传统的小波域DMVC系统相比，生成的边信息质量更好，提高了DMVC系统的RD性能。
【技术实现步骤摘要】
本专利技术涉及图像通信领域中的分布式多视点视频编码(DMVC)边信息预测问题，尤其是涉及一种基于小波域的分布式多视点视频编码的边信息预测结构。
技术介绍
随着计算机视觉、计算机图形学和视频编码技术的日益发展与融合，处理器能力与网络传输能力的飞速提升，现代视频技术逐渐向数字化、立体化发展。3D视频由于能够提供更加真实和自然的视觉体验而逐渐成为当前视频编码领域的研究热点之一。多视点视频指的是多个摄像机从不同视角拍摄同一场景得到的一组视频信号，能够形象生动地再现场景，提供立体感与交互感。它是一种有效的3D视频表示方法，被广泛的应用于立体电视、交融式会议电视、虚拟现实以及视频监控等多媒体领域。然而与单视点视频相比，多视点视频的数据量由于视点的增多而成倍增加，如何高效压缩数据量已成为多视点视频技术需要攻克的难关。ITU-T和MPEG的联合视频组(JVT)提出了多视点视频编(MVC)，MVC标准采用了基于H.264/AVC的结构，在原来的时域预测的基础上增加了视点域的预测，需要在不同视点间进行交叉预测。因此要求各个摄像机进行信息的交互，同时由于编码节点的运算复杂度高，所以它并不适合真正地布置在摄像机阵列中。基于Slepian-Wolf和Wyner-Ziv理论的分布式多视点视频编码(DMVC)与传统MVC相比，具有编码复杂度低，抗误码能力良好，使用灵活和延迟较低等特点。视频序列在编码端进行独立编码，无需运动估计；在解码端进行联合解码，生成用于解码和重建的边信息。这样就可以将大部分的计算量从编码端转移到解码端，从而实现低复杂度编码，且DMVC理论上可达到MVC的压缩效率。边信息的生成技术是DMVC的重要组成部分，它的精确度直接影响系统的R-D性能。目前，对DMVC的框架及边信息生成算法的研究有很多。OguzBici M等人提出了一种分布式视频编码结合三维网络的DMVC结构，根据三维网格理论得到视频帧的几何参数，只对几何参数进行编解码。吕慧提出了一种基于特征提取和匹配的边信息生成方案，进一步提高了DMVC系统性能。上述方法研究的都是基于离散余弦变换(DCT)的DMVC系统，不仅存在“方块效应”，且在DCT域中随着时间轴上GOP的增大，生成的边信息质量逐渐下降。所以，国外学者提出了基于离散小波变换(DWT)的分布式视频编码方案，不仅克服了“方块效应”，并且也具有能量集中的特点。但是在传统基于DWT域的DMVC系统中，当前帧最低频带的边信息直接采用前一解码帧的最低频带图像，在运动剧烈的情况下存在很大的误差，并且随着运动矢量的更新，误差会累积到下一频带，从而影响解码质量。本专利技术考虑了视频序列的运动特性，提出了基于分层WZ帧的小波域分布式多视点视频编码，采用当前帧相邻的两个已解码帧生成初始边信息，从而提高边信息的质量及系统的整体性能。
技术实现思路
针对传统基于DWT域的DMVC系统中当前帧最低频带的边信息直接采用前一解码帧的最低频带图像而忽略物体运动特性的问题，提出了基于分层WZ帧的DWT域DMVC系统，本专利技术不仅提高了边信息的质量，还改善了DMVC系统的整体性能。本专利技术的基本思想是利用视频帧的运动特性及DWT的多尺度多分辨率特性，在基于分层WZ帧的DWT域DMVC系统中，在时间轴上把视频帧分为不同的时间层，每一层视频帧最低频带的边信息由相邻最近的两个更高级别层次视频帧的重建帧进行预测，并且由低分辨率图像到高分辨率图像逐步进行迭代解码，进而达到提高DMVC系统整体性能的目的。在本专利技术提出的基于分层WZ帧的DWT域DMVC系统中，在编码端将各视点的视频序列划分成K帧与WZ帧，K帧采用H.264编解码，对WZ帧首先进行N级的离散小波变换，得到3N+1个不同频带的图像，分别记为HHn、LHn、HLn,(n＝1,2,...,N)和LLN。然后对每一个频带的数据分别进行均匀量化，比特面分解，信道编码。在解码端，边信息辅助信道解码和WZ帧重构，边信息的质量直接影响DMVC系统的整体性能。本专利技术提出的基于分层WZ帧的DWT域DMVC系统中，时间轴上视频序列GOP长度为8，K0、WZ1、WZ2、WZ3、WZ4、WZ5、WZ6、WZ7分别表示一个GOP内的视频帧，K8表示下一个GOP的K帧。K0和K8为第0级时间层(TL0)的视频帧，WZ4为第1级时间层(TL1)的视频帧，WZ2和WZ6为第2级时间层(TL2)的视频帧，WZ1、WZ3、WZ5、WZ7为第3级时间层(TL3)的视频帧，TL0～TL3级别逐渐降低。K帧进行传统帧内编解码，WZ帧最低频带的时间边信息由相邻最近的两个更高级别层次视频帧的已解码帧进行运动补偿时域内插(MCTI)得到，然后时间边信息与空间边信息进行融合得到初始边信息，其它频带则采用基于多分辨率细化(MRMR)的方法。与传统的基于DWT域的DMVC系统相比，本专利技术提出的基于分层WZ帧的边信息预测结构充分考虑了视频帧的运动特性，也使基于DWT的DMVC系统具有更好的RD性能。本专利技术采用的是基于MRMR的小波域DMVC框架，每一个WZ帧的解码，都是由低分辨率图像到高分辨率图像逐步进行迭代解码。利用本专利技术提出的分层WZ的边信息预测结构得到当前帧的边信息SI(t)，前向和后向参考帧分别为f(t-m)和f(t+m)，t表示当前时刻。首先采用SI(t)的最低频带作为当前WZ帧最低频带LLN(t)的边信息，解码得到LL'N(t)，然后利用LL'N(t)与LLN(t-m)、LLN(t+m)进行运动估计，得到当前分辨率下图像的运动矢量。利用该运动矢量对f(t-m)和f(t+m)的相同频带图像进行运动补偿，得到各高频带图像的边信息，从而可以解码出当前分辨率下所有频带的图像。最后，将当前分辨率下的图像作小波反变换得到高分辨率下的低频带图像，依次循环直到解码出原始分辨率下的图像。由于在解码过程中用当前帧先解码得到的低分辨率图像与两个参考帧进行运动估计，因此高频带的边信息质量将会逐步提升，从而提高解码的质量。本专利技术改进的是基于DWT域的DMVC系统中边信息的生成质量。在DMVC系统的解码端，边信息的精确度越高，与待解码WZ帧就越接近，信道传输的校验比特就越少，重建的质量也更好。本专利技术最关键的是根据视频帧的运动特性，利用WZ帧分层的思想，逐层生成WZ帧的边信息，逐渐提高边信息的质量，进而改善DMVC系统的性能。附图说明图1为本专利技术的基于小波域的分布式多视点视频编码系统结构图。图2为本专利技术的基于分层WZ帧的小波域分布式多视点视频编码系统的边信息预测结构。图3～8为本专利技术提出的基于分层WZ帧的小波域DMVC系统与传统的小波域DMVC系统的率失真曲线对比结果。其中，图3为kendo的率失真曲线；图4为Newspaper的率失真曲线；图5为PoznanHall2的率失真曲线；图6为PoznanStreet的率失真曲线；图7为Dancer的率失真曲线；图8为race1的率失真曲线。具体实施方式下面结合附图及实施例对本专利技术作进一步的详细说明，有必要指出的是，以下的实施例只用于对本专利技术做进一步的说明，不能理解为对本专利技术保护范围的限制，所属领域技术熟悉人员根据上述
技术实现思路
，对本专利技术做出一些非本质的改进和调整进行具体实施，应仍属于本专利技术的保护范围。如图1所示本文档来自技高网...
【技术保护点】
一种基于分层WZ帧的小波域分布式多视点视频编码，其特征在于主要包括以下过程步骤：(1)在编码端，按照GOP长度为8将每个视点的视频序列分为多个图像组。在每个GOP内，K帧进行传统的帧内编解码，WZ帧按照传统DWT域的编码方式进行。(2)在解码端采用基于分层WZ帧的边信息预测结构，K0、WZ1、WZ2、WZ3、WZ4、WZ5、WZ6、WZ7分别表示一个GOP内的视频帧，K8表示下一个GOP的K帧。K0和K8为第0级时间层(TL0)的视频帧，WZ4为第1级时间层(TL1)的视频帧，WZ2和WZ6为第2级时间层(TL2)的视频帧，WZ1、WZ3、WZ5、WZ7为第3级时间层(TL3)的视频帧，TL0～TL3级别逐渐降低。具体边信息预测过程如下：a)TL0层，对关键帧K0、K8进行帧内编解码，得到K0'、K8'。b)TL1层，对K0'和K8'进行MCTI获得WZ4的时间边信息与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，最终解码得到WZ'4。c)TL2层，对K0'和WZ'4、WZ'4和K8'进行MCTI获得WZ2、WZ6的时间边信息与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，最终解码得到WZ'2、WZ'6。d)TL3层，对K0'和WZ'2、WZ'2和WZ'4、WZ'4和WZ'6、WZ'6和K8'进行MCTI获得WZ1、WZ3、WZ5、WZ7的时间边信息与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，辅助WZ帧的解码重建。(3)在解码端进行WZ帧的解码重建，当前t时刻的视频帧WZ(t)的初始边信息SI(t)由前向和后向参考帧f(t‑m)和f(t+m)预测得到。对SI(t)进行N级离散小波变换，采用最低频带图像作为WZ(t)中最低频带图像LLN(t)的边信息对LLN(t)进行WZ解码与重建得到LLN(t)'。(4)对LLN(t)'与LLN(t‑m)和LLN(t+m)之间进行运动估计得到新的运动矢量，利用更新的运动矢量对f(t‑m)和f(t+m)的相同频带进行运动补偿，得到当前分辨率下高频频带HHN(t)、HLN(t)、LHN(t)的边信息并辅助解码与重建。利用当前分别率下所有频带的解码信息进行小波反变换得到上一级分解中的最低频带信息LLN‑1(t)。重复本步骤，直到N的值被减为0，即解码出原始分辨率下的WZ帧。...
【技术特征摘要】
1.一种基于分层WZ帧的小波域分布式多视点视频编码，其特征在于主要包括以下过程步骤：(1)在编码端，按照GOP长度为8将每个视点的视频序列分为多个图像组。在每个GOP内，K帧进行传统的帧内编解码，WZ帧按照传统DWT域的编码方式进行。(2)在解码端采用基于分层WZ帧的边信息预测结构，K0、WZ1、WZ2、WZ3、WZ4、WZ5、WZ6、WZ7分别表示一个GOP内的视频帧，K8表示下一个GOP的K帧。K0和K8为第0级时间层(TL0)的视频帧，WZ4为第1级时间层(TL1)的视频帧，WZ2和WZ6为第2级时间层(TL2)的视频帧，WZ1、WZ3、WZ5、WZ7为第3级时间层(TL3)的视频帧，TL0～TL3级别逐渐降低。具体边信息预测过程如下：a)TL0层，对关键帧K0、K8进行帧内编解码，得到K0'、K8'。b)TL1层，对K0'和K8'进行MCTI获得WZ4的时间边信息与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，最终解码得到WZ'4。c)TL2层，对K0'和WZ'4、WZ'4和K8'进行MCTI获得WZ2、WZ6的时间边信息与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，最终解码得到WZ'2、WZ'6。d)TL3层，对K0'和WZ'2、WZ'2和WZ'4、WZ'4和WZ'6、WZ'6和K8'进行MCTI获得WZ1、WZ3、WZ5、WZ7的时间边信息与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，辅助WZ帧的解...
【专利技术属性】
技术研发人员：卿粼波，熊文诗，何小海，陈真真，吴晓红，熊淑华，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。