一种基于中心凹恰可觉察失真模型的深度视频编码方法技术

本发明专利技术公开了一种基于中心凹恰可觉察失真模型的深度视频编码方法，其首先计算对左右视点彩色视频和左右视点深度视频进行中间虚拟视点绘制得到的中间虚拟视点视频中的每帧中的每个像素的全局恰可觉察失真，然后根据全局恰可觉察失真获取几何偏移的中间虚拟视点视频，接着根据几何偏移获取左视点深度视频的最大可容忍失真视频，再根据最大可容忍失真视频获取左视点深度视频的每帧中的每个宏块的可增加编码量化参数，该方法在能够维持虚拟视点视觉感知质量的前提下，有效节约了深度视频的编码码率，同时大大提高了深度视频序列的压缩编码效率，节省的码流可达到11.00~23.34%。

【技术实现步骤摘要】

本专利技术涉及一种视频信号的处理方法，尤其是涉及。
技术介绍
目前，3DTV与FTV广泛使用多视点彩色加深度视频(Multi-view Video plusDepth, MVD)进行场景描述。MVD包括多个视点的彩色和对应的深度信息，通过编码、传输、解码后在显示端进行虚拟视点绘制。在MVD中，尽管多视点彩色视频的编码已经得到广泛的研究，其中较为适用的编码平台有JMVM(Joint Multiview Video Model)和JMVC(JointMultiview Video Coding),但是有关深度视频编码的研究较少。深度视频代表相机距离3D空间中对象的相对距离，在计算机视觉和计算机图像领域广泛用于描述3D信息。另外，值得注意的是，深度视频并不是直接用于显示，目前大多数基于图像的绘制方法都是利用深 度图并结合立体或者多视点彩色视频进行虚拟视点绘制。与彩色视频仅仅关心本身的压缩效率不同，深度视频编码的主要目标是在压缩深度视频的同时保证虚拟视点绘制质量，因此针对深度视频的压缩必须考虑在不同码率下绘制视点的质量。与单通道视频信号仅仅传输一个通道的彩色视频不同，MVD不仅需要传输多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于包括以下步骤 ①将待编码的深度视频的左视点视频记为Djm，n,k)，将与待编码的深度视频的左视点视频Ddm，n, k)对应的彩色视频的左视点视频记为Cjm，n, k)，将待编码的深度视频的右视点视频记为Dk(m，n, k)，将与待编码的深度视频的右视点视频Dk(m，n, k)对应的彩色视频的右视点视频记为Ck(m, n, k),其中，m表示Dlj (m, n, k)中的深度视频巾贞、Cl(m, n, k)中的彩色视频帧、De(m, n, k)中的深度视频帧和Ck(m，n, k)中的彩色视频帧的水平分辨率，η表示^ (m, n, k)中的深度视频帧、Cl (m, n, k)中的彩色视频帧、De (m, n, k)中的深度视频帧和Ce(m, n, k)中的彩色视频帧的垂直分辨率，mXη表示^ (m, n, k)中的深度视频帧、(^(m, n, k)中的彩色视频帧、DK (m, n, k)中的深度视频帧和Ck (m, n, k)中的彩色视频帧的分辨率，k表示Dl(m, n, k)中包含的深度视频帧、(^(m，n，k)中包含的彩色视频帧、DK(m，n，k)中包含的深度视频帧和Ck (m，n, k)中包含的彩色视频帧的帧数； ②在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用Djm，n,k)的初始编码量化参数以^对队化，!!，!^)进行编码，采用Q(m，n，k)的初始编码量化参数对Cl (m, n, k)进行编码，采用Dk (m，n, k)的初始编码量化参数(；匕,对Dk (m，n, k)进行编码，采用Ce (m, n, k)的初始编码量化参数0^；对Ce (m, n, k)进行编码；然后对DliOn, n, k)、Cl (m, n, k)、De(m, n, k)和Ck(m，n, k)经编码后的视频进行中间虚拟视点绘制，得到绘制后的中间虚拟视点视频，记为V(m，n，k)，其中，V(m，n, k)中的中间虚拟视点视频帧的分辨率为mXn，V(m, n, k)中包含的中间虚拟视点视频帧的帧数为k ； ③计算V(m，n,k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，得到全局恰可觉察失真的中间虚拟视点视频，记为G·(m，n, k)，其中，G·(m，n, k)中的中间虚拟视点视频帧的分辨率为mXn，Gjnd(m，n, k)中包含的中间虚拟视点视频的帧数为k ； ④根据Gind(m, n, k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，定量得到Gjnd(m，n, k)的几何偏移的中间虚拟视点视频，记为AP(m，n, k)，其中，Δ P (m, n, k)中的中间虚拟视点视频帧的分辨率为mXn，Λ P (m, n, k)中包含的中间虚拟视点视频帧的帧数为k ； ⑤根据AP(m，n，k)中的每帧中间虚拟视点视频帧中的每个像素的几何偏移，定性得|lj Dl (m, n, k)的最大可容忍失真视频,记为Δ DliOn, n, k),其中，Δ Dl (m, n, k)中的最大可容忍失真视频帧的分辨率为mXn，ADL(m, n, k)中包含的最大可容忍失真视频帧的帧数为k ； ⑥首先根据△Ddm’n’k)将I\(m，n，k)中的所有深度视频帧的宏块分成四类，并分别确定四类宏块的可增加编码量化参数的具体值，然后确定Dk (m，n, k)中的所有深度视频帧中的所有宏块和^^!!!，!!，!^)中的所有彩色视频帧中的所有宏块的可增加编码量化参数的具体值，再在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，对Ddm，n, k)和Cl (m, n, k)以及 Dk (m, n, k)和 Ck (m, n, k)进行编码。2.根据权利要求I所述的一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于所述的步骤③的具体过程为 ③-I、计算V(m，n, k)中的每帧中间虚拟视点视频帧中的每个像素的空域恰可觉察失真，得到空域恰可觉察失真的中间虚拟视点视频，记为S· (m, n，k)，其中，S· (m, n, k)中的中间虚拟视点视频帧的分辨率为mXn，S_(m，n, k)中包含的中间虚拟视点视频帧的帧数为k ； ③-2、计算V(m，n, k)中的每帧中间虚拟视点视频帧中的每个像素的时域恰可觉察失真，得到时域恰可觉察失真的中间虚拟视点视频，记为Τ·(πι，n, k)，其中，Τ·(πι，n, k)中的中间虚拟视点视频帧的分辨率为mXn，T_(m，n, k)中包含的中间虚拟视点视频帧的帧数为k ； ③-3、将S· (m，n, k)中的每帧中间虚拟视点视频帧中的每个像素的空域恰可觉察失真与Τ·(πι，n, k)中的对应的中间虚拟视点视频帧中的对应的像素的时域恰可觉察失真相乘，得到时空恰可觉察失真的中间虚拟视点视频，记为ST· (m, n，k)，其中，ST· (m, n, k)中的中间虚拟视点视频帧的分辨率为mXn，ST·(m，n, k)中包含的中间虚拟视点视频帧的帧数为k ； ③_4、计算V(m，n, k)中的每帧中间虚拟视点视频帧中的每个像素的中心凹恰可觉察失真的加权系数； ③-5、将ST·(m，n, k)中的每帧中间虚拟视点视频帧中的每个像素的时空恰可觉察失·真与V(m，n, k)中的对应的中间虚拟视点视频帧中的对应的像素的中心凹恰可觉察失真的·加权系数相乘，得到全局恰可觉察失真的中间虚拟视点视频G· (m，n, k)。3.根据权利要求I或2所述的一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于所述的步骤④的具体过程为提取出G_(m，n，k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，并直接将等于提取出的全局恰可觉察失真的数值赋值给6·(πι，η，10的几何偏移的中间虚拟视点视频AP(m，n，k)中的对应的中间虚拟视点视频帧中对应的像素，定量得到G_ (m, n, k)的几何偏移的中间虚拟视点视频序列Δ P (m, n, k)。4.根据权利要求3所述的一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于所述的步骤⑤的具体过程为采用深度视频失真和几何失真之间的线性关 定性得到队&^^)的最大可容忍失真视频 A^(m，n，k)，其中，Λ P表示AP(m，n，k)中的每帧中间虚拟视点视频帧中的每个像素的几何偏移，a表示水平方向上以像素为单位的相机焦距，δχ表示水平方向上两个相机之间的基线距离，X表示I\(m，n，k)中的每帧深度视频帧中的像素的横坐标，y表示I\(m，n，k)中的每帧深度视频帧中的像素的纵坐标，Δ Ddepth(x, y)表示I\(m，n，k)中的每帧深度视频帧中坐标位置为(x，y)的像素的最大可容忍失真，I彡X彡m，l<y<n，Z_表示I\(m，n，k)中的每帧深度视频帧中距离相机最近距离的像素的像素值，Zfm表示Djm，n, k)中的每帧深度视频帧中距离相机最远距离的像素的像素值。5.根据权利要求4所述的一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于所述的步骤⑥的具体过程为 ⑥-I、根据ADJm, n, k)将I\(m，n，k)中的所有深度视频帧的宏块分成四类，并确定第一类宏块的编码量化参数为+Δ_，第二类宏块的编码量化参数为以^ +Δ0/>2，第三类宏块的编码量化参数为以，第四类宏块的编码量化参数为以^+ΔβΑ，其中，以^表示对I\(m，n，k)进行编码的初始编码量化参数，八(^1表示第一类宏块的可增加编码量化参数，AQP2表示第二类宏块的可增加编码量化参数，AQP3表示第三类宏块的可增加编码量化参数，AQP4表示第四类宏块的可增加编码量化参数，O≤Δ QP≤ AQP2≤ Δ QP3 ≤ AQP4≤ 12 ； ⑥_2、确定Djm，n, k)中的所有深度视频帧中的第一类宏块的可增加编码量化参数AQP1、第二类宏块的可增加编码量化参数AQP2、第三类宏块的可增加编码量化参数AQP3和第四类宏块的可增加编码量化参数AQP4的具体值； ⑥_3、确定Dk(m，n, k)中的所有深度视频帧中的所有宏块和Ck(m，n, k)中的所有彩色视频帧中的所有宏块的可增加编码量化参数AQP5的具体值； ⑥_4、在多视点视频编码校验模型JMVC上，利用HBP预测编...

【专利技术属性】
技术研发人员：蒋刚毅，朱亚培，王晓东，郁梅，朱高锋，邵枫，彭宗举，
申请(专利权)人：宁波大学，
类型：发明
国别省市：