当前位置: 首页 > 专利查询>天津大学专利>正文

深度视频编码的像素级预测方法技术

技术编号:9697337 阅读:168 留言:0更新日期:2014-02-21 06:21
本发明专利技术属于3D视频编码领域。为充分利用深度视频和彩色视频之间的运动相似性和结构相似性以及可用的帧内及帧间信息,对深度视频中的每个像素提供预测,克服传统视频编码中基于块预测在边界处预测效率低的问题,提高深度视频的预测及编码效率,为此,本发明专利技术采取的技术方案是,一种深度视频编码的像素级预测方法,包括下列步骤:1)确定帧间搜索起点;2)搜索帧间匹配像素;3)搜索帧内匹配像素;4)将已编码彩色视频中的匹配像素映射至深度视频;5)计算当前像素的预测深度值。本发明专利技术主要应用于3D视频编码。

【技术实现步骤摘要】

本专利技术属于3D视频编码领域,涉及一种多视点加深度视频中。
技术介绍
随着显示技术及计算能力的提升,三维视频技术及相关应用得到了广泛的发展。多视点加深度视频能够利用基于深度图像的绘制(depth-1mage-based rendering, DIBR)技术生成任意视角的虚拟视点,得到了学术界和工业界的关注。为了有效地传输深度视频以节约传输带宽,高效的深度视频预测编码技术显得尤为重要。深度视频是用于表示场景几何信息的灰度视频,记录了场景中物体相对相机的距离。深度视频特性不同于传统的灰度视频,深度视频具有分区段平滑特性,即深度视频由大片的平滑区域和尖锐的边界构成。基于该特性,出现了部分不同于传统编码方式的深度编码方法,包括利用更有效地块表示结构、块数据表示函数及利用更多的预测方向等。另一方面,由于深度视频和彩色视频都表示同一个场景,深度视频和彩色视频之间存在运动和结构相似性。通过有效地利用这两种特性,深度视频编码效率能够得到较大的提高。对于帧间编码,Lee等人提出利用已编码的彩色视频的编码信息协助深度视频编码过程中的模式选择;Kim等人提出将彩色视频编码信息中的跳过模式映射至深度编码中以提高编码效率;Grewatsch和Oh等人提出利用彩色视频的运动矢量协助深度视频编码。对于巾贞内编码,Milani等人提出利用彩色视频的分割信息对深度视频进行区域分割,并利用函数对不同区域进行表示;Liu等人提出利用深度视频和纹理视频之间的结构相似性对深度边界区域进行恢复,减少对边界宏块的编码比特进而提升效率,然而该方法受深度图边界质量的影响较大。作者提出的利用基于聚类方法的深度编码方法能够较准确地预测边界宏块,同时提出的深度纹理边界对齐过程可以有效地解决深度图边界质量差的问题,提高预测效率。但帧内方法受限于有限的信息即已编码的当前帧内的邻块信息,对于复杂的宏块仍然不能进行有效地预测。现有的帧间编码技术大都为基于块的运动补偿技术,为每个宏块搜索最佳匹配块进行预测,并传输相应的运动矢量至解码端以获得相应参考块。由于运动矢量需要编码传输占据带宽,块尺寸的选择受到限制,而且场景中的真正物体通常没有和块一样的精确边界,因此基于块的运动补偿会导致在块的边界周围未匹配的像素位置出现大残差。特别对于深度编码,由于物体之间的深度值变化较大,导致边界宏块的不匹配像素的残差值较大,严重降低了效率。为此亟须研究针对当前块每个像素的更精确的预测算法。
技术实现思路
本专利技术旨在克服现有技术的不足,充分利用深度视频和彩色视频之间的运动相似性和结构相似性以及可用的帧内及帧间信息,对深度视频中的每个像素提供预测,克服传统视频编码中基于块预测在边界处预测效率低的问题,提高深度视频的预测及编码效率。为达到上述目的,本专利技术采取的技术方案是,一种,包括下列步骤:I)确定帧间搜索起点;2)搜索帧间匹配像素;3)搜索帧内匹配像素:首先在当前帧中确定当前像素的搜索范围,即设定为所在宏块的邻域已编码像素,然后在待搜索区域中搜索当前像素的匹配像素,搜索方法与帧间搜索匹配像素方法相同;4)将已编码彩色视频中的匹配像素映射至深度视频:将已编码彩色视频中的匹配像素位置映射至深度视频,并将该位置的深度像素列为当前像素的匹配像素;5)计算当前像素的预测深度值:利用帧间匹配像素搜索与帧内像素匹配搜索过程中搜索到的匹配像素的深度值计算当前像素的预测深度值(PD),通常情况下利用中值,即〃/hmgiarKD,),其中R为匹配像素集,Di为匹配像素在深度视频中的深度值。步骤⑴中的所述确定帧间搜索起点具体为:如果当前像素所在宏块在已编码的彩色视频中采用帧间编码时,利用该宏块在已编码的彩色视频中的运动矢量以及参考帧作为当前像素在深度视频中的初始运动矢量及参考帧,当前像素的搜索起点即为当前像素在该参考帧中初始运动矢量指向的像素;否则利用基于块的运动搜索技术搜索当前像素所在宏块在深度视频中的最优运动矢量及参考巾贞并设为初始运动矢量和参考巾贞,当前像素的搜索起点即为当前像素在该参考帧中初始运动矢量指向的像素,且当使用基于块的运动搜索技术进行最终宏块编码时,该运动矢量和参考帧索引号需要进行编码传输。步骤(2)中的所述搜索帧间匹配像素具体为:按设定的搜索顺序搜索以帧间搜索起点为中心的设定搜索范围内的像素,并计算当前像素在已编码彩色视频中的彩色像素值(I。)与搜索像素的对应彩色像素值(Is)的误差,当误差小于设定阈值(T)时,即满足<τ,认为该搜索像素为当前像素的匹配像素。本专利技术的技术特点及效果:本专利技术充分挖掘深度视频和彩色视频之间的像素级的运动相似性与结构相似性,利用可用的帧内及帧间信息对深度视频提供像素级的预测,对物体的边界像素的运动及物体的不规则运动提供有效的预测,克服传统视频编码中基于块预测在物体边界处预测效率低的问题,提供深度视频的编码效率。【附图说明】图1为帧间匹配像素搜索示意图;图2为帧内匹配像素搜索示意图;图3深度视频主观对比图,a、为采用现有编码参考软件JM18.2进行编码后的深度视频主观截图,b本为采用专利技术进行编码后的深度视频主观截图;图4为利用本专利技术方法及现有编码参考软件JM18.2分别编码后的深度视频进行视点合成后虚拟视点的主观对比图,a:参考软件JM18.2,b:本专利技术;图5给出了技术方案的流程图。【具体实施方式】本专利技术的目的是克服现有技术的上述不足,提供一种多视点加深度视频编码中的深度视频像素级预测方法,充分利用结构相似性及像素级的运动相似性对深度视频进行高效预测。本专利技术采用如下的技术方案:一种多视点加深度视频编码中的深度视频高效编码方法,包括下列步骤:I确定帧间搜索起点。如果当前像素所在宏块在已编码的彩色视频中采用帧间编码时,利用该宏块在已编码的彩色视频中的运动矢量以及参考帧作为当前像素在深度视频中的初始运动矢量及参考帧,当前像素的搜索起点即为当前像素在该参考帧中初始运动矢量指向的像素;否则利用基于块的运动搜索技术搜索当前像素所在宏块在深度视频中的最优运动矢量及参考巾贞并设为初始运动矢量和参考巾贞,当前像素的搜索起点即为当前像素在该参考帧中初始运动矢量指向的像素,且当使用本方法进行最终宏块编码时,该运动矢量和参考帧索引号需要进行编码传输。2搜索帧间匹配像素。按设定的搜索顺序搜索以帧间搜索起点为中心的设定搜索范围内的像素,并计算当前像素在已编码彩色视频中的彩色像素值(I。)与搜索像素的对应彩色像素值(Is)的误差,当误差小于设定阈值(T)时,即满足Iie-1sIcr,认为该搜索像素为当前像素的匹配像素。3搜索帧内匹配像素。首先在当前帧中确定当前像素的搜索范围,即设定为所在宏块的邻域已编码像素,然后在待搜索区域中搜索当前像素的匹配像素,搜索方法与帧间搜索匹配像素方法相同。4将已编码彩色视频中的匹配像素映射至深度视频因为深度视频与对应的彩色视频之间存在运动相似性与结构相似性,因此当前像素在已编码的彩色视频中搜索到的匹配像素在深度视频中也与当前像素匹配。将已编码彩色视频中的匹配像素位置映射至深度视频,并将该位置的深度像素列为当前像素的匹配像素。5计算当前像素的预测深度值因为深度图具有分区段平滑特性,所以当前像素的深度值可由与该像素属于相同区域的像素近似。因本文档来自技高网
...

【技术保护点】
一种深度视频编码的像素级预测方法,其特征是,包括下列步骤:1)确定帧间搜索起点;2)搜索帧间匹配像素;3)搜索帧内匹配像素:首先在当前帧中确定当前像素的搜索范围,即设定为所在宏块的邻域已编码像素,然后在待搜索区域中搜索当前像素的匹配像素,搜索方法与帧间搜索匹配像素方法相同;4)将已编码彩色视频中的匹配像素映射至深度视频:将已编码彩色视频中的匹配像素位置映射至深度视频,并将该位置的深度像素列为当前像素的匹配像素;5)计算当前像素的预测深度值:利用帧间匹配像素搜索与帧内像素匹配搜索过程中搜索到的匹配像素的深度值计算当前像素的预测深度值(PD),通常情况下利用中值,即其中R为匹配像素集,Di为匹配像素在深度视频中的深度值。FDA0000407935460000011.jpg

【技术特征摘要】
1.一种深度视频编码的像素级预测方法,其特征是,包括下列步骤: 1)确定帧间搜索起点; 2)搜索帧间匹配像素; 3)搜索帧内匹配像素: 首先在当前帧中确定当前像素的搜索范围,即设定为所在宏块的邻域已编码像素,然后在待搜索区域中搜索当前像素的匹配像素,搜索方法与帧间搜索匹配像素方法相同; 4)将已编码彩色视频中的匹配像素映射至深度视频: 将已编码彩色视频中的匹配像素位置映射至深度视频,并将该位置的深度像素列为当前像素的匹配像素; 5)计算当前像素的预测深度值: 利用帧间匹配像素搜索与帧内像素匹配搜索过程中搜索到的匹配像素的深度值计算当前像素的预测深度值(PD),通常情况下利用中值,即其中R为匹配像素集,Di为匹配像素在深度视频中的深度值。2.如权利要求1所述的深度视频编码的像素级预测方法,其特征在于,步骤(I)中的所述确定帧间搜索起点具体为: 如果当前像素所在宏块在已编码的彩色视频中采...

【专利技术属性】
技术研发人员:雷建军朱策李帅高艳博王勇李贞贞
申请(专利权)人:天津大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1