一种基于相关性的自适应补偿立体视频帧率上转换方法技术

本发明专利技术利用深度图与纹理图的相关性，对深度图进行边缘块与平坦块的分类，并根据标记采用加入纹理梯度信息的块运动匹配准则得到不同宏块的运动矢量，分别对不同宏块进行运动矢量后处理及自适应插值，同时得到深度图插值帧和纹理图插值帧。相比传统的帧率上转换方法，此发明专利技术加强了对深度图边缘的处理，插入的深度图具有更好的边缘特性，插入的纹理图质量也更好。

【技术实现步骤摘要】

本专利技术涉及一种立体视频帧率上转换技术，属于图像、多媒体信号处理
技术背景自由视点电视通过多视点播放呈现给观众三维立体的观影效果，因而得到广泛发展。由于传输带宽限制，当前的三维视频研究与应用通常采用深度视频(MVD)模式。三维视频中虚拟视点的呈现由真实视点纹理图联合对应深度图经过基于深度图-纹理图渲染技术(DIBR)得到，深度图并非用来直接观看，而只用作合成虚拟视点。帧率上转换技术能突破网络传输带宽的限制，在接收端对视频帧率进行倍数的提高，从而提高视频流畅度，提升观影质量。帧率上转换本质是一种基于前后帧的线性插值过程。简单的插值如帧重复法与帧平均法对运动流畅性并未改善，因此人们将运动矢量考虑到帧率上转换中，通过在物体运动轨迹上插入中间帧从而得到更流畅的视频效果。基于运动补偿的帧率上转换方法包括三个主要步骤：运动估计、运动矢量后处理以及基于运动补偿的插值。在自由视点电视中，纹理图为观众实际观看的图像，深度图作为纹理图深度信息的补充，能用来合成其他视点的纹理图。当对某一视点纹理图进行帧率上转换时，对应的，其相关深度图也需要做相同倍数的帧率上转换。深度图将场景的不同深度层次本文档来自技高网...

【技术保护点】
一种基于相关性的自适应补偿立体视频帧率上转换方法，其特征在于该方法包括以下步骤：步骤1：提取同一时刻及下一时刻的深度图和纹理图，并保存为图像对；步骤2：将深度图进行边缘块标记，并对边缘块采用基于k均值聚类的像素点分类；步骤3：根据像素点分类进行运动估计，采用加入纹理权值的块匹配准则进行块匹配搜索，对不同类型的块分别进行常规UMHS搜索的块匹配运动估计与四叉树的UMHS块匹配运动估计，获得原始运动矢量；步骤4：对不同分类的像素进行自适应运动矢量后处理，分别对平坦块及边缘块进行异常点检测并修复，得到精确运动矢量；步骤5：基于运动补偿的自适应插值方法；步骤6：基于边缘判断的补洞插值，对空洞点进行分类...

【技术特征摘要】
1.一种基于相关性的自适应补偿立体视频帧率上转换方法，其特征在于该方法包括以下步骤：步骤1：提取同一时刻及下一时刻的深度图和纹理图，并保存为图像对；步骤2：将深度图进行边缘块标记，并对边缘块采用基于k均值聚类的像素点分类；步骤3：根据像素点分类进行运动估计，采用加入纹理权值的块匹配准则进行块匹配搜索，对不同类型的块分别进行常规UMHS搜索的块匹配运动估计与四叉树的UMHS块匹配运动估计，获得原始运动矢量；步骤4：对不同分类的像素进行自适应运动矢量后处理，分别对平坦块及边缘块进行异常点检测并修复，得到精确运动矢量；步骤5：基于运动补偿的自适应插值方法；步骤6：基于边缘判断的补洞插值，对空洞点进行分类，利用基于边缘判断的补洞插值得到最终插入的纹理图及深度图；步骤7：分别合成纹理序列和深度图序列并输出。2.根据权利要求1所述的基于相关性的自适应补偿立体视频帧率上转换方法，其特征在于：在步骤2中将深度图划分为大小相同的图像块，对块内像素深度值进行方差计算，将方差大于阈值的块标记为边缘块，小于阈值的块标记为平坦块；采用k均值聚类方法对标记为边缘的宏块进行前景背景分离，用k均值聚类方法对标记为边缘的宏块进行像素聚类，其中灰度值更小的像素类被标记为背景像素，灰度值大的像素类被标记为前景像素。3.根据权利要求1所述的基于相关性的自适应补偿立体视频帧率上转换方法，...

【专利技术属性】
技术研发人员：刘琚，肖依凡，曲爱喜，郭志鑫，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37