基于遮挡检测的运动补偿方法及系统技术方案

本发明专利技术涉及一种基于遮挡检测的运动补偿方法及系统，通过运动估计得到前向运动矢量和后向运动矢量，对显露/遮挡区域进行检测；根据运动矢量到达插值帧的位置与待处理块的重叠面积计算显露/遮挡概率并计算插值权重；根据前一帧和当前帧各自对应的前、后向运动矢量，以及显露/遮挡区域检测结果，计算得到插值帧的运动矢量；通过插值帧运动矢量的一致性与前面所述的插值权重，对显露/遮挡区域与背景的交界处进行检测并校正其插值权重；通过插值得到逐像素的插值权重；根据插值帧运动矢量和像素插值权重插值出中间帧，得到最终帧率提升后的视频。提高了显露/遮挡区域检测的精确度，明显减轻了运动补偿图像中的halo现象。

Motion compensation method and system based on occlusion detection

The invention relates to a system and method for motion compensation of occlusion detection based on the motion estimation to obtain forward motion vectors and backward motion vectors, to reveal / occlusion were detected; according to the motion vector interpolation to frame position and the overlapping area to block and calculate the probability calculation revealed partial interpolation according to the weight; a frame and the current frame corresponding forward and backward motion vectors, and the exposure / occlusion detection results, calculation of motion vector interpolation frames; interpolation weights through the consistency with the front frame interpolation of the motion vector, to detect the junction / occlusion and background exposure and correction of the interpolation weights get the weight per pixel interpolation; through interpolation; interpolation frame according to the motion vector interpolation and pixel interpolation weights of intermediate frames to get the video frame rate upgrade . The detection accuracy of the exposed / occluded region is improved, and the halo phenomenon in the motion compensated image is obviously alleviated.

【技术实现步骤摘要】
基于遮挡检测的运动补偿方法及系统
本专利技术涉及图像处理领域，具体涉及一种基于遮挡检测的运动补偿方法及系统。
技术介绍
由于液晶显示器的保持型显示特性，其在播放运动画面时会出现运动模糊和抖动现象。通过运动补偿技术对视频帧率进行提升，可以减轻上述失真。由于图像中不同区域的运动差异，形成了显露区域和遮挡区域，这些区域只存在于相邻两帧的一帧当中，使用传统的基于前后两帧的运动估计方法，可能会造成显露/遮挡区域的运动矢量估计错误以及运动补偿错误，在物体周围出现光晕效应，称为halo。现有的遮挡检测的方法主要是利用前向运动估计和后向运动估计得到的两场运动矢量场，或是更多的运动矢量场，通过比较匹配误差的大小，或是邻域内运动矢量的相对大小关系，或是运动矢量到达插值帧上的位置等方法检测出显露/遮挡区域。虽然这些方法可以检测出大部分显露/遮挡区域，但是由于这些方法都是基于块的方法，在显露/遮挡区域与背景的交界处，可能存在显露/遮挡区域在交界块中占的比例较小，导致该块被检测成正常区域(不是显露/遮挡的区域)，造成运动补偿后在显露/遮挡与背景的交界处存在一圈halo。即使采用后处理滤波等方式，也只能减轻上述halo效应，而不能完全去除。
技术实现思路
本专利技术为了解决现有技术中的上述问题，提出一种基于遮挡检测的运动补偿方法及系统，提高了显露/遮挡区域检测的精确度，明显减轻了运动补偿图像中的halo现象。本专利技术提出一种基于遮挡检测的运动补偿方法，包括以下步骤：步骤1，进行运动估计，生成前向运动矢量和后向运动矢量；步骤2，进行遮挡检测，检测插值帧上的显露块与遮挡块；步骤3，计算图像中块的显露、遮挡概率并生成插值权重；步骤4，生成插值帧的运动矢量；步骤5，对遮挡区域与背景的边界块的插值权重进行校正；步骤6，计算图像中像素的插值权重；步骤7，进行运动补偿，根据前后两帧原始帧、像素插值权重和插值帧的运动矢量，插值出中间帧，从而得到帧率提升后的视频。优选的，所述运动估计在当前帧和后一帧之间进行，通过前向运动估计得到当前帧的前向运动矢量，通过后向运动估计得到后一帧的后向运动矢量。优选的，步骤2中所述遮挡检测在前一帧和当前帧之间进行，具体方法为：步骤21，计算前一帧的前向运动矢量到达插值帧上待处理块的所有重叠面积，若所有重叠面积均小于预设的阈值，则待处理块为显露块，否则待处理块为正常块；步骤22，计算当前帧的后向运动矢量到达插值帧上待处理块的所有重叠面积，若所有重叠面积均小于预设的阈值，则待处理块为被遮挡块，否则待处理块为正常块；步骤23，根据步骤21和步骤22的检测结果，将插值帧上所有的待处理块进行分类：若g＝0且h＝0，则为正常块；若g＝0且h＝-1，则为被遮挡块；若g＝1且h＝0，则为显露块；若g＝1且h＝-1，统计其邻域内块的分类情况，若被遮挡块的数目大于显露块的数目，则确定其为被遮挡块，否则确定其为显露块；其中，g表示由前向运动矢量确定的块分类，h表示由后向运动矢量确定的块分类，0表示正常块，-1表示被遮挡块，1表示显露块；优选的，步骤3所述插值权重，指运动补偿时前一帧fn-1所占的权重。生成插值权重的具体方法为：步骤31，根据前一帧fn-1的前向运动矢量计算出插值帧上待处理块的显露概率occprobUncover；步骤32，根据当前帧fn的后向运动矢量计算出插值帧上待处理块的被遮挡概率occprobCover；步骤33，根据遮挡区域的检测结果，结合计算出的显露概率与被遮挡概率，计算出插值帧上待处理块的插值权重，其中，w(C)为待处理块C的插值权重，α为时间域上插值帧到当前帧的距离，occ(C)为待处理块C的遮挡检测结果，occ(C)＝1为显露块，occ(C)＝0为正常块，occ(C)＝-1为被遮挡块。优选的，计算显露概率与被遮挡概率的方法为：对插值帧上待处理块周围的重叠面积进行预处理，从预处理后的重叠面积中取最大值，根据最大重叠面积计算出待处理块的显露概率或被遮挡概率；计算显露概率时，所述预处理为：对于前一帧fn-1的前向运动矢量，若两个块在fn-1上位置相邻，且这两个块的运动矢量差异小于预设的阈值，且它们与待处理块的重叠面积都不为零，则将这两个块的重叠面积进行求和，作为这两个块与待处理块的重叠面积；否则，这两个块与待处理块的重叠面积均保持原值；计算被遮挡概率时，所述预处理为：对于当前帧fn的后向运动矢量，若两个块在fn上位置相邻，且这两个块的运动矢量差异小于预设的阈值，且它们与待处理块的重叠面积都不为零，则将两个这块的重叠面积进行求和，作为这两个块与待处理块的重叠面积；否则，这两个块与待处理块的重叠面积均保持原值。优选的，步骤4所述生成插值帧的运动矢量，具体为：步骤41，若插值帧上待处理块的遮挡检测结果为正常块，则选择到达该块重叠面积最大的前一帧的前向运动矢量或当前帧的后向运动矢量；步骤42，若插值帧上待处理块的遮挡检测结果为遮挡块，则选择反向延长线到达该块重叠面积最大的前一帧的后向运动矢量；步骤43，若插值帧上待处理块的遮挡检测结果为显露块，则选择反向延长线到达该块重叠面积最大的当前帧的前向运动矢量。优选的，步骤5所述对遮挡区域与背景的边界块的插值权重进行校正，具体为：步骤51，判断插值帧上待处理块邻域内运动矢量的一致性，邻域内运动矢量的一致性使用邻域内运动矢量的最大差异表征，两个运动矢量(dxi，dxi)和(dxj，dyj)的差异mvdiffij为：mvdiffij＝|dxi-dxj|+|dyi-dyj|，待处理块邻域Ω内的运动矢量一致性等于：其中，T为预设的阈值；步骤52，统计出待处理块邻域内显露块的数目numUncover和被遮挡块的数目numCover；步骤53，通过判断待处理块邻域内运动矢量的一致性，以及显露块与被遮挡块的数量，来决定待处理块是否位于遮挡区域与背景的边界：若mvconsist＝1，numCover＞0，numCover＞numUncover，或mvconsist＝1，numUncover＞0，numUncover＞numCover,则待处理块位于遮挡区域与背景的边界；步骤54，对位于遮挡区域与背景边界的待处理块的插值权重进行校正：其中，wij为待处理块C邻域内块的插值权重，w(C)为待处理块C的插值权重。优选的，步骤6所述计算图像中像素的插值权重，具体为：令每个块的中心点的插值权重等于块的插值权重，待处理像素的插值权重通过计算与其最邻近的四个块的插值权重双线性插值得到。优选的，步骤7中所述运动补偿在前一帧和当前帧之间进行，补偿得到前一帧和当前帧之间的插值帧；待插值像素的运动补偿结果为：fn-α(i,j)＝wpix·fn-1(i-(1-α)·dx,j-(1-α)·dy)+(1-wpix)·fn(i+α·dx,j+α·dy)，其中，i,j为待插值像素的坐标，wpix为像素的插值权重，dx,dy为待插值像素所在块的运动矢量，fn-1为前一个原始帧，fn为当前的原始帧，fn-α为插值帧，α为时间域上插值帧到当前帧的距离。优选的，对于前向运动矢量，所述重叠面积的计算方法为：其中，overlapArea为重叠面积；(xintp,yintp)为插值帧上待处理块的宽度；W为待处理块的宽度；H为待处理块的高度；(本文档来自技高网...

【技术保护点】
一种基于遮挡检测的运动补偿方法，其特征在于，包括以下步骤：步骤1，进行运动估计，生成前向运动矢量和后向运动矢量；步骤2，进行遮挡检测，检测插值帧上的显露块与遮挡块；步骤3，计算图像中块的显露、遮挡概率并生成插值权重；步骤4，生成插值帧的运动矢量；步骤5，对遮挡区域与背景的边界块的插值权重进行校正；步骤6，计算图像中像素的插值权重；步骤7，进行运动补偿，根据前后两帧原始帧、像素插值权重和插值帧的运动矢量，插值出中间帧，从而得到帧率提升后的视频。

【技术特征摘要】
1.一种基于遮挡检测的运动补偿方法，其特征在于，包括以下步骤：步骤1，进行运动估计，生成前向运动矢量和后向运动矢量；步骤2，进行遮挡检测，检测插值帧上的显露块与遮挡块；步骤3，计算图像中块的显露、遮挡概率并生成插值权重；步骤4，生成插值帧的运动矢量；步骤5，对遮挡区域与背景的边界块的插值权重进行校正；步骤6，计算图像中像素的插值权重；步骤7，进行运动补偿，根据前后两帧原始帧、像素插值权重和插值帧的运动矢量，插值出中间帧，从而得到帧率提升后的视频。2.根据权利要求1所述的方法，其特征在于，所述运动估计在当前帧和后一帧之间进行，通过前向运动估计得到当前帧的前向运动矢量，通过后向运动估计得到后一帧的后向运动矢量。3.根据权利要求2所述的方法，其特征在于，步骤2中所述遮挡检测在前一帧和当前帧之间进行，具体方法为：步骤21，计算前一帧的前向运动矢量到达插值帧上待处理块的所有重叠面积，若所有重叠面积均小于预设的阈值，则待处理块为显露块，否则待处理块为正常块；步骤22，计算当前帧的后向运动矢量到达插值帧上待处理块的所有重叠面积，若所有重叠面积均小于预设的阈值，则待处理块为被遮挡块，否则待处理块为正常块；步骤23，根据步骤21和步骤22的检测结果，将插值帧上所有的待处理块进行分类：若g＝0且h＝0，则为正常块；若g＝0且h＝-1，则为被遮挡块；若g＝1且h＝0，则为显露块；若g＝1且h＝-1，统计其邻域内块的分类情况，若被遮挡块的数目大于显露块的数目，则确定其为被遮挡块，否则确定其为显露块；其中，g表示由前向运动矢量确定的块分类，h表示由后向运动矢量确定的块分类，0表示正常块，-1表示被遮挡块，1表示显露块。4.根据权利要求3所述的方法，其特征在于，步骤3所述插值权重，指运动补偿时前一帧fn-1所占的权重；生成插值权重的具体方法为：步骤31，根据前一帧fn-1的前向运动矢量计算出插值帧上待处理块的显露概率occprobUncover；步骤32，根据当前帧fn的后向运动矢量计算出插值帧上待处理块的被遮挡概率occprobCover；步骤33，根据遮挡区域的检测结果，结合计算出的显露概率与被遮挡概率，计算出插值帧上待处理块的插值权重：其中，w(C)为待处理块C的插值权重，α为时间域上插值帧到当前帧的距离，occ(C)为待处理块C的遮挡检测结果，occ(C)＝1为显露块，occ(C)＝0为正常块，occ(C)＝-1为被遮挡块。5.根据权利要求4所述的方法，其特征在于，计算显露概率与被遮挡概率的方法为：对插值帧上待处理块周围的重叠面积进行预处理，从预处理后的重叠面积中取最大值，根据最大重叠面积计算出待处理块的显露概率或被遮挡概率；计算显露概率时，所述预处理为：对于前一帧fn-1的前向运动矢量，若两个块在fn-1上位置相邻，且这两个块的运动矢量差异小于预设的阈值，且它们与待处理块的重叠面积都不为零，则将这两个块的重叠面积进行求和，作为这两个块与待处理块的重叠面积；否则，这两个块与待处理块的重叠面积均保持原值；计算被遮挡概率时，所述预处理为：对于当前帧fn的后向运动矢量，若两个块在fn上位置相邻，且这两个块的运动矢量差异小于预设的阈值，且它们与待处理块的重叠面积都不为零，则将两个这块的重叠面积进行求和，作为这两个块与待处理块的重叠面积；否则，这两个块与待处理块的重叠面积均保持原值。6.根据权利要求3所述的方法，其特征在于，步骤4所述生成插值帧的运动矢量，具体为：步骤41，若插值帧上待处理块的遮挡检测结果为正常块，则选择到达该块重叠面积最大的前一帧的前向运动矢量或当前帧的后向运动矢量；步骤42，若插值帧上待处理块的遮挡检测结果为遮挡块，则选择反向延长线到达该块重叠面积最大的前一帧的后向运动矢量；步骤43，若插值帧上待处理块的遮挡检测结果为显露块，则选择反向延长线到达该块重叠面积最大的当前帧的前向运动矢量。7.根据权利要求6所述的方法，其特征在于，步骤5所述对遮挡区域与背景的边界块的插值权重进行校正，具体为：步骤51，判断插值帧上待处理块邻域内运动矢量的一致性，邻域内运动矢量的一致性使用邻域内运动矢量的最大差异表征，两个运动矢量(dxi，dxi)和(dxj，dyj)的差异mvdiffij为：mvdiffij＝|dxi-dxj|+|dyi-dyj|，...

【专利技术属性】
技术研发人员：韩睿，郭若杉，李晨，刘壮，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11