一种基于运动区域分割的视频帧率上变换方法及系统技术方案

本发明专利技术公开一种基于运动区域分割的视频帧率上变换方法及系统，所述方法步骤为：提取视频图像的特征点；在图像之间进行特征点匹配，获取特征点的运动矢量；对特征点运动矢量聚类处理，提取运动区域信息；将运动区域的运动信息，从特征点出发，传播到图像中的其它每一个像素点，获得逐像素的运动区域分割结果和初始的逐像素运动矢量场；根据运动区域分割结果，对运动矢量场进行平滑滤波，获得优化的运动矢量场；根据运动矢量场进行补偿插值，获得内插帧图像，完成帧率的上变换。本发明专利技术能够准确地得到视频中的运动区域信息，并有效地辅助运动估计，运动矢量滤波，完成视频帧率的上变换，提高视频观看体验。

【技术实现步骤摘要】

本专利技术属于视频帧率上变换领域，具体地，涉及一种基于运动区域分割的视频帧率上变换方法及系统。
技术介绍
视频帧率上变换，是一种将低帧率视频上变换成高帧率视频的技术，用于提高视频的观看体验。它在低帧率视频的原始帧之间，通过数字信号处理的方法，估计出一幅中间帧，以实现物体运动的更平滑的过渡。基于这一目的，大多数的帧率上变换算法，分为两步进行：首先是通过某种技术估计出视频中物体运动的信息，然后利用这些信息估计出物体在中间帧所处的位置和像素值。一般地，前者被称为运动估计，后者被称为运动补偿插值。传统上，在电视信号处理中，一般为了达到实时处理的性能，要求运动估计和运动补偿插值的计算复杂度较低，因此，很多方法采用的是基于块的运动估计和补偿插值，即将图像帧划分成一个个的图像块，为每一个图像块估计出运动矢量，与计算出逐像素的运动矢量相比，计算复杂度低、易于芯片实现，得到较多应用。但是，这类基于块的运动估计方法，对于复杂运动的处理能力较差，而且所得到的运动矢量场无法反映物体的真实运动矢量。而且由于图像块与画面物体的内容不相关，具有不同运动的物体可能被划分到同一图像块内。经检索，公开号为CN103220488A、申请号为CN201310135376，公开了一种视频帧率上转换装置及方法，所述装置包括输入/输出模块、运动估计模块、运动矢量中值滤波模块、重构模块、去块效应滤波模块、DDR及控制器模块、状态机控制模块等。该装置可以提升视频帧率，生成具有高质量的视频。所述方法包括如下步骤：对重构帧的前向帧和后向帧分别进行运动估计；依据运动估计得到的SAD值(差的绝对值之和)和当前块的阈值进行比较，从而采用多帧外推、直接内插或者进行可变块大小以及自适应阈值判决的运动估计方法；通过运动估计得到初始的运动矢量并更新当前图像块的阈值；使用基于时域和空域的中值滤波方法滤除估计错误的运动矢量；进行重构和去块效应滤波并输出。但是，上述专利技术属于一种基于块的运动估计方法，在获取真实运动矢量上性能欠佳，尽管采用基于时域和空域的中值滤波方法滤除错误的运动矢量，在运动物体的边缘处，依然无法保证矢量场的最优性。因而该专利技术所生成的视频在运动物体附近会留下较多瑕疵。
技术实现思路
针对现有技术中的缺陷以及其应用的局限性，本专利技术的目的是提供一种基于运动区域分割的视频帧率上变换方法及系统，能够提高物体运动估计准确性，改善插帧质量，特别是运动物体边缘的插帧效果。根据本专利技术的第一方面，提供一种基于运动区域分割的视频帧率上变换方法，包括如下步骤：步骤一，提取原始视频图像的特征点；步骤二，在两幅原始视频图像之间进行特征点匹配，获取特征点的运动矢量；步骤三，对特征点运动矢量进行自适应聚类，提取运动区域信息；步骤四，从特征点出发，将运动区域信息传播到图像中的其它每一个像素点，获得逐像素的运动区域分割结果和初始运动矢量场；步骤五，根据运动区域分割结果，对初始运动矢量场进行平滑滤波，获得优化的运动矢量场；步骤六，根据优化的运动矢量场进行补偿插值，计算两原始帧之间的内插帧图像，完成帧率的上变换。优选地，步骤一中：所述的特征点，是指：通过某种特征提取算子得到的图像的具有独特信息的像素点。优选地，步骤二中：所述的特征点匹配，是指：根据特征点的特征描述算子，以两幅图像中的第一幅图像的任意一个特征点为查询点，以另一幅图像的所有特征点为候选点，找到与查询点有最高相似度的候选点，则该最佳候选点与查询点构成匹配关系，根据两点的空间相对坐标关系，计算出查询点的运动矢量。优选地，步骤三中：所述的特征点自适应聚类，包含以下步骤：a)初始化聚类，即指定聚类个数和聚类中心；b)根据步骤二提供的特征点运动矢量，进行聚类迭代，多次迭代，收敛后得到优化的聚类中心；c)根据聚类中心，得到运动区域个数和每个运动区域对应的中心运动矢量；另一方面，缓存当前帧的聚类结果，用于初始化下一帧图像特征点自适应聚类时所需的聚类个数和聚类中心。优选地，步骤四中，所述的获取逐像素的运动区域分割结果和初始运动矢量场，是指：对每一个待确定所属运动区域和运动矢量的像素点：如果该像素点本身是一个特征点，则根据步骤二的结果，直接确定它的运动矢量，并且根据步骤三的特征点运动矢量自适应聚类结果，直接确定它所属的运动区域；如果该像素点本身不是一个特征点，则查看该像素点临近的多个像素点所属的区域和所获得的运动矢量，以它们为候选，按照最优化的准则，选择最优结果，得到该像素点的运动区域和运动矢量。更优选地，所述的最优化准则，是指：候选运动矢量的匹配误差与候选运动矢量的运动区域偏离度之和最小化。更优选地，所述的候选运动矢量的匹配误差，是指：当前帧的图像块与候选运动矢量所指向的参考帧的图像块的逐像素差值的绝对值之和。更优选地，所述的候选运动矢量的运动区域偏离度，是指：候选运动矢量与候选运动区域所对应的中心运动矢量之差。优选地，步骤五中，所述的对初始运动矢量场进行平滑滤波，是指：根据当前像素点的运动矢量与周围的像素点运动矢量差异，以及根据当前像素点的所属运动区域与周围的像素点运动区域，加权平滑滤波。优选地，步骤六中，所述的根据运动矢量场进行补偿插值，是指：对原始图像的每个像素，根据它的运动矢量，计算它在内插帧上的位置，以得到内插帧上该位置处的像素取值。根据本专利技术的第二方面，提供一种基于运动区域分割的视频帧率上变换系统，包括：特征点提取模块，用于提取原始视频图像的特征点，并将结果传给特征点运动矢量获取模块；特征点运动矢量获取模块，用于在两幅原始视频图像之间进行特征点匹配，获取特征点的运动矢量，并将结果传给自适应聚类模块；自适应聚类模块，用于对特征点运动矢量进行自适应聚类，提取运动区域信息，并将结果传给信息传播模块；信息传播模块，用于从特征点出发，将运动区域信息传播到图像中的其它每一个像素点，获得逐像素的运动区域分割结果和初始运动矢量场，并将结果传给运动矢量场优化模块；运动矢量场优化模块，用于根据运动区域分割结果，对初始运动矢量场进行平滑滤波，获得优化的运动矢量场；补偿插值模块，根据优化的运动矢量场进行补偿插值，计算两原始帧之间的内插帧图像，完成帧率的上变换。与现有技术相比，本专利技术具有如下的有益效果：本专利技术通过特征提取的方法获取运动矢量，相比于传统方法更为准确，更能反映物体特征点的真实运动矢量；本专利技术通过对运动区域进行分割，辅助运动估计，相比于基于块的运动估计所忽略的不同运动区域有着不同运动矢量这一问题，本专利技术在运动区域边界处更能得到准确的运动矢量；本专利技术所采用的运动区域聚类方法具有极高的自适应性，能够自适应调整运动区域个数；本专利技术所采用的运动区域聚类方法，采用的是特征点运动矢量集，具有数据量少，处理速度快的优点；本专利技术得到了逐像素点的运动矢量，相比于逐块的运动矢量，更为稠密，更能准确描述画面中的物体运动情况。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1是本专利技术一实施例的视频帧率上变换方法流程图；图2是本专利技术一实施例的特征点运动矢量自适应聚类方法原理图；图3是本专利技术一实施例的前向和后向运动矢量插帧方法原理图；图4为本专利技术一实施例的系统结构框图。具体实施方式下面结合具体实施例对本专利技术进行详细本文档来自技高网...

【技术保护点】
一种基于运动区域分割的视频帧率上变换方法，其特征在于，包括如下步骤：步骤一，提取原始视频图像的特征点；步骤二，在两幅原始视频图像之间进行特征点匹配，获取特征点的运动矢量；步骤三，对特征点运动矢量进行自适应聚类，提取运动区域信息；步骤四，从特征点出发，将运动区域信息传播到图像中的其它每一个像素点，获得逐像素的运动区域分割结果和初始运动矢量场；步骤五，根据运动区域分割结果，对初始运动矢量场进行平滑滤波，获得优化的运动矢量场；步骤六，根据优化的运动矢量场进行补偿插值，计算两原始帧之间的内插帧图像，完成帧率的上变换。

【技术特征摘要】
1.一种基于运动区域分割的视频帧率上变换方法，其特征在于，包括如下步骤：步骤一，提取原始视频图像的特征点；步骤二，在两幅原始视频图像之间进行特征点匹配，获取特征点的运动矢量；步骤三，对特征点运动矢量进行自适应聚类，提取运动区域信息；步骤四，从特征点出发，将运动区域信息传播到图像中的其它每一个像素点，获得逐像素的运动区域分割结果和初始运动矢量场；步骤五，根据运动区域分割结果，对初始运动矢量场进行平滑滤波，获得优化的运动矢量场；步骤六，根据优化的运动矢量场进行补偿插值，计算两原始帧之间的内插帧图像，完成帧率的上变换。2.根据权利要求1所述的视频帧率上变换方法，其特征在于，步骤一中，所述的特征点，是指：通过特征提取算子得到的图像的具有角点特性的像素点。3.根据权利要求1所述的视频帧率上变换方法，其特征在于，步骤二中，所述的特征点匹配，是指：根据特征点的特征描述算子，以两幅图像中的第一幅图像的任意一个特征点为查询点，以另一幅图像的所有特征点为候选点，找到与查询点有最高相似度的候选点，则该最佳候选点与查询点构成匹配关系，根据两点的空间相对坐标关系，计算出查询点的运动矢量。4.根据权利要求1所述的视频帧率上变换方法，其特征在于，步骤三中，所述的对特征点运动矢量进行自适应聚类，包含以下步骤：a)初始化聚类，即指定聚类个数和聚类中心；b)根据步骤二提供的特征点运动矢量，进行聚类迭代，多次迭代，收敛后得到优化的聚类中心；c)根据聚类中心，得到运动区域个数和每个运动区域对应的中心运动矢量；另一方面，缓存当前帧的聚类结果，用于初始化下一帧图像特征点自适应聚类时所需的聚类个数和聚类中心。5.根据权利要求4所述的视频帧率上变换方法，其特征在于，使用当前帧聚类结果初始化下一帧图像特征点所需的聚类个数和聚类中心，是指：在视频中，认为运动区域的个数变化是缓慢的，每连续两帧之间，运动区域的个数基本保持不变，或者运动区域数目加一，或者运动区域数目减一。6.根据权利要求1所述的视频帧率上变换方法，其特征在于，步骤四中，所述的获得逐像素的运动区域分割结果和初始运动矢量场，是指：对每一个待确定所属运动区域和运动矢量的像素点：如果该像...

【专利技术属性】
技术研发人员：高志勇，包文博，张小云，陈立，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31