一种视频帧率上转换装置及方法制造方法及图纸

本发明专利技术公开了一种视频帧率上转换装置及方法，所述装置包括输入/输出模块、运动估计模块、运动矢量中值滤波模块、重构模块、去块效应滤波模块、DDR及控制器模块、状态机控制模块等。该装置可以提升视频帧率，生成具有高质量的视频。所述方法包括如下步骤：对重构帧的前向帧和后向帧分别进行运动估计；依据运动估计得到的SAD值(差的绝对值之和)和当前块的阈值进行比较，从而采用多帧外推、直接内插或者进行可变块大小以及自适应阈值判决的运动估计方法；通过运动估计得到初始的运动矢量并更新当前图像块的阈值；使用基于时域和空域的中值滤波方法滤除估计错误的运动矢量；进行重构和去块效应滤波并输出。

【技术实现步骤摘要】

本专利技术涉及数字视频处理
，尤其涉及到基于可变块大小自适应阈值运动估计方法的帧率转换装置及其方法。
技术介绍
视频帧率上转换作为一种数字视频预处理和后处理技术，在若干已知帧中间插入中间帧，实现将一个视频从较低的帧率转换到较高的帧率，在数字视频领域有着广泛的应用。随着高清/超高清数字电视以及多媒体信息系统的发展，现有的视频节目源已经不能满足人们视对觉效果日益增高的需求，需要提高现有节目源的帧率来达到更优的视觉效果。 在视频和多媒体通信中，带宽资源受到限制。为了满足此类低带宽的应用，可以在编码端降低帧率，而在解码端采用帧率上转换方法恢复到原来的帧率，这样可以有效的减小传输带宽。不同的视频格式之间帧率不同，如电影为24fps，PAL为25fps，NTSC为30fps，以及在高清中有720p50、720p60和1080p30等格式。在不同的视频之间进行格式转换，需要使用帧率转换技术。视频在无线通信或者网络流媒体传输中，有可能发生丢帧或者误码现象。对于丢弃帧以及由误码而产生的错误帧，在接收端采用帧率转换技术重构出来，是一种行之有效的方法。常用的帧率转换有非运动估计方法、基于运动估计的方法以及基于三维时空域统计模型的方法。非运动估计方法比如帧复制和帧平均，算法简单，易于实现，但是对于运动剧烈的视频，重构帧中有抖动或者模糊现象，严重影响了视频质量。基于运动估计的方法运算适中，复杂度适中，能较好的重构出内插帧。基于三维时空域统计模型的方法主要对视频序列本身建模，借鉴错误隐藏的相关技术，利用已知的像素对将要差值的像素进行估计，从而获取内插帧；但这种算法计算量较大，实用性受到一定限制。在目前使用的基于运动估计的帧率上转换方法中，重构帧由前后帧内插而得出，图像质量主要取 决于运动矢量的准确性，因此运动矢量估计需要尽可能精确。运动块大小的选择非常关键:如果图像块过大，则容易把运动物体和相对静止的背景包括在内；如果图像块过小，则容易产生匹配错误。本专利技术提供了基于可变块大小的自适应阈值的运动估计方法，对于图像块大小的分割从大到小逐步求精，直至搜索到符合要求的匹配块。同时针对运动比较剧烈的序列，提供了多帧外推的方法，从而避免直接使用内插时，运动搜索无法找到被运动物体覆盖的背景的情形。在经过运动估计得到初始的运动矢量之后，需要对运动矢量进行滤波处理。本专利技术提供了中值滤波方法，对运动矢量的水平和垂直方向分别进行中值滤波，得到的运动矢量作为最终的运动矢量用于重构出内插帧，最后对内插帧进行去块效应滤波，得到更优的视觉效果。
技术实现思路
本专利技术的目的在于克服现有帧率上转换方法的不足，提供了一种更优的帧率上转换装置及方法。在不显著增加运算复杂度的同时，尽量提高运动估计的精确性以及重构图像的视频质量。为了解决上述问题，本专利技术的方法及其装置包括:一种视频帧率上转换装置，所述装置由依次连接的DDR存储器、DDR控制器、Cache模块、运动估计模块、运动矢量中值滤波模块、帧重构模块、去块效应模块、状态机控制器模块以及输入/输出模块组成；其中，所述输入/输出模块为满足SMPTE 274/296格式的视频，输入模块解析视频序列，得到行同步和场同步信号并发送给状态机控制器，并将解析得到的视频数据存入DDR中；所述的DDR存储器，存储若干帧由SMPTE274/296解析后的YUV422视频数据；存储图像块的运动矢量以用于基于时域的运动矢量中值滤波；存储重构帧视频数据，输出模块根据需要，从DDR存储器中读取解析的和重构的视频数据用于输出；所述的Cache模块存储解析后的视频数据,运动估计模块在运动搜索时,通过访问Cache,能够有效地减小对DDR的带宽需求，同时Cache模块也缓存运动矢量信息，用于运动矢量中值滤波模块读取运动矢量信息以及存储滤波之后的运动矢量。一种视频帧率上转换方法，包括使用所述的装置，包括如下步骤:对重构帧的前向帧和后向帧分别进行运动估计；依据运动估计得到的SAD值即差的绝对值之和，与当前块的阈值进行比较，从而采用多帧外推、直接内插或者进行可变块大小以及自适应阈值判决的运动估计方法；通过运动估计得到初始的运动矢量并更新当前图像块的阈值；使用基于时域和空 域的中值滤波方法滤除估计错误的运动矢量；进行重构和去块效应滤波并输出。其中，所述的运动估计方法，以重构帧中需要重构的图像块坐标为基准，分别选取前向帧和后向帧进行运动估计，得到SAD值以及相应的匹配块，并将得到的运动矢量作为待插图像块的运动矢量。其中，依据运动估计得到的SAD值和当前块进行比较，取前向帧得到的SAD值以及后向帧得到的SAD值分别和阈值进行比较；如果前向帧和后向帧的SAD值都大于当前块的阈值，则进行多帧外推法；如果前向帧和后向帧的SAD值都小于当前块的阈值，则进行直接内插法；如果前向帧的SAD值大于当前块的阈值而后向帧的SAD值小于当前块的阈值，则采用基于可变块大小自适应阈值的运动估计方法，将后向帧作为基准，在前向帧中搜索匹配块；如果前向帧的SAD值小于当前块的阈值而后向帧的SAD值大于当前块的阈值，则采用基于可变块大小自适应阈值的运动估计方法，将前向帧作为基准，在后向帧中搜索匹配块。其中，所述运动估计的步骤包括，对于重构帧Ft，选择一个图像块Bt，对重构帧的前一帧Fw和后一帧Ft+1中相同的位置分别选择一个图像块Bh和Bt+1中的Bh为基准在Ft+1中搜索匹配块，得到Bh和匹配块之间像素值差的绝对值之和SADw和运动矢量MVw ;以Ft+1中的Bt+1为基准在Fw中搜索匹配块，得到Bt+1和匹配块之前像素值差的绝对值之和SADt+1和运动矢量MVt+1 ；比较SADw和SADt+1的大小，如果SADw ( SADt+1，则使用前一帧的运动矢量MVw作为重构帧的运动矢量MVt，反之则使用后一帧的运动矢量MVt+1作为重构帧的运动矢量MVt。其中，所述的多帧外推法，根据SAD和阈值之间的关系来决定是否采用多帧外推以及使用前向帧或者后向帧，当SADw和SADt+1都大于阈值，则有图像背景被运动物体覆盖，选择多帧外推的方法重构被覆盖部分；当SADt^1 ( SADt+1，则使用Ft_3和Fw来外推；否贝U使用Ft+1和Ft+3来外推。其中，所述的直接内插法，进行16X16运动估计后立即终止对当前块的运动估计，不在减小图像块的尺寸，不更新阈值，直接使用16X16的块进行重构。其中，所述的自适应可变块大小的运动估计方法，当采用可变块大小运动估计时，首先对16X16的图像块进行运动估计，当SAD值大于阈值的时候，减小图像块的大小，进行8X16的图像块运动估计；当其SAD值大于阈值，则进行16X8的图像块运动估计；每次运动估计之后，都将得到 的SAD值和相对应的阈值进行比较，图像块大小依次为16X 16、8X16、16X8、8X8、4X8、8X4 以及 4X4。其中，所述的自适应阈值方法，对于初始的16 X 16图像块，其TH16xl6为一个经验阈值，当进行8X 16可变块大小运动估计时，TH8xl6为TH16x16/2和8X 16运动估计的SAD中的最小值，即TH8xl6 = min (l/2*TH16xl6, SAD8xl6)，其中min为取最小数操作；对于16X8、8X本文档来自技高网...

【技术保护点】
一种视频帧率上转换装置，其特征在于：所述装置由依次连接的DDR存储器、DDR控制器、Cache模块、运动估计模块、运动矢量中值滤波模块、帧重构模块、去块效应模块、状态机控制器模块以及输入/输出模块组成；其中，所述输入/输出模块为满足SMPTE274/296格式的视频，输入模块解析视频序列，得到行同步和场同步信号并发送给状态机控制器，并将解析得到的视频数据存入DDR中；所述的DDR存储器，存储若干帧由SMPTE274/296解析后的YUV422视频数据；存储图像块的运动矢量以用于基于时域的运动矢量中值滤波；存储重构帧视频数据，输出模块根据需要，从DDR存储器中读取解析的和重构的视频数据用于输出；所述的Cache模块存储解析后的视频数据，运动估计模块在运动搜索时，通过访问Cache，能够有效地减小对DDR的带宽需求，同时Cache模块也缓存运动矢量信息，用于运动矢量中值滤波模块读取运动矢量信息以及存储滤波之后的运动矢量。

【技术特征摘要】
1.一种视频帧率上转换装置，其特征在于:所述装置由依次连接的DDR存储器、DDR控制器、Cache模块、运动估计模块、运动矢量中值滤波模块、帧重构模块、去块效应模块、状态机控制器模块以及输入/输出模块组成；其中，所述输入/输出模块为满足SMPTE274/296格式的视频，输入模块解析视频序列，得到行同步和场同步信号并发送给状态机控制器，并将解析得到的视频数据存入DDR中；所述的DDR存储器，存储若干帧由SMPTE274/296解析后的YUV422视频数据；存储图像块的运动矢量以用于基于时域的运动矢量中值滤波；存储重构帧视频数据，输出模块根据需要，从DDR存储器中读取解析的和重构的视频数据用于输出；所述的Cache模块存储解析后的视频数据，运动估计模块在运动搜索时，通过访问Cache,能够有效地减小对DDR的带宽需求，同时Cache模块也缓存运动矢量信息，用于运动矢量中值滤波模块读取运动矢量信息以及存储滤波之后的运动矢量。2.一种视频帧率上转换方法，包括使用权利要求1所述的装置，其特征在于，包括如下步骤: 对重构帧的前向帧和后向帧分别进行运动估计； 依据运动估计得到的SAD值即差的绝对值之和，与当前块的阈值进行比较，从而采用多帧外推、直接内插或者进行可变块大小以及自适应阈值判决的运动估计方法； 通过运动估计得到初始的运动矢量并更新当前图像块的阈值； 使用基于时域和空域的中值滤波方法滤除估计错误的运动矢量； 进行重构和去块效应滤波并输出。3.根据权利要求2所述的方法，其特征在于:所述的运动估计方法，以重构帧中需要重构的图像块坐标为基准，分别选取前向帧和后向帧进行运动估计，得到SAD值以及相应的匹配块，并将得到的运动矢量作为待插图像块的运动矢量。4.根据权利要求2所述的方法，其特征在于:依据运动估计得到的SAD值和当前块进行比较，取前向帧得到的SAD值以及后向帧得到的SAD值分别和阈值进行比较；如果前向帧和后向帧的SAD值都大于当前块的阈值，则进行多帧外推法；如果前向帧和后向帧的SAD值都小于当前块的阈值，则进行直接内插法；如果前向帧的SAD值大于当前块的阈值而后向帧的SAD值小于当前块的阈值，则采用基于可变块大小自适应阈值的运动估计方法，将后向帧作为基准，在前向帧中搜索匹配块；如果前向帧的SAD值小于当前块的阈值而后向帧的SAD值大于当前块的阈值，则采用基于可变块大小自适应阈值的运动估计方法，将前向帧作为基准，在后向帧中搜索匹配块。5.根据权利要求2所述的方法，其特征在于:所述运动估计的步骤包括， 对于重构帧Ft，选择一个图像块Bt，对重构帧的前一帧Fw和后一帧Ft+1中相同的位置分别选择一个图像块和Bt+1 ；以Fw中的Bh为基准在Ft+1中搜索匹配块，得到和匹配块之间像素值差的绝对值之和SADw和运动矢量MVw ;以Ft+1中的Bt+1为基准在Fw中搜索匹配块，得到Bt+1和匹配块之前像素值差的绝对值之和SADt+1和运动矢量MVt+1 ;比较SADt^1和SADt+1的大小，如果SADw ( SADt+1，则使用前一帧的运动矢量MVw作为重构帧的运动矢量MVt，反之则使用后一帧的运动矢量MVt+1作为重构帧的运动矢量MVt。6.根据权利要求4所述的方法，其特征在于:所述的多帧外推法，根据SAD和阈值之间的关系来决定是否采用多帧外推以及使用前向帧或者后向帧，当SADw和SADt+1都大于阈值，则有图像背景被运动物体覆盖，选择多帧外推的方法重构被覆盖部分；当SADh ( SADt+1，则使用Ft_3和Ft_i来外推；否则使用Ft+1和Ft+3来外推。7.根据权利要求4所述的方法...

【专利技术属性】
技术研发人员：贾惠柱，贺志勇，解晓东，黄铁军，高文，
申请(专利权)人：北京大学，
类型：发明
国别省市：