多级双向运动估计方法及设备技术

本发明专利技术实施例提供一种多级双向运动估计方法及设备。该方法包括以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，所述搜索算法包括三维递推搜索算法或六边形搜索算法；确定第一待定匹配块对，所述第一待定匹配块对为在所述当前帧和前一帧中的所述搜索的各对匹配块中双边绝对误差和SBAD值最小的一对匹配块；如果确定所述第一待定匹配块对的SBAD值大于或等于SBAD阈值，则将所述待插帧的M1×M1块拆分成M2×M2块，以所述待插帧的M2×M2块为镜像中心分别在所述当前帧和所述前一帧中重新进行匹配块搜索且所述重新进行匹配块搜索的SBAD阈值为前一次匹配块搜索的SBAD阈值的1/4。因此，能够有效地提高运动估计的准确度，并提高图像质量。

【技术实现步骤摘要】
多级双向运动估计方法及设备
本专利技术实施例涉及图像处理
，并且更具体地，涉及多级双向运动估计方法及设备。
技术介绍
随着高清数字电视和高端多媒体信息系统的发展，人们对视频源的视觉效果要求越来越高，因此需要提高现有视频节目源的帧率以达到更好的视觉效果。以此同时，随着带宽资源不断被分配和占用，很多视频应用只能获得非常有限的带宽资源，往往需要在编码端采用去帧的方法来降低时间分辨率以满足带宽的要求，而解码端再利用插帧的方法恢复丢弃的帧，提高视频质量。视频插针即帧率上转换（FrameRateUp-Conversion，FRUC）技术，通过在解码端相邻两帧之间插入中间帧的方式，将视频从低帧率提升至高帧率，实现不同帧率之间的转换。运动估计方法主要分为单向运动估计方法和双向运动估计方法。单向运动估计方法会导致内插帧产生“重叠”和“空洞”的问题，而双向运动估计方法以待插帧为镜像中心，保证了运动补偿处理时内插帧不会产生“重叠”和“空洞”的问题。现有机制的双向运动估计方法中在运动估计时采用视频压缩中的搜索算法，如三步法或钻石搜索法等。然而与视频压缩不同的是，由于视频对象的运动具有连续性，运动矢量间存在时空相关性，采用视频压缩中的搜索算法使运动补偿的内插帧产生与主观视觉不符的图像信息。因此，估计出的插值块的运动向量准确度低，也降低了图像质量。
技术实现思路
本专利技术实施例提供一种多级双向运动估计方法及设备，能够有效地提高运动估计的准确度，并提高图像质量。第一方面，提供了一种多级双向运动估计方法，该方法包括：以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，所述前一帧为所述待插帧的前一帧，所述当前帧为所述待插帧的后一帧，所述搜索算法包括三维递推搜索算法（3-DRecursiveSearch，3-DRS）或六边形搜索算法；确定与所述待插帧的M1×M1块对应的第一待定匹配块对，所述第一待定匹配块对为在所述当前帧和前一帧中的所述搜索的各对匹配块中双边绝对误差和（SumofBinaryAbsoluteDifference，SBAD）值最小的一对匹配块；如果确定所述第一待定匹配块对的SBAD值小于SBAD阈值，则根据所述第一待定匹配块对的运动矢量确定所述待插帧的M1×M1块的运动矢量；如果确定所述第一待定匹配块对的SBAD值大于或等于SBAD阈值，则将所述待插帧的M1×M1块拆分成M2×M2块，以所述待插帧的M2×M2块为镜像中心分别在所述当前帧和所述前一帧中重新进行匹配块搜索且所述重新进行匹配块搜索的SBAD阈值为前一次匹配块搜索的SBAD阈值的1/4，其中M1和M2均为2的m次幂，m为正整数且M2=M1/2。结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，在所述以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索之前，确定第一SBAD值、第二SBAD值和第三SBAD值，所述第一SBAD值为所述当前帧和所述前一帧之间进行双向运动估计产生的SBAD值，所述第二SBAD值为所述当前帧和后后帧之间进行双向运动估计产生的SBAD值，所述第三SBAD值为所述前一帧和后后帧之间进行双向运动估计产生的SBAD值，所述后后帧为所述当前帧的后一帧；所述以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，包括：在所述第一SBAD值为所述第一SBAD值、第二SBAD值和第三SBAD值中的最小值的情况下，以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索。结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，在所述第二SBAD值为所述第一SBAD值、第二SBAD值和第三SBAD值中的最小值的情况下，以相应的所述当前帧的匹配块外推得到所述待插帧的M1×M1块；在所述第三SBAD值为所述第一SBAD值、第二SBAD值和第三SBAD值中的最小值的情况下，以相应的所述前一帧的匹配块外推得到所述待插帧的M1×M1块。结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，当所述当前帧边界相对于所述前一帧边界出现有对象进入或退出场景时，在所述以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索之前，所述方法还包括：设定所述当前帧和所述前一帧的边界像素值均为非0，分别在所述当前帧和所述前一帧的边界向四周扩展M1个像素。结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，当所述当前帧相对于所述前一帧出现场景切换时，在第一次进行匹配块搜索后，所述方法还包括：在确定所述待插帧的所有M1×M1块相应的待定匹配块对的SBAD值大于或等于SBAD阈值的数目大于预设门限值的情况下，以外推法得到所述待插帧。结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，当进行所述多级双向运动估计中的K级运动估计之后，如果确定所述第一待定匹配块对的SBAD值大于或等于SBAD阈值，则在所述当前帧和前一帧中的限定区域内搜索第二待定匹配对块，所述限定区域为所述当前帧和前一帧中所有未参与内插的块，所述K为大于或等于2的正整数；根据所述第二待定匹配对块对的运动矢量确定所述待插帧的M×M块的运动矢量，所述待插帧的M×M块为与第K级运动估计相对应的匹配块，M为2的m次幂，m为正整数。结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，当进行所述多级双向运动估计中的K级运动估计之后，如果确定所述第一待定匹配块对的SBAD值大于或等于SBAD阈值，则根据所述第一待定匹配块对周边的匹配块对的运动矢量确定所述待插帧的M×M块的运动矢量，所述待插帧的M×M块为与第K级运动估计相对应的匹配块，M为2的m次幂，m为正整数。结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，包括：以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行两次匹配块搜索，所述两次匹配块搜索的搜索顺序相反。结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述确定与所述待插帧的M1×M1块对应的第一待定匹配块对，包括：基于块匹配准则确定与所述待插帧的M1×M1块对应的第一待定匹配块对，所述块匹配准则为：其中，所述SBAD为匹配块对的SBAD值，Bi,j为所述待插帧的M1×M1块，s为所述待插帧的像素点，v为位移矢量，fn-1为所述当前帧的像素值，fn+1为所述前一帧的像素值。第二方面，提供了一种多级双向运动估计设备，该设备包括：匹配搜索单元，用于以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，所述前一帧为所述待插帧的前一帧，所述当前帧为所述待插帧的后一帧，所述搜索算法包括三维递推搜索算法或六边形搜索算法；确定单元，用于确定与所述待插帧的M1×M1块对应的第一待定匹配块对，所述第一待定匹配块对为所述搜索单元在所述当前帧和前一帧中搜索的各对匹配块中双边绝对误差和SBAD值最小的一对匹配块；所述确定单元还用于如果确定的所述第一待定匹配块对的SBAD值小于SBAD阈值，则根据所述第一待定匹配块对的运动矢量确定所述待插帧的M1×M1块的运动矢量；所述匹配搜索单元还用于：如果所述确定单元确定的所述第一待定本文档来自技高网...

【技术保护点】
一种多级双向运动估计方法，其特征在于，包括：以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，所述前一帧为所述待插帧的前一帧，所述当前帧为所述待插帧的后一帧，所述搜索的算法包括三维递推搜索算法或六边形搜索算法；确定与所述待插帧的M1×M1块对应的第一待定匹配块对，所述第一待定匹配块对为在所述当前帧和前一帧中的所述搜索的各对匹配块中双边绝对误差和SBAD值最小的一对匹配块；如果确定所述第一待定匹配块对的SBAD值小于SBAD阈值，则根据所述第一待定匹配块对的运动矢量确定所述待插帧的M1×M1块的运动矢量；如果确定所述第一待定匹配块对的SBAD值大于或等于SBAD阈值，则将所述待插帧的M1×M1块拆分成M2×M2块，以所述待插帧的M2×M2块为镜像中心分别在所述当前帧和所述前一帧中重新进行匹配块搜索且所述重新进行匹配块搜索的SBAD阈值为前一次匹配块搜索的SBAD阈值的1/4，其中M1和M2均为2的m次幂，m为正整数且M2=M1/2。

【技术特征摘要】
1.一种多级双向运动估计方法，其特征在于，包括：以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，所述前一帧为所述待插帧的前一帧，所述当前帧为所述待插帧的后一帧，所述搜索的算法包括三维递推搜索算法或六边形搜索算法；确定与所述待插帧的M1×M1块对应的第一待定匹配块对，所述第一待定匹配块对为在所述当前帧和前一帧中的所述搜索的各对匹配块中双边绝对误差和SBAD值最小的一对匹配块；如果确定所述第一待定匹配块对的SBAD值小于SBAD阈值，则根据所述第一待定匹配块对的运动矢量确定所述待插帧的M1×M1块的运动矢量；如果确定所述第一待定匹配块对的SBAD值大于或等于SBAD阈值，则将所述待插帧的M1×M1块拆分成M2×M2块，以所述待插帧的M2×M2块为镜像中心分别在所述当前帧和所述前一帧中重新进行匹配块搜索且所述重新进行匹配块搜索的SBAD阈值为前一次匹配块搜索的SBAD阈值的1/4，其中M1和M2均为2的m次幂，m为正整数且M2＝M1/2；当进行所述多级双向运动估计中的K级运动估计之后，在所述当前帧和前一帧中的限定区域内搜索第二待定匹配对块，所述限定区域为所述当前帧和前一帧中所有未参与内插的块，K为大于或等于2的正整数；根据所述第二待定匹配对块对的运动矢量确定所述待插帧的M×M块的运动矢量，所述待插帧的M×M块为与第K级运动估计相对应的匹配块，M为2的m次幂，m为正整数。2.如权利要求1所述的方法，其特征在于，在所述确定与所述待插帧的M1×M1块对应的第一待定匹配块对之后，所述方法还包括：确定第一SBAD值、第二SBAD值和第三SBAD值，所述第一SBAD值为所述当前帧和所述前一帧之间进行双向运动估计产生的SBAD值，所述第二SBAD值为所述当前帧和后后帧之间进行双向运动估计产生的SBAD值，所述第三SBAD值为所述前一帧和后后帧之间进行双向运动估计产生的SBAD值，所述后后帧为所述当前帧的后一帧；所述以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，包括：在所述第一SBAD值为所述第一SBAD值、第二SBAD值和第三SBAD值中的最小值的情况下，以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索。3.如权利要求2所述的方法，其特征在于，在所述第二SBAD值为所述第一SBAD值、第二SBAD值和第三SBAD值中的最小值的情况下，以相应的所述当前帧的匹配块外推得到所述待插帧的M1×M1块；在所述第三SBAD值为所述第一SBAD值、第二SBAD值和第三SBAD值中的最小值的情况下，以相应的所述前一帧的匹配块外推得到所述待插帧的M1×M1块。4.如权利要求1-3任一项所述的方法，其特征在于，当所述当前帧边界相对于所述前一帧边界出现有对象进入或退出场景时，在所述以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索之前，所述方法还包括：设定所述当前帧和所述前一帧的边界像素值均为非0，分别在所述当前帧和所述前一帧的边界向四周扩展M1个像素。5.如权利要求1-3任一项所述的方法，其特征在于，当所述当前帧相对于所述前一帧出现场景切换时，在第一次进行匹配块搜索后，所述方法还包括：在确定所述待插帧的所有M1×M1块相应的待定匹配块对的SBAD值大于或等于SBAD阈值的数目大于预设门限值的情况下，以外推法得到所述待插帧。6.如权利要求1-3任一项所述的方法，其特征在于，当进行所述多级双向运动估计中的K级运动估计之后，如果确定的所述第一待定匹配块对的SBAD值大于或等于SBAD阈值，则根据所述第一待定匹配块对周边的匹配块对的运动矢量确定所述待插帧的M×M块的运动矢量，所述待插帧的M×M块为与第K级运动估计相对应的匹配块，M为2的m次幂，m为正整数，K为大于或等于2的正整数。7.如权利要求1-3任一项所述的方法，其特征在于，所述以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，包括：以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行两次匹配块搜索，所述两次匹配块搜索的搜索顺序相反。8.如权利要求1-3任一项所述的方法，其特征在于，所述确定与所述待插帧的M1×M1块对应的第一待定匹配块对，包括：基于块匹配准则确定与所述待插帧的M1×M1块对应的第一待定匹配块对，所述块匹配准则为：其中，所述SBAD为匹配块对的SBAD值，Bi,j为所述待插帧的M1×M1块，s为所述待插帧的像素点，v为位移矢量，fn-1为所述当前帧的像素值，fn+1为所述前一帧的像素值。9.一种多级双向运动估计设备，其...

【专利技术属性】
技术研发人员：武晓军，易本顺，肖进胜，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44